Skip to content
Назад к результатам поиска

Метрическое обучение

Автор метода
Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
Год
2003 (foundational); refined 2009 (LMNN)
Тип
Representation learning / supervised distance optimization
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Метрическое обучение — это фреймворк машинного обучения, который тренирует функцию расстояния или сходства на основе данных таким образом, чтобы семантически схожие примеры оказывались близко друг к другу в обученном пространстве, а несхожие примеры отталкивались друг от друга.

В отличие от фиксированных метрик, таких как евклидово расстояние, обученная метрика адаптируется к структуре задачи, что значительно повышает точность последующих классификаторов, кластеризаторов и систем поиска.

Интуиция метода

Стандартные метрики, такие как евклидово расстояние, одинаково обрабатывают все размерности признаков. Однако во многих задачах некоторые признаки гораздо более информативны, чем другие, и релевантные размерности варьируются в зависимости от класса. Метрическое обучение похоже на тренировку линейки: получая информацию о том, какие пары примеров должны быть близки, а какие — далеки друг от друга, оно корректирует геометрию пространства признаков так, чтобы простой классификатор ближайших соседей или алгоритм кластеризации сразу же правильно группировал объекты. Обученное пространство эффективно отражает, что означает «похожий» для конкретной задачи.

История

Современный фреймворк был разработан Xing et al. (2003), которые сформулировали метрическое обучение как задачу выпуклой оптимизации с попарными ограничениями. Weinberger и Saul (2009) представили Large Margin Nearest Neighbor (LMNN), установив новый стандарт для задач на основе k-NN. Область ускорилась с появлением глубокого метрического обучения: Chopra et al. (2005) популяризировали сиамскую сеть с контрастивной функцией потерь, а Schroff et al. (2015) представили триплетную функцию потерь FaceNet для крупномасштабной верификации лиц. Сегодня метрическое обучение лежит в основе большей части исследований в области обучения с малым количеством примеров и визуального представления.

Когда применять

Используйте метрическое обучение, когда последующая задача по своей сути основана на сходстве — например, классификация с малым количеством примеров (few-shot classification), верификация лиц, поиск медицинских изображений, идентификация диктора или рекомендация продуктов — и когда фиксированное евклидово расстояние работает плохо из-за неравной релевантности признаков. Оно отлично подходит для умеренно больших размеченных наборов данных и высокоразмерных входных данных, таких как изображения или текстовые встраивания. Избегайте его, когда у вас очень мало размеченных примеров на класс (менее 5–10 на класс), когда конечная цель — простая табличная регрессия или классификация, хорошо решаемая логистической регрессией или градиентным бустингом, или когда требуется интерпретируемость в терминах явных коэффициентов признаков.

Ограничения и замечания

  • Триплетные и контрастивные функции потерь требуют тщательного поиска пар/триплетов; случайная выборка дает в основном легкие, неинформативные пары и резко замедляет обучение.
  • Линейные методы Махаланобиса масштабируются квадратично с размерностью признаков, становясь непомерно дорогими в очень высоких размерностях без снижения размерности.
  • Требует размеченных данных или данных с попарными ограничениями; полностью неконтролируемые настройки ограничивают то, что может быть изучено без дополнительных предположений.
  • Оценка является косвенной — качество метрики должно оцениваться через последующую задачу, а не по одному значению функции потерь.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Адаптирует геометрию пространства признаков к конкретной задаче, существенно повышая точность классификации ближайших соседей и кластеризации.
  • Позволяет распознавать объекты с малым количеством примеров: после того как хорошая метрика обучена, для классификации новых классов требуется лишь несколько примеров.
  • Хорошо переносится между доменами — метрика, обученная на одном наборе данных, может быть донастроена для связанной задачи с небольшим количеством дополнительных данных.
  • Модельно-агностический: обученное встраивание может использоваться любым последующим алгоритмом (k-NN, SVM, k-means) без переобучения этих компонентов.
  • Контрастивные и триплетные формулировки масштабируются до очень больших наборов данных с помощью выборки мини-пакетов.

Применение

  • Верификация и распознавание лиц: определение, принадлежат ли два изображения лица одному и тому же человеку.
  • Классификация изображений с малым количеством примеров: классификация новых визуальных категорий по одному или нескольким примерам.
  • Поиск медицинских изображений: поиск похожих областей сканирования или гистопатологических патчей в больших базах данных.
  • Верификация диктора и голоса в биометрических системах аутентификации.
  • Рекомендация продуктов и визуальный поиск в электронной коммерции.

Как это работает

Как это работает

1

На основе размеченных или попарно аннотированных данных определяются положительные пары (один и тот же класс или явно схожие) и отрицательные пары (разные классы или явно несхожие). Эти ограничения кодируют, что означают «близко» и «далеко» для задачи, и формируют сигнал обучения для тренировки метрики.

2

Выбирается параметрическая функция расстояния — чаще всего расстояние Махаланобиса, управляемое положительно полуопределенной матрицей M, или функция встраивания на основе нейронной сети с последующим евклидовым или косинусным расстоянием. Матрица M обобщает масштабирование по осям до полного перевзвешивания признаков с учетом их взаимосвязей.

Формула
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0
3

Формулируется целевая функция для сближения положительных пар и отдаления отрицательных пар с соблюдением отступа (margin) или мягкого ограничения. Общие целевые функции включают контрастивную функцию потерь (contrastive loss), триплетную функцию потерь (triplet loss) (расстояние между якорем и положительным примером меньше расстояния между якорем и отрицательным примером на величину отступа) или функцию потерь Large-Margin Nearest-Neighbor (LMNN) hinge loss.

4

Параметры метрики (M или веса нейронной сети) оптимизируются с помощью градиентного спуска или полубесконечного программирования. Стратегии выборки мини-пакетов, такие как поиск «трудных» отрицательных примеров (hard negative mining), критически важны для триплетных целевых функций: случайная выборка, как правило, приводит к неинформативным триплетам, замедляющим сходимость.

5

На этапе инференса обученная метрика или встраивание применяется к новым данным. Последующие задачи — классификация ближайших соседей, кластеризация k-средних, поиск изображений или рекомендация — выполняются в обученном пространстве, где расстояние точно отражает семантическое сходство.

Частые ошибки

  • Использование случайной выборки триплетов вместо поиска «трудных» (hard) или «полутрудных» (semi-hard) отрицательных примеров, что приводит к почти нулевому градиенту и остановке обучения.
  • Оценка метрики только на обучающих классах; производительность на невидимых классах (фактическая цель обобщения) может быть значительно ниже.
  • Пренебрежение нормализацией встраиваний перед вычислением косинусного сходства, что приводит к артефактам масштаба.
  • Трактовка обученного встраивания как интерпретируемого в терминах исходных признаков без дополнительного анализа, такого как линейное зондирование или SHAP.
  • Применение обученной метрики к сдвигу домена (другое распределение данных) без повторной валидации или донастройки.

Часто задаваемые вопросы

В чем разница между метрическим обучением и контрастивным обучением?

Контрастивное обучение — это специфическое семейство целевых функций метрического обучения (например, контрастивная функция потерь, SimCLR), которые противопоставляют положительные и отрицательные пары. Метрическое обучение — это более широкий фреймворк, который также включает методы Махаланобиса, триплетные функции потерь и целевые функции на основе прокси.

Сколько примеров на класс мне нужно?

Линейные методы Махаланобиса могут работать с 10–20 примерами на класс. Глубокое метрическое обучение обычно требует от десятков до сотен примеров на класс для обучения полезных встраиваний, хотя предварительно обученные базовые модели могут значительно снизить это требование.

Является ли метрическое обучение тем же самым, что и снижение размерности?

Не совсем. Методы, такие как PCA или UMAP, снижают размерность без прямого контроля. Метрическое обучение использует контроль на уровне классов или пар для формирования геометрии, поэтому результирующее пространство является задачно-дискриминативным, а не просто компактным.

Может ли метрическое обучение справляться с несбалансированными классами?

Да, но выборка пар/триплетов должна быть стратифицированной, чтобы доминирующий класс не перегружал пакет. Функции потерь на основе прокси (Proxy-NCA, Proxy-Anchor) более устойчивы к несбалансированности классов, чем выборка триплетов.

Когда следует использовать метрическое обучение вместо стандартного классификатора?

Предпочтительнее использовать метрическое обучение, когда необходимо обобщать на классы, не виденные во время обучения (распознавание в открытом множестве, обучение с малым количеством примеров), или когда задача является поиском, а не предсказанием фиксированного класса.

Похожие методы

Источники

  1. Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.

    Открыть ссылку на публикацию
    Скопировано.
  2. Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.

    Открыть ссылку на публикацию
    Скопировано.