Skip to content
Назад к результатам поиска

Тонкая настройка GPT

Автор метода
Radford, A. et al. (OpenAI)
Год
2019
Тип
Fine-tuning of pretrained autoregressive language models

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Тонкая настройка GPT адаптирует предварительно обученные авторегрессионные языковые модели, такие как GPT-2/3/4 или LLaMA, представленные в работе OpenAI 2019 года Рэдфордом и коллегами, к предметно-ориентированным данным или к следованию инструкциям посредством обучения с подкреплением на основе обратной связи с человеком (RLHF) или DPO.

Она используется для следования инструкциям, адаптации к предметной области и генеративных задач.

Интуиция метода

Большая языковая модель уже изучила грамматику, факты и закономерности рассуждений из огромного текстового корпуса, поэтому редко требуется обучать ее с нуля. Тонкая настройка берет эту предварительно обученную модель и "подталкивает" ее к вашей собственной задаче — словарному запасу вашей предметной области, предпочитаемому стилю ответов, вашим инструкциям — путем продолжения обучения на гораздо меньшем, специфичном для задачи наборе примеров "запрос-ответ".

История

Тонкая настройка GPT основывается на авторегрессионных языковых моделях, описанных Рэдфордом и коллегами в отчете OpenAI 2019 года, которые показали, что большие языковые модели ведут себя как неконтролируемые многозадачные обучающиеся системы. Затем Оуян и коллеги (2022) представили обучение с обратной связью с человеком (RLHF), что позволило моделям гораздо надежнее следовать инструкциям и сформировало парадигму адаптации к инструкциям, используемую сегодня.

Когда применять

Используйте тонкую настройку GPT для классификации, прогнозирования или генерации текста, когда у вас есть предварительно обученная модель семейства GPT, ваши данные подготовлены в формате "запрос-ответ" и имеется достаточно вычислительных ресурсов (GPU/TPU). Она не предполагает нормально распределенных данных. Настоятельно предпочтителен больший набор данных: при количестве примеров менее примерно 500 модель имеет тенденцию к переобучению, и качество генерации падает, а при количестве примеров менее примерно 50 тонкая настройка не даст значимых результатов — более простые модели, такие как случайный лес или XGBoost, в этом случае безопаснее.

Ограничения и замечания

  • Требуется предварительно обученная модель GPT и, как правило, вычислительные ресурсы GPU/TPU.
  • Данные должны быть тщательно подготовлены в формате "запрос-ответ".
  • На небольших наборах данных (менее примерно 500 примеров) модель переобучается, и качество генерации ухудшается.
  • При очень малом количестве данных (менее примерно 50 примеров) тонкая настройка не дает значимого результата.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Опирается на обширные знания, уже полученные в ходе крупномасштабного предварительного обучения, поэтому требуется гораздо меньше данных для задачи, чем при обучении с нуля.
  • Обрабатывает задачи классификации, прогнозирования текста и открытые генеративные задачи в рамках одной структуры.
  • Мало предположений: не требует нормально распределенных данных.
  • Выравнивание RLHF или DPO позволяет модели следовать инструкциям и соответствовать человеческим предпочтениям.

Применение

  • Адаптация общей языковой модели к специализированному тексту.
  • Следование инструкциям и генерация в стиле помощника.
  • Задачи классификации и прогнозирования текста на текстовых данных.
  • Генеративные задачи, где требуется беглый, соответствующий задаче текстовый вывод.

Как это работает

Как это работает

1

Вы начинаете с предварительно обученной модели семейства GPT, которая уже обладает обширными языковыми знаниями. Набор данных для тонкой настройки подготавливается в формате "запрос-ответ", и в зависимости от задачи и оборудования может потребоваться графический процессор (GPU) или тензорный процессор (TPU).

2

Модель продолжает обучение на данных задачи, минимизируя потери авторегрессионного языкового моделирования — отрицательное логарифмическое правдоподобие каждого следующего токена при условии предыдущих токенов. Это смещает поведение модели в сторону целевой предметной области, сохраняя при этом общую компетентность, полученную ею во время предварительного обучения.

Формула
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})
3

Для следования инструкциям модель дополнительно выравнивается по человеческим предпочтениям с использованием обучения с подкреплением на основе обратной связи с человеком (RLHF) или прямой оптимизации предпочтений (DPO), чтобы ее выходные данные лучше соответствовали инструкциям и ожиданиям людей.

Частые ошибки

  • Тонкая настройка на слишком малом количестве примеров и доверие к бегло выглядящему, но переобученному результату.
  • Пропуск чистой форматировки обучающих данных в формате "запрос-ответ".
  • Предположение, что выравнивание RLHF/DPO является необязательным, когда целью является следование инструкциям.
  • Использование тонкой настройки GPT, когда случайный лес или XGBoost были бы более надежными на небольшом наборе данных.

Часто задаваемые вопросы

Сколько данных мне нужно для тонкой настройки модели GPT?

Настоятельно предпочтительно больше. При количестве примеров менее примерно 500 модель имеет тенденцию к переобучению, и качество генерации падает; при количестве примеров менее примерно 50 тонкая настройка не даст значимых результатов, и более простая модель, такая как случайный лес или XGBoost, безопаснее.

В чем разница между тонкой настройкой и RLHF/DPO?

Тонкая настройка продолжает обучение на данных предметной области или задачи для минимизации потерь языкового моделирования. RLHF и DPO — это шаги выравнивания, которые дополнительно настраивают модель на человеческие предпочтения, чтобы она следовала инструкциям и производила ожидаемый стиль ответа.

Нужен ли мне GPU?

Часто да. Тонкая настройка больших авторегрессионных моделей требует больших вычислительных ресурсов, и в зависимости от размера модели и задачи может потребоваться GPU или TPU.

Как мне форматировать мои данные?

Подготовьте их в формате "запрос-ответ" — каждый пример связывает входной запрос с желаемым выводом модели — перед тонкой настройкой.

Похожие методы

Источники

  1. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.

    Открыть ссылку на публикацию
    Скопировано.
  2. Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.

    Открыть ссылку DOI
    Скопировано.