LoRA и PEFT
- Автор метода
- Hu, E. J. et al.; Lester, B. et al.
- Год
- 2022
- Тип
- Parameter-efficient fine-tuning of large pretrained models
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
LoRA (Low-Rank Adaptation), представленный Hu et al. в 2022 году, и более широкое семейство методов параметрически эффективной дообучки (PEFT) адаптируют большие предобученные языковые модели к новым задачам, обучая лишь небольшое количество дополнительных параметров вместо каждого веса в модели.
Это делает дообучку возможной при значительно меньших затратах видеопамяти и вычислительных ресурсов, оставляя исходную модель в значительной степени неизменной.
Интуиция метода
Полная дообучка большой языковой модели означает обновление миллиардов весов, что дорого с точки зрения памяти и вычислений и приводит к созданию полной копии модели для каждой задачи. Ключевая идея LoRA заключается в том, что изменение, требуемое задачей, обычно имеет низкий ранг: оно может быть представлено небольшой парой матриц, а не плотным обновлением каждого веса. Методы PEFT используют это, замораживая исходную модель и обучая лишь крошечный набор новых параметров, так что одна базовая модель может быть дешево специализирована для множества задач.
История
LoRA был представлен Hu et al. в 2022 году, предложив, что обновление весов, необходимое для адаптации большой языковой модели, может быть представлено как низкоранговая декомпозиция, обучаемая вместо полной дообучки. Он основывался на более ранних идеях параметрической эффективности, включая prompt tuning от Lester et al. (2021), который показал, что адаптация лишь небольшого набора параметров мягких промптов становится все более конкурентоспособной с ростом масштаба модели. Вместе эти методы установили параметрически эффективную дообучку как стандартный способ дешевой специализации больших предобученных моделей.
Когда применять
Используйте LoRA и PEFT, когда вы хотите адаптировать большую предобученную языковую модель к конкретной задаче классификации или прогнозирования текста, но не можете позволить себе память и вычислительные ресурсы, необходимые для полной дообучки. Необходимо наличие большой предобученной модели, подготовленные данные для конкретной задачи и рекомендуется GPU. Эти методы лучше всего работают с существенным набором данных задачи; при очень малых наборах данных (менее нескольких сотен примеров) адаптация склонна к переобучению, и более простая модель, такая как случайный лес или градиентный бустинг, является более безопасным выбором.
Ограничения и замечания
- Требует наличия большой предобученной модели в качестве отправной точки; не обучает модель с нуля.
- Рекомендуется GPU, и данные для конкретной задачи должны быть подготовлены заранее.
- На малых наборах данных задачи (менее примерно 500 примеров) дообучка может не обеспечить достаточной адаптации и несет риск переобучения.
- При очень малом количестве данных задачи (менее примерно 50 примеров) даже параметрически эффективная дообучка становится бессмысленной.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Резкое снижение требований к видеопамяти и вычислительным ресурсам по сравнению с полной дообучкой, поскольку обучается лишь небольшой набор параметров.
- Исходная предобученная модель замораживается и повторно используется для разных задач, так что одна базовая модель может быть многократно специализирована.
- Изученное низкоранговое обновление может быть объединено обратно с весами, не добавляя накладных расходов во время инференса.
- Охватывает семейство вариантов — LoRA, prefix tuning, prompt tuning — так что адаптация может быть размещена там, где она работает лучше всего.
Применение
- Адаптация большой предобученной языковой модели к задаче классификации текста в определенной предметной области.
- Специализация одной базовой модели для множества задач без хранения полной копии для каждой задачи.
- Дообучка при ограниченной видеопамяти, когда полная дообучка невозможна.
- Задачи прогнозирования текста, основанные на существующей предобученной языковой модели.
Как это работает
Как это работает
Большая модель, которая уже была предобучена, берется в качестве фиксированной отправной точки. Вместо дообучки всех ее весов, исходные параметры замораживаются, и для целевой задачи вводится и обучается лишь небольшой набор дополнительных параметров. LoRA, prefix tuning и prompt tuning являются основными методами этого семейства, каждый из которых добавляет параметры в разном месте.
В LoRA обновление замороженной матрицы весов ограничено низким рангом: оно записывается как произведение двух малых матриц, поэтому обучаются только эти малые матрицы, а исходные веса остаются фиксированными. Поскольку ранг намного меньше размерностей весов, количество обучаемых параметров резко сокращается, что и снижает затраты памяти и вычислений при дообучке.
Формула
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)Оптимизируются только малые добавленные параметры на данных, специфичных для задачи, с использованием значительно меньшего объема видеопамяти, чем при полной дообучке. Базовая модель повторно используется без изменений для разных задач, а изученное низкоранговое обновление может быть объединено обратно с весами для инференса. Рекомендуется использование GPU, и для осмысленной адаптации требуется набор данных задачи разумного размера.
Частые ошибки
- Применение LoRA/PEFT к крошечному набору данных с ожиданием надежной адаптации вместо использования классической модели.
- Рассмотрение параметрически эффективной дообучки как замены наличия подходящей предобученной базовой модели.
- Игнорирование риска переобучения на малых данных задачи вместо мониторинга производительности на валидационном наборе.
- Предположение, что метод устраняет необходимость в GPU, когда он рекомендуется.
Часто задаваемые вопросы
Какова разница между LoRA и PEFT?
PEFT (parameter-efficient fine-tuning) — это широкое семейство методов, которые адаптируют большую модель, обучая лишь небольшое количество дополнительных параметров. LoRA — это один конкретный метод PEFT, который обучает низкоранговое обновление весов; prefix tuning и prompt tuning — другие члены того же семейства.
Сколько данных мне нужно?
Эти методы требуют набора данных задачи разумного размера. Менее примерно 500 примеров адаптация может быть недостаточной и склонной к переобучению, а менее примерно 50 примеров параметрически эффективная дообучка становится бессмысленной — в этом случае классическая модель является лучшим выбором.
Нужен ли мне GPU?
Рекомендуется GPU. Хотя методы PEFT используют значительно меньше памяти, чем полная дообучка, обучение дополнительных параметров на большой предобученной модели по-прежнему значительно выигрывает от ускорения GPU.
Почему обновление имеет низкий ранг?
Изменение, необходимое для адаптации предобученной модели к новой задаче, обычно может быть представлено небольшой низкоранговой коррекцией, а не плотным обновлением каждого веса. Представление его как произведения двух малых матриц — это то, что резко снижает количество обучаемых параметров и, соответственно, стоимость.
Похожие методы
Источники
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
Открыть ссылку на публикациюСкопировано.Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
Открыть ссылку DOIСкопировано.