Zum Inhalt springen
Zurück zu den Suchergebnissen

LoRA und PEFT

Eingeführt von
Hu, E. J. et al.; Lester, B. et al.
Jahr
2022
Typ
Parameter-efficient fine-tuning of large pretrained models

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

LoRA (Low-Rank Adaptation), eingeführt von Hu et al. im Jahr 2022, und die breitere Familie der parameter-effizienten Feinabstimmungsmethoden (PEFT) passen große vortrainierte Sprachmodelle an neue Aufgaben an, indem sie nur eine kleine Anzahl zusätzlicher Parameter trainieren, anstatt jedes Gewicht im Modell.

Dies ermöglicht die Feinabstimmung mit weitaus weniger GPU-Speicher und Rechenleistung, während das ursprüngliche Modell weitgehend unberührt bleibt.

Die Intuition hinter der Methode

Die vollständige Feinabstimmung eines großen Sprachmodells bedeutet die Aktualisierung von Milliarden von Gewichten, was speicher- und rechenintensiv ist und eine vollständige Kopie des Modells für jede Aufgabe erzeugt. Die zentrale Erkenntnis hinter LoRA ist, dass die von einer Aufgabe geforderte Änderung in der Regel niedrigrangig ist: Sie kann durch ein kleines Paar von Matrizen erfasst werden, anstatt durch eine dichte Aktualisierung jedes Gewichts. PEFT-Methoden nutzen dies aus, indem sie das ursprüngliche Modell einfrieren und nur einen winzigen Satz neuer Parameter trainieren, sodass ein einziges Basismodell kostengünstig für viele Aufgaben spezialisiert werden kann.

Geschichte

LoRA wurde 2022 von Hu et al. eingeführt und schlug vor, dass die zur Anpassung eines großen Sprachmodells erforderliche Gewichtsaktualisierung als niedrigrangige Zerlegung dargestellt werden kann, die anstelle der vollständigen Feinabstimmung trainiert wird. Sie baute auf früheren parameter-effizienten Ideen auf, einschließlich des Prompt Tunings von Lester et al. (2021), das zeigte, dass die Anpassung nur eines kleinen Satzes von Soft-Prompt-Parametern mit zunehmender Modellgröße immer wettbewerbsfähiger wird. Zusammen etablierten diese Methoden die parameter-effiziente Feinabstimmung als den Standardweg zur kostengünstigen Spezialisierung großer vortrainierter Modelle.

Wann wird sie eingesetzt?

Verwenden Sie LoRA und PEFT, wenn Sie ein großes vortrainiertes Sprachmodell an eine spezifische Textklassifizierungs- oder Vorhersageaufgabe anpassen möchten, sich aber die Speicher- und Rechenleistung der vollständigen Feinabstimmung nicht leisten können. Ein großes vortrainiertes Modell muss bereits verfügbar sein, aufgabenspezifische Daten sollten vorbereitet werden und eine GPU wird empfohlen. Diese Methoden funktionieren am besten mit einem umfangreichen Aufgabendatensatz; bei sehr kleinen Datensätzen (unter einigen hundert Beispielen) neigt die Anpassung zu Überanpassung, und ein einfacheres Modell wie ein Random Forest oder Gradient Boosting ist sicherer.

Grenzen und Hinweise

  • Erfordert ein großes vortrainiertes Modell als Ausgangspunkt; es trainiert kein Modell von Grund auf neu.
  • Eine GPU wird empfohlen, und aufgabenspezifische Daten müssen im Voraus vorbereitet werden.
  • Bei kleinen Aufgabendatensätzen (unter etwa 500 Beispielen) liefert die Feinabstimmung möglicherweise keine ausreichende Anpassung und birgt das Risiko der Überanpassung.
  • Bei sehr wenigen Aufgabendaten (unter etwa 50 Beispielen) wird selbst die parameter-effiziente Feinabstimmung bedeutungslos.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Drastisch geringerer GPU-Speicher und geringere Rechenleistung als bei der vollständigen Feinabstimmung, da nur ein kleiner Satz von Parametern trainiert wird.
  • Das ursprüngliche vortrainierte Modell wird eingefroren und über Aufgaben hinweg wiederverwendet, sodass ein einziges Basismodell viele Male spezialisiert werden kann.
  • Die erlernte niedrigrangige Aktualisierung kann wieder in die Gewichte integriert werden und verursacht keinen Overhead zur Inferenzzeit.
  • Umfasst eine Familie von Optionen – LoRA, Prefix Tuning, Prompt Tuning –, sodass die Anpassung dort platziert werden kann, wo sie am besten funktioniert.

Anwendungen

  • Anpassung eines großen vortrainierten Sprachmodells an eine domänenspezifische Textklassifizierungsaufgabe.
  • Spezialisierung eines Basismodells auf viele Aufgaben, ohne eine vollständige Kopie pro Aufgabe zu speichern.
  • Feinabstimmung unter begrenztem GPU-Speicher, wo eine vollständige Feinabstimmung nicht möglich ist.
  • Textvorhersageaufgaben, die auf einem bestehenden vortrainierten Sprachmodell aufbauen.

So funktioniert es

So funktioniert es

1

Ein großes, bereits vortrainiertes Modell wird als fester Ausgangspunkt genommen. Anstatt alle seine Gewichte feinabzustimmen, werden die ursprünglichen Parameter eingefroren und nur ein kleiner Satz zusätzlicher Parameter eingeführt und für die Zielaufgabe trainiert. LoRA, Prefix Tuning und Prompt Tuning sind die wichtigsten Methoden dieser Familie, die jeweils Parameter an einer anderen Stelle hinzufügen.

2

Bei LoRA wird die Aktualisierung einer eingefrorenen Gewichtsmatrix auf niedrigrangig beschränkt: Sie wird als Produkt zweier kleiner Matrizen geschrieben, sodass nur diese kleinen Matrizen trainiert werden, während die ursprünglichen Gewichte fix bleiben. Da der Rang viel kleiner ist als die Gewichtsdimensionen, sinkt die Anzahl der trainierbaren Parameter drastisch, was die Speicher- und Rechenkosten der Feinabstimmung reduziert.

Formel
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)
3

Nur die kleinen hinzugefügten Parameter werden auf den aufgabenspezifischen Daten optimiert, wobei weitaus weniger GPU-Speicher als bei der vollständigen Feinabstimmung benötigt wird. Das Basismodell wird unverändert über Aufgaben hinweg wiederverwendet, und die erlernte niedrigrangige Aktualisierung kann für die Inferenz wieder in die Gewichte integriert werden. Eine GPU wird empfohlen, und ein einigermaßen großer Aufgabendatensatz ist für eine sinnvolle Anpassung erforderlich.

Häufige Fallstricke

  • Anwendung von LoRA/PEFT auf einen winzigen Datensatz und Erwartung einer zuverlässigen Anpassung, anstatt auf ein klassisches Modell zurückzugreifen.
  • Betrachtung der parameter-effizienten Feinabstimmung als Ersatz für ein geeignetes vortrainiertes Basismodell.
  • Ignorieren des Risikos der Überanpassung bei kleinen Aufgabendaten, anstatt die Validierungsleistung zu überwachen.
  • Annahme, dass die Methode die Notwendigkeit einer GPU beseitigt, wenn eine empfohlen wird.

Häufig gestellte Fragen

Was ist der Unterschied zwischen LoRA und PEFT?

PEFT (parameter-effiziente Feinabstimmung) ist die breite Familie von Methoden, die ein großes Modell anpassen, indem sie nur eine kleine Anzahl zusätzlicher Parameter trainieren. LoRA ist eine spezifische PEFT-Methode, die eine niedrigrangige Aktualisierung der Gewichte trainiert; Prefix Tuning und Prompt Tuning sind weitere Mitglieder derselben Familie.

Wie viele Daten benötige ich?

Diese Methoden benötigen einen einigermaßen großen Aufgabendatensatz. Unter etwa 500 Beispielen kann die Anpassung unzureichend sein und zu Überanpassung neigen, und unter etwa 50 Beispielen wird die parameter-effiziente Feinabstimmung bedeutungslos – ein klassisches Modell ist dort die bessere Wahl.

Benötige ich eine GPU?

Eine GPU wird empfohlen. Obwohl PEFT-Methoden weitaus weniger Speicher als die vollständige Feinabstimmung verbrauchen, profitiert das Training der hinzugefügten Parameter auf einem großen vortrainierten Modell immer noch erheblich von der GPU-Beschleunigung.

Warum ist die Aktualisierung niedrigrangig?

Die Änderung, die zur Anpassung eines vortrainierten Modells an eine neue Aufgabe erforderlich ist, kann normalerweise durch eine kleine niedrigrangige Korrektur erfasst werden, anstatt durch eine dichte Aktualisierung jedes Gewichts. Die Darstellung als Produkt zweier kleiner Matrizen reduziert die Anzahl der trainierbaren Parameter – und die Kosten – drastisch.

Verwandte Methoden

Quellen

  1. Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.

    Publikationsreferenz öffnen
    Kopiert.
  2. Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.

    DOI-Referenz öffnen
    Kopiert.