MoE-KI-Modell: Experten, Tokens und aktive Parameter

«Mixture of Experts»-Modelle aktivieren für jedes Token bestimmte Teilnetze. Diese selektive Berechnung verringert einen Teil des Aufwands, sagt aber weder alles über den benötigten Speicher noch über die tatsächliche Leistung aus.

Um das nächste Token einer Antwort zu erzeugen, muss ein KI-Modell nicht immer alle seine Parameter einsetzen. Eine Architektur namens «Mixture of Experts» oder MoE wählt stattdessen bei jedem Schritt einige Teilnetze aus. So kann sie eine große Zahl von Parametern umfassen, ohne für jedes Token sämtliche Berechnungen auszuführen, die ein gleich großes dichtes Modell erfordern würde. Aktive Parameter und die für den Betrieb erforderlichen Ressourcen sind jedoch nicht dasselbe.

Vom Text zum Token: der Weg einer Anfrage

Ein Sprachmodell verarbeitet Text in Form von Tokens. Ein Token kann einem Wort, einem Wortteil oder einem Zeichen entsprechen. Das System wandelt diese Einheiten in numerische Repräsentationen um und verändert sie dann im Verlauf von Berechnungen, bei denen die Parameter des Modells zum Einsatz kommen. Diese Parameter sind Werte, die während des Trainings angepasst werden: Sie tragen zu den Transformationen bei, die das Netzwerk auf die Daten anwendet.

Bei jedem Schritt schätzt das Modell, welche Tokens folgen könnten, wählt dann eines aus und beginnt von vorn. Es wählt also keinen bereits ausformulierten Absatz aus einem Vorrat aus, sondern erzeugt eine Sequenz Token für Token und berücksichtigt dabei den vorgegebenen Kontext.

In einer dichten Architektur werden dieselben Parameterblöcke für die Verarbeitung jedes Tokens verwendet, auch wenn sich der Inhalt ändert. Ein MoE-Modell fügt in bestimmten Schichten mehrere Teilnetze hinzu, die als Experten bezeichnet werden. Ein Router bewertet, welche davon für das betreffende Token herangezogen werden, und leitet die Berechnung an die ausgewählten Experten weiter. Die Auswahl kann sich von Token zu Token und von Schicht zu Schicht unterscheiden.

Experten, die keine spezialisierten Agenten sind

Der Begriff «Experte» kann die Vorstellung eines Teams kleiner, autonomer Modelle wecken: eines für Mathematik, eines für Übersetzungen und eines für Code. Das ist jedoch nicht gemeint. Ein Experte ist ein Teilnetz aus Neuronen mit eigenen Parametern, das in bestimmte Schichten des Modells eingebettet ist. Ihm wird nicht unbedingt im Voraus eine klar umrissene Aufgabe für ein bestimmtes Fachgebiet zugewiesen.

Während des Trainings können Spezialisierungen entstehen, abhängig von den Regelmäßigkeiten, die die verschiedenen Teilnetze erlernen. Die Bezeichnung garantiert jedoch weder, dass ein bestimmter Experte ein konkretes Fachgebiet beherrscht, noch dass ihm eine für den Nutzer nachvollziehbare Fähigkeit zugeschrieben werden kann. Der Router wählt die Experten anhand der Repräsentation des Tokens aus, die bereits Informationen zu dessen Kontext enthält; er verteilt nicht einfach eine ganze Frage auf Agenten mit unterschiedlichen Aufgaben.

In einer MoE-Schicht werden die Beiträge der ausgewählten Experten kombiniert, bevor die Berechnung fortgesetzt wird. Andere Operationen bleiben gemeinsam und hängen nicht von dieser Auswahl ab. Die Zahl der sogenannten «aktiven» Parameter umfasst daher die Parameter der herangezogenen Experten, aber auch jene der für die Verarbeitung erforderlichen gemeinsamen Operationen.

Mixtral 8x7B, ein datiertes und messbares Beispiel

Mixtral 8x7B, das Mistral AI im Dezember 2023 vorstellte, veranschaulicht das Prinzip. Laut der technischen Beschreibung besteht jede Schicht aus acht Feed-forward-Blöcken, also Teilnetzen, die die Repräsentationen der Tokens transformieren. Für jedes Token und in jeder betreffenden Schicht wählt ein Router zwei davon aus.

Laut Datenblatt von Mistral AI hat das Modell insgesamt 46,7 Milliarden Parameter, von denen 12,9 Milliarden pro Token aktiviert werden. Diese Zahlen beschreiben die Struktur des Modells und die Aktivierung während der Inferenz, also bei der Erzeugung oder Verarbeitung einer Eingabe. Für sich genommen sind sie kein allgemeines Maß für Qualität oder Geschwindigkeit.

Mistral AI veröffentlichte außerdem Vergleiche auf Benchmarks, also standardisierten Tests, und erklärte, Mixtral erreiche oder übertreffe bei mehreren Bewertungen bestimmte Modelle. Dabei handelt es sich um vom Hersteller im Rahmen der vorgestellten Tests veröffentlichte Vergleiche; sie bedeuten nicht, dass das Modell bei jeder Aufgabe, in jeder Sprache oder bei jedem Einsatz besser ist. Mixtral dient hier als historisches Beispiel, um eine Architektur zu verstehen, nicht als Ankündigung einer Neuheit.

Weniger Berechnung bedeutet nicht weniger Speicher

Der Unterschied zwischen der Gesamtzahl der Parameter und der Zahl der aktiven Parameter betrifft zunächst die Berechnung für ein Token. Die nicht ausgewählten Experten sind an diesem Schritt nicht beteiligt, ihre Parameter gehören jedoch weiterhin zum Modell. Damit sie später herangezogen werden können, muss das System sie im Speicher halten oder über die Infrastruktur, auf der sie gehostet werden, zugänglich machen.

Dieser Unterschied ist beim Einsatz eines Modells wichtig. Sind seine verschiedenen Experten auf mehrere Grafikprozessoren verteilt, muss das System die Daten an die Grafikprozessoren übertragen, auf denen die ausgewählten Experten gehostet werden, und anschließend deren Ergebnisse abrufen. Diese Übertragungen beanspruchen Zeit und Ressourcen. Auch der Router muss berechnen, welche Experten ausgewählt werden. Die Zahl der aktiven Parameter beschreibt daher weder den gesamten benötigten Speicher noch sämtliche erforderlichen Vorgänge und Datenübertragungen.

Eine MoE-Architektur kann im Vergleich zu einem dichten Modell mit ebenso vielen Parametern insgesamt den Berechnungsaufwand verringern. Sie garantiert jedoch weder eine schnellere Antwort noch eine niedrigere Rechnung oder einen einfacheren Betrieb. Das Ergebnis hängt unter anderem von der Verteilung der Parameter, der Hardware, der Kommunikation zwischen den Prozessoren und der Ausführung des Modells ab.

Wer zwei Modelle vergleicht, sollte daher über die angegebene Zahl hinausblicken. Die Gesamtzahl der Parameter gibt Auskunft über den Umfang des Erlernten; die Zahl der aktiven Parameter informiert über einen Teil der Berechnung pro Token. Keine der beiden Zahlen misst unmittelbar die Zuverlässigkeit einer Antwort. Dafür müssen die Bewertungen für die betreffende Aufgabe, ihre Bedingungen und die möglichen Fehler des Systems untersucht werden.