Was ein großes Sprachmodell wirklich tut

Innerhalb weniger Jahre sind diese Werkzeuge aus den Laboren auf jedes Telefon gewandert. Zwischen denen, die darin ein aufkommendes Bewusstsein sehen, und denen, die es für einen Taschenspielertrick halten, geht eine einfachere Tatsache unter: Die Kernidee lässt sich in einem Absatz erklären — und wer sie versteht, nutzt diese Werkzeuge anders.

Die Kernidee: das Nächste vorhersagen

Nehmen Sie einen unvollendeten Satz: „Kaffee ist ein Getränk aus gerösteten…". Die meisten würden mit „Bohnen" fortfahren. Genau das tut das Modell, mit zwei Unterschieden.

Erstens wählt es nicht ein Wort, sondern berechnet eine Wahrscheinlichkeit für jede mögliche Fortsetzung und trifft daraus eine Auswahl.

Zweitens wiederholt es. Es hängt das gewählte Stück an den Text und fragt erneut: und danach? Und danach? Bis die Antwort vollständig ist.

Das ist der gesamte Mechanismus. Es gibt darin keine Faktendatenbank und keine separate Denkmaschine. Lange, stimmige Passagen entstehen dadurch, dass dieser eine kleine Schritt tausendfach wiederholt wird.

Woher das „Lernen" kommt

Im Training werden dem Modell gewaltige Textmengen mit verdeckten Stellen gezeigt, und es soll das Fehlende erraten. Anfangs liegt es völlig daneben, also werden seine internen Einstellungen ein wenig in die richtige Richtung korrigiert. Und dann wieder, milliardenfach.

Diese Einstellungen — die Gewichte — sind alles, was am Ende bleibt. Das Modell bewahrt keine Kopie der Trainingstexte auf, sondern daraus gewonnene Muster: wie ein Satz gebaut wird, welche Wörter zu welchen passen, wie eine Erklärung aussieht, wie eine höfliche Antwort aussieht.

Und weil diese Muster aus Texten von Menschen stammen, wandern deren Richtigkeit und deren Verzerrungen gemeinsam ins Modell.

Warum es sich selbstsicher irrt

Das ist der praktisch wichtigste Punkt.

Fragen Sie nach etwas, das es nicht weiß, gibt es keinen inneren Mechanismus, der ihm das mitteilt. Seine einzige Aufgabe ist, wahrscheinlichen Text zu erzeugen — und der wahrscheinlichste Text an dieser Stelle ist eine Antwort mit der richtigen Form.

Also erzeugt es ein nie geschriebenes Buch, eine nicht existierende Rechtsquelle oder eine plausibel wirkende Zahl. Das nennt man Halluzination.

Das Heikle daran: Der Ton ändert sich nie. Richtige und erfundene Angaben werden mit derselben Überzeugung geschrieben, denn für das Modell ist Überzeugung ein Stilmerkmal, kein Signal für Gewissheit.

Was es gut und was es schlecht kann

Die vereinheitlichende Regel: Je mehr die Aufgabe darin besteht, einen von Ihnen gelieferten Text umzuformen, desto besser das Ergebnis. Je mehr sie darin besteht, einen Fakt aus dem Gedächtnis zu holen, desto nötiger die Prüfung.

Begriffe, die immer wieder auftauchen

Token. Die Einheit, die das Modell liest, meist ein Wortfragment. Deshalb scheitert es an scheinbar trivialen Aufgaben wie dem Zählen der Buchstaben eines Wortes — es sieht nie Buchstaben.

Kontextfenster. Die maximale Textmenge, die es auf einmal berücksichtigen kann. In einem langen Gespräch fällt alles heraus, was jenseits davon liegt.

Wissensstichtag. Das Training endet zu einem Zeitpunkt. Was danach kam, ist unbekannt — es sei denn, ein Suchwerkzeug holt den Text im Moment der Frage.

Temperatur. Eine Einstellung dafür, wie stark die Auswahl variiert. Niedrig heißt beständigere, vorhersehbarere Antworten; hoch heißt mehr Vielfalt und mehr Risiko.

Wie man besser fragt

Wer den Mechanismus versteht, nutzt ihn unmittelbar besser:

1. Geben Sie ihm den Text, statt ihn abrufen zu lassen. „Fasse diesen Artikel zusammen" schlägt „Was stand in jenem Artikel" deutlich.
2. Legen Sie die Form fest. Länge, Zielgruppe, Ton, Format. Es errät Ihre Absicht nicht.
3. Verlangen Sie den Rechenweg, nicht nur das Ergebnis, bei allem mit Zwischenschritten — das senkt die Fehlerquote.
4. Korrigieren statt neu anfangen. Genau zu sagen, was falsch ist, geht schneller, als die Frage von vorn zu schreiben.
5. Prüfen Sie, was zählt. Jede Zahl, jeder Name, jeder Verweis, auf dem eine Entscheidung aufbaut, ist eine Minute Kontrolle wert.

Fazit

Ein Sprachmodell ist weder ein Geist noch eine Suchmaschine. Es ist eine außerordentlich leistungsfähige Mustermaschine für Sprache, die wahrscheinlichen Text erzeugt — keinen geprüften.

Wer diesen Unterschied versteht, hat ein ausgezeichnetes Werkzeug. Wer ihn übersieht, bekommt früher oder später eine erfundene Angabe, geschrieben mit perfekter Überzeugung.

Häufige Fragen

Versteht ein Sprachmodell, was es sagt?

Nicht in dem Sinn, in dem ein Mensch versteht. Es sagt die Fortsetzung eines Textes anhand von Mustern voraus, die es aus riesigen Textmengen gelernt hat. Das Ergebnis kann zutreffend und nützlich sein, doch der Prozess dahinter enthielt weder Verstehen noch Prüfen.

Warum erfindet es falsche Angaben?

Weil es gebaut ist, wahrscheinlichen Text zu erzeugen, nicht wahren. Fehlt ihm die Information, hält es nichts auf: Es erzeugt, was einer richtigen Antwort am ähnlichsten sieht. Das nennt man Halluzination.

Sucht es bei jeder Frage im Internet?

Nein, außer es hat ausdrücklich ein Suchwerkzeug. Für sich genommen stützt es sich auf das im Training Gelernte, das feststeht und ein Stichdatum hat.

Was ist ein Token?

Die Texteinheit, mit der das Modell arbeitet, meist kleiner als ein Wort. Es liest weder Buchstaben noch ganze Wörter, sondern diese Fragmente — deshalb scheitert es an scheinbar trivialen Aufgaben wie dem Zählen von Buchstaben.

Werden meine Daten zum Training verwendet?

Das hängt vom Dienst und seinen Einstellungen ab und unterscheidet sich zwischen privaten und geschäftlichen Konten. Die sichere Annahme ist, alles Eingegebene als potenziell lesbar zu behandeln und weder Geheimnisse noch sensible persönliche Daten hineinzuschreiben.