So tickt KI: Blick unter die Motorhaube von Sprachmodellen

Neuer Snip, neue Folge: So tickt KI – Blick unter die Motorhaube. Das Ziel dieser Minuten ist, dass ihr ein gutes Grundverständnis habt, wie Sprachmodelle eigentlich funktionieren, so dass ihr typische Phänomene noch besser nachvollziehen könnt und vor allem das Meiste aus der Nutzung mit eurem KI-Tool rausholen könnt. Und wenn ihr jetzt denkt: 'Ah ja, so eine technische Detailvorlesung habt ihr keine Lust', keine Sorge, braucht ein paar Minuten und es sind nur ganz simple Grundprinzipien, die wirklich alles erklären. Ich fange mal an. Das erste Grundprinzip ist schon tatsächlich das Wichtigste. Wenn ihr euch nur eine Sache merkt, merkt euch bitte das: Euer Sprachmodell sagt voraus, welcher Wortbaustein in eurer Antwort wahrscheinlich als Nächstes kommt. Hier habe ich die englische Abkürzung LLM für Large Language Model benutzt, meint aber natürlich Sprachmodell. Und das ist der Kernsatz: Sprachmodelle sagen voraus, welcher Wortbaustein wahrscheinlich als Nächstes kommt. Was soll das denn bedeuten? Guckt euch mal diesen Satz hier an: 'Ich packe meinen...' Sicherlich habt ihr jetzt sofort das Wort Koffer auf der Zunge liegen gehabt. Ihr habt sofort vervollständigen wollen, was jetzt hier als wahrscheinlich Nächstes kommt. Und das Sprachmodell macht nichts anderes. Es schaut sich die möglichen Antwortmöglichkeiten an und weist eine Wahrscheinlichkeit zu, wählt eines aus und dann wiederholt es den Prozess. Und wenn es da ein Wort ausgesucht hat oder einen Wortbaustein, wiederholt es den Prozess und so weiter und so weiter, bis eure Antwort vollständig vorliegt. Der Trick ist jetzt, dass nicht immer die wahrscheinlichste Antwort gewählt wird. Das wechselt das Modell ab. Also manchmal kommt die zweit-, dritt-, viert- oder eine sogar vielleicht abseitige Antwortmöglichkeit. Und das erklärt jetzt, warum ihr eigentlich niemals das exakt gleiche Ergebnis mit dem gleichen Prompt generieren könnt. Das hat etwas mit diesem Auswahlmechanismus zu tun. Und woher kommt jetzt das Modell auf die Einschätzung der Wahrscheinlichkeit? Das hat etwas mit dem Training in der Entwicklung der Produkte zu tun. Da gibt es im großen, im Großen und Ganzen zwei Phasen, die ihr euch merken müsst. Hier seht ihr auf der linken Seite mal schematisiert, was zuerst passiert, nämlich: Das Modell liest ganz viel. Alles, was Menschen schon gelesen oder geschrieben oder produziert haben. Das können Bücher sein, Webseiten, Artikel, natürlich auch Videos, Code – total wichtig. Das wird alles eingebaut, um das Modell zu trainieren. Und daraus könnt ihr jetzt auch ableiten, warum seit einiger Zeit das Thema Daten in der Wirtschaft so wichtig und für so wertvoll anerkannt wird, denn vor allem KI-Anbieter sind natürlich immer auf der Suche nach den neuesten, besten Datenquellen, um ihre Modelle möglichst stark trainieren zu können. Und jetzt fängt das Modell an, erste Ausgaben zu trainieren. Also es antwortet auf bestimmte Fragen und es wird bewertet: War das jetzt eine gute oder eine schlechte Antwort? Und früher, also früher bedeutet hier so vor drei, vier Jahren, so lange ist es noch nicht her, haben das wirklich Menschen bewertet. Heutzutage wird das tatsächlich in großem Stil von Modellen getan, die genau für diese Bewertung trainiert wurden und diese menschlichen Bewertungsmuster gut nachahmen können, so dass die Modelle wirklich viele Millionen Feedbackdaten haben, welche Antworten als gut betrachtet werden und gefallen. Und ihr seht hier vielleicht auf dem Slide das kleine orangefarbene Symbol. Das steht für ein Kalenderblatt. Das ist ganz wichtig in diesem Kontext, denn es gibt immer einen sogenannten Stichtag bei diesem Training. Also wenn die Kopie gezogen wird von all dem, was das Sprachmodell lesen soll, dann muss das ja immer an einem bestimmten Tag passieren und das ist dann gleichzeitig der Redaktionsschluss. Das bedeutet, alles, was danach zum Beispiel im Internet veröffentlicht wurde, liegt dem Sprachmodell aus diesen Trainingsdaten nicht vor. Also anders ausgedrückt: Was heute Morgen bei mir im Nachbarort für ein Wetter war, kann das Sprachmodell aus diesem Training nicht wissen. Früher hat das, also auch wieder vor drei, vier Jahren, hat das dazu geführt, dass auf manche Fragen die Sprachmodelle keine gute, substantielle Antwort liefern konnten, weil sie einfach das Wissen aus ihren Trainingsdatensatz nicht ableiten konnten. Aber heute ist diese Lücke geschlossen und die meisten Tools haben ein sogenanntes Web-Search-Tool eingebaut. Das heißt, sie merken, wenn eine Frage sich auf neuere Ereignisse bezieht, starten sie selbstständig eine Websuche und ergänzen die Information entsprechend. Das habt ihr vielleicht schon bei dem einen oder anderen Prompt von euch bemerkt. Jetzt wisst ihr auch, woher das Modell seine Wahrscheinlichkeitsdaten nimmt. Es kommt noch ein weiteres wichtiges Prinzip und das hat damit zu tun, dass das Sprachmodell nicht wie wir ganze Wörter oder Sätze liest und auch nicht so denkt, sondern es liest, es denkt, es arbeitet in sogenannten Token. Und wie sieht das in der Praxis aus? Ich habe euch einfach mal beispielhaft das berühmte deutsche Wort Donaudampfschifffahrt zerlegen lassen, damit ihr visuell mitnehmt: Ein deutsches Wort zerfällt in mehrere Token. Dieses Beispiel ist jetzt sehr extrem. Es gibt auch viele Wörter, wo ein Wort dann doch einem Token entspricht. Also wenn ihr eine Faustregel mitnehmen wollt, dann nehmt mal mit, dass ungefähr 1000 deutsche Wörter in ungefähr 1250 Token zerlegt werden. Und warum ist das überhaupt wichtig für euch zu wissen? Also erstens wird euer Nutzungsverhalten so abgerechnet. Sobald ihr sehr intensiv nutzt und nicht mehr in den ganz normalen Standardplänen operiert, wird eure Nutzung meistens per Millionen Token abgerechnet. Und Pro-Tipp: Der Input ist günstiger als der Output, wird meistens teurer berechnet. Und das Zweite, wo euch dieses Konzept der Token manchmal begegnen kann, ist im sogenannten Kontextfenster. Jedes Modell hat ja bestimmte Grenzen, die festlegen, wie viel Input es jetzt verarbeiten kann, wenn es die Wahrscheinlichkeit für euren nächsten Wortbaustein berechnet, und das nennt man eben das sogenannte Kontextfenster. Und diese Größe wird auch wieder in Token angegeben. Ist jetzt für eure tägliche Nutzung nicht mehr ganz so relevant, weil die meisten Modelle extrem große Tokenfenster haben, so dass ihr da wirklich nur in absoluten Grenzcases überhaupt dran stoßt. Aber jetzt kennt ihr dieses wichtige Prinzip und könnt euch damit das ein oder andere Phänomen erklären. Ja, und jetzt sind wir schon beim letzten Prinzip, das ihr wissen müsst: Ein Sprachmodell, das liest auch nicht so von links nach rechts wie wir, Wort für Wort oder Token für Token wie wir das tun, sondern es schaut auch immer auf den gesamten Input gesamthaft und gewichtet nach dem Prinzip der sogenannten Attention, Aufmerksamkeit. Das war ein großer Durchbruch bei der Entwicklung der Sprachmodelle und gilt heute als einer der Gründe, warum die Sprachmodelle so gut für uns funktionieren. Und ich kann euch mal zeigen, wie das funktioniert an einem Beispiel. Die Modelle haben ja kein inhärentes Verständnis dafür, was die Worte bedeuten. Aber trotzdem ist es wichtig für die Qualität der Antwort, für die Qualität der Vorhersage des wahrscheinlich nächsten Bausteins, dass das Modell unterschiedliche Begriffsdimensionen auseinanderhalten kann. Und das passiert jetzt eben über die sogenannte Attention. In diesem Beispiel seht ihr das deutsche Wort Bank in zwei ganz verschiedenen Definitionen verwendet: einmal Sitzmöbel und einmal Geldinstitut. Und das Modell kann das eben aus den Wörtern drumherum, indem es die Bedeutung dieser Wörter drumherum gewichtet nach dem Prinzip der Attention, erkennen und auseinanderhalten und so seine nächsten Token besser vorhersagen. Und warum ist das jetzt wichtig für euch? Das findet tatsächlich bei jeder Chatnachricht, bei jeder Interaktion mit eurem KI-Tool statt. Und alles in eurem Prompt konkurriert immer um diese Aufmerksamkeit. Also auf der einen Seite ist es sehr wichtig, dass ihr so viel Kontext wie möglich gebt, damit das Tool eben diese Gewichtung durchführen kann und so gut Rückschlüsse ziehen kann, welche Bedeutung von Wörtern jetzt wie gemeint ist und welcher Kontext relevant ist. Auf der anderen Seite müsst ihr euch klar sein, dass alles immer um diese gleiche Aufmerksamkeit konkurriert. Das heißt: Je klarer ihr benennt, worauf es ankommt, desto zuverlässiger kann das Modell gewichten. Ja, und zack, kann die Motorhaube schon wieder zugeklappt werden. Das waren die wichtigsten Prinzipien, die ihr über die Funktionsweise von Sprachmodellen kennen solltet. Ihr wisst jetzt, dass Sprachmodelle immer voraussagen, was wahrscheinlich der nächste Textbaustein sein könnte, aber nicht immer die wahrscheinlichste Möglichkeit nehmen. Ihr wisst jetzt, dass das Modell dafür auf die Trainingsdaten und das, was es über die Bewertung der Antworten gelernt hat, zurückgreift. Es denkt nicht in Worten so wie wir, sondern in Token und es liest auch nicht von links nach rechts, sondern benutzt das Konzept der Attention, um die Begriffe zueinander zu gewichten und so die beste Voraussage für euch zu treffen.