Ja, neuer Snip aus der Serie „So tickt KI“. Heute geht es um die Limitationen.
Wo kommen die Sprachmodelle eigentlich an die Grenzen? Und die Logik dahinter ist:
Wenn ihr diese Grenzen versteht, dann könnt ihr noch mal sehr viel mehr aus der Nutzung mit eurem KI-Lieblingstool herausholen.
Ich möchte euch heute fünf vorstellen. Die erste Limitation, die ist euch sicher schon bekannt,
das ist euch wahrscheinlich schon selbst passiert oder ihr habt schon davon gehört: Das sind die sogenannten Halluzinationen.
Eine Halluzination ist, wenn das Ergebnis eines Sprachmodells frei erfundene Dinge erzählt.
Und das erklärt sich aus der Bauweise, denn das Sprachmodell hat nicht den Job, das Ergebnis zu überprüfen.
An keiner Stelle gibt es eine Instanz, die die fertige Antwort noch mal durch einen Wahrheitsfilter laufen lässt.
Und für euch bedeutet das: Immer wenn in einem Sprachergebnis konkrete Dinge behauptet werden,
lohnt es sich, das kurz zu überprüfen. Gute Best-Practice-Tipps sind, sich dann kurz die Quelle bestätigen zu lassen,
dann könnt ihr selber noch mal nachschauen. Wenn ihr in einem Ergebnis auf bestimmte Quellen verweist,
Studien zitiert, bestimmte berühmte Zitate zitiert, gebe ich euch auch den Tipp: Prüft das stichpunktartig.
Nur weil es im Ergebnis besonders vertrauenerweckend aussieht, weil es eine Quellenangabe hat und vielleicht eine Datumsangabe hat,
bedeutet das gar nichts. Ich verwende tatsächlich das umgedrehte Prinzip:
Je überzeugender das im Ergebnis aussieht oder sich anhört, umso mehr ist das für mich ein Hinweis, kurz auf eine Halluzination gegenzuchecken.
Ihr seht hier auf dem Slide zum Beispiel zwei Studien, auf die ich mal gestoßen bin,
als ich etwas über die KI-Nutzung und KI-Adoption recherchieren wollte.
Und ihr seht, da war eine frei erfunden, nämlich die untere, klang aber genauso plausibel und valide wie die anderen.
Also merkt euch das: Nur weil es gut klingt, muss es noch lange nicht wahr sein.
Die zweite Grenze, das ist das Kontextfenster.
Die hat etwas damit zu tun, dass die meisten Modelle eben begrenzen, wie viel Input sie bei der Bearbeitung eurer Anfrage verarbeiten können.
Das nennt man das sogenannte Kontextfenster. Und alles, was da rausfällt,
weil ihr es vielleicht ganz am Anfang in einer langen Unterhaltung eingearbeitet hattet,
das verliert das Sprachmodell bei der Erstellung der Antwort aus dem Fenster.
Das hat etwas mit der Bauweise der Sprachmodelle zu tun, und Gott sei Dank werden die Modelle immer besser und diese Kontextfenster immer größer.
Aber wenn ihr an sehr komplexen Aufgaben arbeitet, vielleicht mit großen beigefügten Dokumenten,
solltet ihr das im Blick haben, damit ihr noch möglichst gute Antworten aus dem Sprachmodell herausholen könnt.
Die dritte Grenze, das ist der englische Fachbegriff Sycophancy – ich habe das jetzt bestimmt nicht perfekt ausgesprochen –,
bedeutet auf Deutsch so etwas wie Einschleimen. Das ist ein wirklich wichtiges Phänomen,
das ihr euch immer wieder mal klarmachen müsst. Also ich versuche da jede Woche einmal drüber nachzudenken.
Das beschreibt das Phänomen, dass die Sprachmodelle uns sehr nach dem Mund reden.
Sie wollen es uns einfach wirklich recht machen. Das hat etwas mit dem Training zu tun:
Die haben einfach gelernt, dass zustimmende Antworten sehr gut ankommen.
Und deswegen haben sie diese inhärente Tendenz, uns zuzustimmen.
Das kann aber natürlich bei der Arbeit total kontraproduktiv sein. Da wollt ihr ja sicherlich häufig eine kritische Stimme
oder vielleicht extra auf Schwachpunkte hingewiesen werden.
Also ist die Technik, um hier gegenzuarbeiten: Erstens aktiv um kritisches, neutrales Feedback zu bitten.
Und zweitens ist mein Geheimtipp: Gerade wenn ihr eine Idee von euch, einen Textentwurf von euch bewerten lassen wollt oder verfeinern lassen wollt,
gebt nicht so deutlich zu erkennen, dass das euer Entwurf ist, sondern setzt das als neutraleres zu bewertendes Arbeitsobjekt in den Chat ein.
Denn sobald das Sprachmodell weiß, dass das euer Konzept ist, wird es schon wieder diese sehr zustimmende Tendenz zeigen.
Die vierte Grenze ist der sogenannte Bias, die Verzerrung. Das ist auch ein systeminhärentes Phänomen bei Sprachmodellen
und das basiert auf dem berühmten Grundprinzip, das ihr wahrscheinlich aus vielen anderen Beispielen in eurem Berufsleben kennt:
Output kann nur so gut sein wie der Input. Und wenn in den Trainingsdaten, mit denen das Sprachmodell trainiert hat,
eben eine bestimmte Verzerrung, ein Bias vorliegt, dann wird sich diese Verzerrung, dieser Bias auch im Output widerspiegeln.
Ein Beispiel, das ihr euch visuell gut merken könnt, ist hier die Bildersuche nach einem Bild eines Geschäftsführers.
Und ihr seht auf einen Blick: Also da sind auf jeden Fall Männer mittleren Alters in einer ganz klassischen Bürosituation
mit kaukasischem Hintergrund abgebildet. Und was ihr jetzt da tun könnt, sind zwei Dinge.
Also das Erste ist schon geschafft: Ihr müsst euch dieses Themas bewusst sein, sodass ihr proaktiv mitdenken könnt
und die Arbeitsergebnisse daraufhin überprüfen könnt. Und das Zweite: Wenn ihr selber mal Daten hochladet, um damit zu arbeiten,
achtet bitte darauf, dass ihr die Datenverzerrung mitbedenkt und, wenn möglich, ausgleicht.
Ja, und die fünfte Grenze, die ist jetzt anders in der Natur als die vier, die wir besprochen haben.
Halluzinationen, Kontextfenster, Schmeichelei, Bias: Das sind vier Phänomene, die sind inhärent in der Funktionsweise der Sprachmodelle,
so was wie die Kehrseite der Medaille, es gehört einfach dazu. Die fünfte Grenze ist anders:
Das sind Guardrails, Grenzen, die die Menschen, also die Entwickler der Modelle, ganz bewusst eingezogen haben,
um die Nutzung der Sprachmodelle einzuschränken. Das bedeutet, dass bestimmte sicherheitsrelevante Fragen einfach nicht bearbeitet werden dürfen.
Vielleicht habt ihr das in Grenzfällen auch schon einmal bemerkt, wenn ihr zum Beispiel mit Bildbearbeitung experimentiert habt
und vielleicht Bilder von Dritten hochgeladen habt, dann werden die Modelle in aller Regel das erkennen und flaggen,
dass ihr hier die Bildrechte von Dritten verletzt. Aber so werden eben auch andere sicherheitsrelevante Bereiche ausgeschlossen.
Also aus meiner Sicht ein sehr wichtiges Detail in der Ausgestaltung der Modelle.
So, jetzt habt ihr einen Überblick über die fünf wichtigsten Grenzen der Sprachmodelle
und wie das die Nutzung für euch beeinflussen kann. Ich hoffe, ihr habt ein paar Anregungen mitgenommen,
wie das in eurem Alltag zu noch besseren Ergebnissen führen kann.
