Was uns die Fehler von LLMs vielleicht über unser eigenes Denken erzählen
Ich habe ein Problem mit dem stochastischen Papagei.
Nicht mit dem Begriff selbst. Sondern mit der Selbstverständlichkeit, mit der er in Diskussionen über KI gern als Schlussstrich verwendet wird.
Ein Large Language Model, so geht die Erzählung, denke schließlich nicht wirklich. Es gebe nur wieder, was es irgendwann gesehen habe. Es erkenne Muster, setze Bekanntes neu zusammen und produziere im Zweifel eine plausibel klingende Antwort, obwohl es die richtige nicht kennt.
Papagei eben.
Was mich daran stört, ist weniger die Kritik am LLM. Vieles davon ist schließlich richtig. Mich stört der Maßstab.
Denn jedes Mal, wenn ich diesen Vorwurf höre, frage ich mich inzwischen: Beschreiben wir da wirklich nur die Maschine?
Menschen verbringen einen erstaunlichen Teil ihres kommunikativen Lebens damit, Dinge wiederzugeben, die sie irgendwo gelesen, gehört oder von anderen übernommen haben. Wir kombinieren vorhandenes Wissen, erkennen Muster, vervollständigen Lücken und erzählen Dinge weiter, deren ursprüngliche Quelle wir längst vergessen haben.
Beim Menschen nennen wir das je nach Situation Erfahrung, Bildung, Erinnerung oder Expertise.
Beim LLM nennen wir es Nachplappern.
Vielleicht ist das völlig berechtigt. Vielleicht aber auch nicht ganz.
Die interessantere Frage könnte sein, ob LLMs uns gerade weniger dadurch irritieren, dass sie so menschlich geworden sind, sondern dadurch, dass einige ihrer vermeintlich typisch maschinellen Schwächen unangenehm menschlich aussehen.
Das LLM halluziniert
Einer der offensichtlichsten Vorwürfe lautet: LLMs halluzinieren.
Sie erzeugen Antworten, die plausibel klingen, aber nicht stimmen. Mitunter tragen sie diese Antworten mit beeindruckender Sicherheit vor. Fragt man nach, bekommt man nicht zwingend einen Rückzieher. Manchmal bekommt man stattdessen eine noch ausführlichere Begründung dafür, warum die falsche Antwort richtig sein soll.
Das ist ein reales Problem.
Nur hatte ich irgendwann den Gedanken:
Das LLM halluziniert. Der Mensch halluziniert und verteidigt es anschließend.
Der Satz ist natürlich unfair.
Vor allem gegenüber der Psychologie. „Halluzination“ ist dort etwas Spezifischeres. Wenn Menschen Ereignisse falsch erinnern, Quellen verwechseln oder Erinnerungslücken mit plausiblen Inhalten füllen, wären Begriffe wie falsche Erinnerung, Quellenfehler oder Konfabulation häufig treffender.
Aber als bewusst unscharfe Beschreibung eines beobachtbaren Phänomens gefällt mir der Satz trotzdem: Jemand wird gefragt, erzeugt aus dem, was verfügbar ist, eine plausible Antwort – und diese Antwort muss nicht stimmen.
Menschliche Erinnerung liefert dafür zumindest genügend Anlass zur Demut.
Das sogenannte Source Monitoring Framework beschreibt Erinnerung nicht als Dateiablage mit zuverlässig gespeichertem Herkunftsetikett. Die Zuordnung, woher eine Information stammt – selbst erlebt, gehört, gelesen, gedacht –, ist selbst ein Urteilsprozess. Und dieser kann fehlschlagen. Menschen können Vertrautheit einer falschen Quelle zuschreiben, Vorgestelltes mit Erlebtem verwechseln oder nicht mehr wissen, woher eine Information überhaupt stammt.
Das bedeutet nicht, dass ein Gehirn Informationen so erzeugt wie ein Transformer.
Es bedeutet nur: Auch beim Menschen kommt ein Gedanke nicht mit eingebautem Herkunftsnachweis.
Da steht nicht:
Quelle: eigene Beobachtung vom 14. März 2022 – 96 % zuverlässig
Oder:
Quelle: irgendein Podcast vor drei Jahren – Sprecher unbekannt – vermutlich nur halb zugehört
Der Gedanke ist einfach da.
Und dieses „Der Gedanke ist da“ interpretieren wir erstaunlich schnell als:
Ich weiß das.
Aber ich weiß doch, warum ich das denke
Hier wird es noch unangenehmer.
Wir gehen nicht nur davon aus, dass wir wissen, was wir wissen. Wir gehen häufig auch davon aus, dass wir wissen, warum wir etwas denken oder entschieden haben.
Auch das ist nicht selbstverständlich.
Ein besonders schönes Experiment dazu stammt aus der Forschung zur sogenannten Choice Blindness. Versuchspersonen sollten beispielsweise zwischen zwei Gesichtern wählen. Anschließend wurde ihnen in manchen Fällen unbemerkt nicht das gewählte, sondern das abgelehnte Gesicht als ihre Wahl präsentiert. Ein Teil der Probanden bemerkte den Austausch nicht – und konnte anschließend Gründe dafür nennen, warum er genau dieses Gesicht gewählt habe.
Das ist bemerkenswert.
Nicht weil damit bewiesen wäre, dass Menschen ständig nachträglich irgendwelchen Unsinn erfinden.
Sondern weil es zeigt, wie vorsichtig wir mit einer unserer liebsten Annahmen sein sollten:
Wenn ich eine Erklärung für mein eigenes Denken geben kann, muss diese Erklärung die Ursache meines Denkens gewesen sein.
Vielleicht ist sie das.
Vielleicht ist sie aber auch eine plausible Rekonstruktion.
Und damit sind wir plötzlich wieder erstaunlich nah an einem Verhalten, das wir bei LLMs sofort als verdächtig erkennen.
Das Modell gibt eine Antwort.
Wir fragen:
„Warum?“
Und es liefert eine plausible Begründung.
Beim LLM sind wir zurecht misstrauisch: Die Tatsache, dass es eine gute Erklärung erzeugen kann, beweist nicht, dass genau diese Erklärung kausal zu seiner ursprünglichen Antwort geführt hat.
Beim Menschen neigen wir dagegen dazu, die nachträgliche Erklärung für privilegierten Zugang zum eigenen Denken zu halten.
Vielleicht sollten wir mit beiden etwas skeptischer umgehen.
Der Mensch kann seine Halluzination bewohnen
Bis hierher könnte man meinen, ich wolle Mensch und LLM gleichsetzen.
Das möchte ich nicht.
Denn spätestens jetzt entsteht ein gewaltiger Unterschied.
Wenn ein klassisches LLM eine falsche Antwort erzeugt, ist zunächst genau das passiert: Es hat eine falsche Antwort erzeugt.
Wenn ich eine falsche Erinnerung erzeuge, kann daraus etwas ganz anderes werden.
Nehmen wir an, ich bin überzeugt, dass Peter auf einer Party einen abfälligen Satz über mich gesagt hat.
Vielleicht hat er ihn gesagt.
Vielleicht war es jemand anderes.
Vielleicht war der Satz anders gemeint.
Vielleicht erinnere ich mich schlicht falsch.
Für mein weiteres Leben ist entscheidend, dass ich ihn für wahr halte.
Beim nächsten Treffen bin ich distanzierter.
Peters Reaktion darauf erscheint mir kühl.
Das passt wiederum zu meiner Erinnerung.
Später erzähle ich meiner Frau davon.
Nach einigen Monaten besteht meine Geschichte vielleicht nicht mehr nur aus dem ursprünglichen Satz, sondern aus einem ganzen Netz von Beobachtungen, Interpretationen und Reaktionen.
Die falsche Rekonstruktion wäre dann nicht einfach eine fehlerhafte Ausgabe gewesen.
Sie wäre Bestandteil meines Weltmodells geworden.
Der Mensch halluziniert nicht nur. Er kann seine Halluzination anschließend bewohnen.
Und genau deshalb halte ich den Unterschied zwischen Mensch und LLM weiterhin für fundamental.
Nur liegt er vielleicht an einer anderen Stelle, als die Papageien-Metapher nahelegt.
Warum aber gerade dieser Gedanke?
An diesem Punkt hatte ich beim Nachdenken über das Thema ein Gefühl, für das mir zunächst das Wissen fehlte.
Priming.
Irgendetwas daran schien hier hineinzupassen.
Nicht im populärpsychologischen Sinn einer geheimen Manipulation, bei der ich jemandem drei Wörter zeige und ihn anschließend fernsteuere. Das brauche ich für diese Überlegung überhaupt nicht.
Die kleinere Variante reicht.
Beim semantischen Priming lässt sich seit klassischen Experimenten beobachten, dass vorhergehende, inhaltlich verwandte Reize die anschließende Verarbeitung beeinflussen können. In einem bekannten frühen Experiment wurden zusammengehörende Wörter schneller erkannt als entsprechend unverwandte Kombinationen.
Der wichtige Punkt daran ist für mich nicht irgendein spektakulärer Unterbewusstseins-Hack.
Es ist etwas viel Alltäglicheres:
Was vorher passiert ist, verändert, was anschließend leicht zugänglich ist.
Wenn wir zehn Minuten über Afrika gesprochen haben und ich dich anschließend frage, welche gefährlichen Tiere dir einfallen, könnte deine Antwort anders aussehen, als wenn wir vorher über Australien gesprochen hätten.
Dein gesamtes Wissen über Tiere hat sich nicht verändert.
Aber du antwortest nicht aus einem neutralen Zustand.
Du antwortest aus einem Kontext.
Und genau hier entsteht eine funktionale Ähnlichkeit zu LLMs, die ich ausgesprochen interessant finde.
Nicht weil Gehirn und Transformer gleich funktionieren.
Sondern weil für beide gilt:
Vorheriger Kontext beeinflusst, was danach wahrscheinlich wird.
Bei Sprachmodellen ist das offensichtlich. Genau dafür schreiben wir schließlich Prompts.
Interessanterweise lassen sich bei Sprachmodellen sogar spezifische primingartige sprachliche Effekte experimentell beobachten. Untersuchungen zum strukturellen Priming zeigen beispielsweise, dass die vorherige Präsentation einer Satzstruktur beeinflussen kann, wie wahrscheinlich Modelle anschließend ähnliche Strukturen verwenden. Neuere Arbeiten untersuchen ausdrücklich, inwieweit diese Effekte bekannten Mustern beim Menschen ähneln.
Das beweist nicht, dass Mensch und Modell denselben inneren Prozess besitzen.
Aber es erlaubt eine Formulierung, die mir seitdem nicht mehr aus dem Kopf geht:
Das LLM wird gepromptet. Der Mensch wird geprimt.
Beides ist nicht dasselbe.
Aber vielleicht nehmen wir bei beiden zu selten ernst, wie sehr eine Antwort davon abhängt, was unmittelbar davor passiert ist.
„Das weiß man doch“
Damit bekommt ein Satz, den man in Diskussionen ziemlich häufig hört, für mich plötzlich einen anderen Klang:
„Das weiß man doch.“
Woher?
Manchmal gibt es darauf eine gute Antwort. Ausbildung. Erfahrung. Eine überprüfbare Quelle. Eigene Beobachtung.
Manchmal lautet die tatsächliche Antwort aber vielleicht eher:
„Das habe ich schon oft gehört.“
Und auch das ist psychologisch interessant.
Beim Illusory Truth Effect zeigt sich, dass wiederholte Aussagen später tendenziell als wahrer beurteilt werden als neue Aussagen. Besonders unangenehm: In Experimenten konnte dieser Effekt sogar auftreten, wenn Menschen über Wissen verfügten, mit dem sie die betreffende Behauptung eigentlich hätten beurteilen können. Eine Erklärung ist, dass Wiederholung die Verarbeitung erleichtert und sich diese Vertrautheit als Hinweis auf Wahrheit bemerkbar machen kann.
Das muss man sich einmal auf der Zunge zergehen lassen.
Ich habe etwas schon einmal gehört.
Deshalb fühlt es sich vertraut an.
Weil es sich vertraut anfühlt, erscheint es mir plausibler.
Und dann sage ich:
„Das weiß ich.“
Das ist kein Beweis dafür, dass menschliche Überzeugungen grundsätzlich wertlos wären.
Es ist nur ein weiteres Loch in der romantischen Vorstellung, unser Bewusstsein würde jeden Gedanken erst sorgfältig prüfen, seine Herkunft feststellen, ihn mit sämtlichem vorhandenen Wissen abgleichen und anschließend rational über seine Wahrheit entscheiden.
So ordentlich scheint es nicht immer zuzugehen.
Und jetzt kommt das Ego
Bis hierhin fehlt allerdings etwas Entscheidendes.
Denn nehmen wir für einen Moment an, Mensch und LLM hätten jeweils eine plausible, aber falsche Antwort erzeugt.
Dann passiert beim Menschen etwas, das für unsere Betrachtung enorm wichtig ist:
Die Antwort gehört plötzlich jemandem.
Mir.
Ich habe sie gesagt.
Vielleicht sogar laut.
Vielleicht vor Kollegen.
Vielleicht in einem Fachgebiet, in dem ich als kompetent gelten möchte.
Vielleicht habe ich einen anderen Menschen gerade wegen der gegenteiligen Meinung kritisiert.
Vielleicht hängt an meiner Antwort eine Entscheidung, die ich gestern getroffen habe.
Vielleicht gehört diese Meinung zu meinem politischen Lager, meiner Berufsgruppe oder meinem Selbstverständnis.
Der Wahrheitsgehalt ist jetzt nicht mehr das Einzige, was auf dem Spiel steht.
Die Frage lautet nicht mehr nur:
Ist das richtig?
Sondern möglicherweise gleichzeitig:
Was bedeutet es für mich, wenn es falsch ist?
Und an dieser Stelle kommt meine zunächst viel zu grobe These wieder zurück:
Dem LLM fehlen Ego und Absicht.
Natürlich fehlen einem LLM noch sehr viel mehr Dinge, wenn wir es mit einem Menschen vergleichen: Körper, Biografie, Bedürfnisse, Sterblichkeit, soziale Einbettung, kontinuierliche Erfahrung und möglicherweise all das, was wir unter subjektivem Erleben verstehen.
Darum geht es hier aber gar nicht.
Ich will nicht Mensch und Maschine insgesamt vergleichen.
Mich interessiert nur dieser winzige Ausschnitt:
Wie entsteht eine plausible Antwort – und was passiert, wenn sie falsch ist?
Und dort scheint mir Ego plötzlich bemerkenswert wichtig.
Ein LLM kann eine Position verteidigen. Man kann es sogar so prompten, dass es das äußerst hartnäckig tut.
Aber die Position bedroht nichts, das ihm gehört.
Es verliert nicht sein Gesicht.
Es muss morgen keinem Kollegen begegnen.
Es hat nicht seit zwanzig Jahren den Ruf, genau auf diesem Gebiet Experte zu sein.
Es muss sich nicht eingestehen, dass der nervige Typ aus der Nachbarabteilung vielleicht doch recht hatte.
Der Mensch dagegen kann gute Gründe haben, eine Aussage nicht einfach loszulassen.
Nicht unbedingt bewusste Gründe.
Und hier tritt zur Frage des Egos noch die Absicht.
Menschen reden nicht nur, um den wahrscheinlich passenden nächsten Satz zu produzieren.
Wir wollen etwas.
Überzeugen.
Dazugehören.
Beeindrucken.
Provozieren.
Beruhigen.
Recht behalten.
Status sichern.
Einen Konflikt vermeiden.
Uns selbst weiterhin für den Menschen halten, für den wir uns bisher gehalten haben.
Damit verändert sich der Umgang mit der falschen Antwort noch einmal grundlegend.
Vielleicht müsste der Satz deshalb eigentlich lauten:
Das LLM halluziniert. Der Mensch halluziniert – und kann anschließend Gründe entwickeln, warum genau diese Halluzination wahr sein muss.
Vielleicht ist der Papagei gar nicht das Problem
Und damit bin ich wieder am Anfang.
Beim stochastischen Papagei.
Die Metapher soll eine Grenze ziehen.
Hier der Mensch: verstehend, denkend, reflektiert.
Dort die Maschine: Muster, Statistik, Rekombination.
Vielleicht existiert diese Grenze.
Wahrscheinlich existieren sogar viele davon.
Aber je länger ich LLMs benutze und je länger ich Menschen beobachte, desto weniger überzeugt mich die Vorstellung, dass die interessanten Grenzen immer dort verlaufen, wo wir sie intuitiv ziehen.
Menschen rekonstruieren.
Menschen verwechseln Quellen.
Menschen lassen sich von vorherigem Kontext beeinflussen.
Menschen halten Wiederholtes leichter für wahr.
Menschen können Erklärungen für Entscheidungen produzieren, deren tatsächlicher Entstehung sie offenbar weniger transparent gegenüberstehen, als sie selbst vermuten.
Nichts davon macht Menschen zu Sprachmodellen.
Aber es macht den Satz „Das LLM kombiniert doch nur Muster“ zu einer weniger vernichtenden Beschreibung menschlicher Einzigartigkeit, als sein Sprecher vielleicht beabsichtigt.
Denn sofort stellt sich die Gegenfrage:
Wie viel unseres alltäglichen Denkens würde einer ebenso gnadenlosen Betrachtung standhalten?
Vielleicht liegt die eigentliche Zumutung von LLMs deshalb gar nicht darin, dass Maschinen plötzlich so menschlich wirken.
Vielleicht liegt sie darin, dass sie sichtbar machen, wie viel von dem, was wir für besonders anspruchsvolles menschliches Denken gehalten haben, offenbar aus Mustererkennung, Kontext, Rekonstruktion und Wahrscheinlichkeiten entstehen kann.
Und vielleicht erklären Ego und Absicht anschließend einen erheblichen Teil dessen, was wir daraus machen.
Das wäre keine Aufwertung der Maschine zum Menschen.
Es wäre eher eine kleine Kränkung unseres Selbstbildes.
Der stochastische Papagei ist möglicherweise weniger eine Beschreibung der Maschine als ein Spiegel, in den der Mensch nicht besonders gern schaut.
Wie dieser Text entstanden ist
Dieser Text begann nicht mit Priming, Source Monitoring oder einem psychologischen Paper.
Er begann mit einer Beobachtung.
In Gesprächen über KI begegnet mir immer wieder der Vorwurf, LLMs seien letztlich nur Papageien: Systeme, die wiedergeben, was andere vor ihnen gesagt haben, und dabei ihre eigenen Fähigkeiten gewaltig überschätzen – wenn man bei einer Maschine überhaupt von Überschätzung sprechen möchte.
Mein erster Impuls war ziemlich unfreundlich:
Das beschreibt auch erstaunlich viele Menschen.
Daraus entstand im Dialog zunächst die Frage nach Halluzinationen. Dann der Satz:
Das LLM halluziniert. Der Mensch halluziniert und verteidigt es anschließend.
Darauf folgte die Vermutung, dass Ego und Absicht vielleicht entscheidender sind, als ich zunächst dachte.
Und erst danach tauchte dieses Wort auf: Priming.
Nicht als Wissen, sondern als Gefühl. Als Verdacht, dass der vorherige Kontext für die ganze Überlegung wichtiger sein könnte.
Die Recherche kam also erst hinterher.
Nicht um Belege für eine fertige These zusammenzusuchen, sondern um herauszufinden, ob an diesem Gefühl überhaupt etwas dran ist – und an welcher Stelle die Analogie zu weit geht.
Das Ergebnis ist deshalb keine Theorie darüber, dass Menschen und LLMs im Grunde gleich funktionieren.
Im Gegenteil.
Je genauer man hinsieht, desto mehr Unterschiede findet man.
Aber man findet eben auch Ähnlichkeiten an Stellen, an denen wir sie vielleicht lieber nicht hätten.
Und genau diese Ähnlichkeiten interessieren mich.
Und wie immer: Dieser Artikel ist nicht am Schreibtisch entstanden, er entstand in einem langen Dialog mit einer KI.
Quellen und weiterführende Literatur
- Johnson, M. K., Hashtroudi, S. & Lindsay, D. S. (1993): Source Monitoring. Psychological Bulletin.
- Meyer, D. E. & Schvaneveldt, R. W. (1971): Facilitation in recognizing pairs of words: Evidence of a dependence between retrieval operations. Journal of Experimental Psychology.
- Johansson, P., Hall, L., Sikström, S. & Olsson, A. (2005): Failure to detect mismatches between intention and outcome in a simple decision task. Science.
- Fazio, L. K., Brashier, N. M., Payne, B. K. & Marsh, E. J. (2015): Knowledge does not protect against illusory truth. Journal of Experimental Psychology: General.
- Sinclair, A., Jumelet, J., Zuidema, W. & Fernández, R. (2022): Structural Persistence in Language Models: Priming as a Window into Abstract Language Representations. Transactions of the Association for Computational Linguistics.
- Jumelet, J., Zuidema, W. & Sinclair, A. (2024): Do Language Models Exhibit Human-like Structural Priming Effects? Findings of ACL.