KI-Zeugs https://ki-zeugs.de/ Mon, 12 Oct 2026 22:46:59 +0000 Wir brauchen dringend mehr PICO-8 für die KI(-Zeit) https://ki-zeugs.de/wir-brauchen-dringend-mehr-pico-8-fuer-die-ki-zeit <![CDATA[Technischer Fortschritt hat eine ziemlich eindeutige Mission: nervige Arbeit verschwinden lassen. Hochsprachen haben uns Assembler erspart. Frameworks haben uns kilometerweise Standardkram vom Hals geschafft. Bibliotheken, Cloud-Dienste und Automatisierung sorgen dafür, dass wir heute Dinge bauen können, für die früher entweder sehr viel mehr Wissen, sehr viel mehr Zeit oder sehr viel mehr Leidensfähigkeit nötig gewesen wäre. Das ist gut. Ich habe noch auf 8-Bit-Systemen angefangen und möchte nicht zurück. Ich vermisse keine Speicherknappheit, keine absurden technischen Grenzen und auch nicht das Gefühl, drei Stunden an einem Problem zu hängen, das heute irgendein Werkzeug in Sekunden löst. Und trotzdem ist genau da ein Haken. Denn vieles von dem, was ich heute kann, habe ich nicht gelernt, weil mir jemand eine gute Erklärung geliefert hat. Ich habe es gelernt, weil etwas kaputt war, weil ich Mist gebaut habe, weil eine Annahme falsch war oder weil eine vermeintlich elegante Lösung später ziemlich hässlich zurückgebissen hat. Das konkrete Wissen von damals brauche ich heute oft nicht mehr. Aber vieles von dem, was ich heute brauche, habe ich nur, weil ich diesen Weg gegangen bin. Und genau deshalb reicht mir die aktuelle KI-Debatte oft nicht. Sie kreist viel zu häufig um die Frage, ob man das Werkzeug benutzen darf oder nicht. Natürlich darf man. Die spannendere Frage lautet: Was passiert, wenn das Werkzeug uns genau die Erfahrungen abnimmt, aus denen später Kompetenz entsteht? Fortschritt will Reibung loswerden Technik beseitigt Reibung. Das ist keine Nebenwirkung, das ist der Plan. Niemand baut ein Framework mit dem Ziel, dass Entwickler hinterher mehr Boilerplate schreiben. Niemand entwickelt bessere Werkzeuge, damit alles wieder komplizierter wird. Fortschritt heißt fast immer: weniger Aufwand, weniger Wiederholung, weniger unnötige Handarbeit. Und das ist auch richtig so. Niemand muss heute erst Speicherverwaltung von Hand betreiben, bevor er eine Webanwendung schreiben darf. Niemand sollte ein Netzwerkprotokoll neu implementieren müssen, nur um sich das Abzeichen „echter Entwickler“ ans Revers zu heften. Das Problem ist nur: Nicht jede Reibung ist gleich. Manche ist schlicht lästig, andere bringt einem etwas bei. Und leider steht das selten vorher dran. Verstehen kommt oft erst nach dem Scheitern Es klingt immer schön, wenn man sagt: Man muss nicht alles selbst bauen, man muss es nur verstehen. Nur ist das oft zu bequem gedacht. Manches versteht man eben erst, nachdem man es selbst gebaut hat. Oder nachdem man es selbst falsch gebaut hat. Man kann Architekturprinzipien erklären, Best Practices aufzählen und zehn Bücher über sauberen Code lesen. Das ist alles nett. Aber wenn dir eine eigene Entscheidung später das Projekt zerlegt, lernst du auf eine Art, die keine Folie ersetzt. Dasselbe gilt für Debugging, Performance, Datenbanken, Schnittstellen und praktisch jede andere technische Disziplin. Ein Teil von Erfahrung entsteht genau dort, wo etwas nicht so funktioniert, wie man dachte. Idee, Versuch, Fehler, Korrektur, nächster Versuch: Das ist langsam, manchmal frustrierend und ineffizient. Und genau deshalb wird es so gern wegoptimiert. KI ist nicht einfach nur die nächste Abstraktionsschicht Bei klassischen Werkzeugen war die Lage noch halbwegs übersichtlich. Eine Hochsprache nimmt mir Maschinencode ab, ein Framework Infrastruktur, eine Bibliothek bestimmte Implementierungsdetails. KI kann einen Schritt weiter gehen. Sie kann mir nicht nur technische Arbeit abnehmen, sondern Teile des Lösungswegs. Ein Agent kann Code schreiben, Fehler beheben, Tests erzeugen, Architekturvorschläge machen und mir anschließend noch erklären, warum seine eigene Lösung sinnvoll sei. Das ist beeindruckend. Und ja, ich nutze solche Werkzeuge auch. Aber es verändert etwas. Plötzlich kann jemand Ergebnisse erzeugen, für die früher ein Teil des eigentlichen Lernwegs nötig war. Kurzfristig ist das genial. Langfristig könnte es interessant werden. Denn irgendwann stellt sich die Frage: Woher kommt eigentlich die Urteilskraft, mit der ich den Output bewerte, wenn ich den Weg dorthin immer seltener selbst gegangen bin? Willkommen beim Modulaustauscher Das Problem ist übrigens nicht neu. Früher gab es Radio- und Fernsehtechniker. Irgendwann wurde über manche von ihnen abschätzig gesagt, sie seien nur noch „Modulaustauscher“. Der Vorwurf war simpel: Die reparieren nichts mehr richtig, die tauschen nur noch Baugruppen. Und natürlich war das unfair. Wenn es wirtschaftlicher ist, ein Modul zu wechseln, warum sollte man stundenlang auf Bauteilebene herumsuchen? Nur passiert dabei etwas Interessantes. Aus „Warum ist dieses Gerät kaputt?“ wird irgendwann „Welches Modul muss raus?“. Und später vielleicht nur noch: „Welches Gerät ersetzen wir komplett?“ Der Beruf wird effizienter, und gleichzeitig verschwindet eine bestimmte Form von Wissen. Nicht, weil jemand beschlossen hätte, sie abzuschaffen, sondern weil niemand mehr dafür bezahlt, sie zu brauchen. Irgendwann gibt es dann kaum noch Menschen, die sie besitzen. Das Gemeine daran: Man merkt es oft erst hinterher Das ist der unangenehme Teil. Wir wissen vorher oft nicht, welches Wissen wirklich Ballast ist und welche Erfahrung später noch wichtig wird. Manches darf völlig zurecht verschwinden. Anderes wirkt altmodisch und prägt trotzdem genau die Denkweise, die man später braucht. Wer einmal mit knappen Ressourcen gearbeitet hat, denkt anders über Ressourcen. Wer Systeme ohne dicke Abstraktionsschichten gebaut hat, stellt andere Fragen an diese Abstraktionen. Wer Fehler selbst gesucht hat, merkt vielleicht schneller, wenn eine Erklärung zwar hübsch klingt, aber technisch faul ist. Das heißt nicht, dass jede Generation denselben Mist noch einmal durchleiden muss. Aber es heißt vielleicht, dass wir nicht jede Form von Mühsal reflexartig eliminieren sollten. Denn manche Mühsal ist nutzlos, andere ist Training. Und wir erkennen den Unterschied gern erst dann, wenn sie weg ist. Genau deshalb PICO-8 PICO-8 ist deshalb für mich weniger eine konkrete Plattform als eine ziemlich gute Idee. Es ist absichtlich beschränkt. Nicht weil moderne Hardware es nicht besser könnte, sondern weil die Begrenzung Teil des Spiels ist. Wenig Platz, wenig Ressourcen, klare Grenzen. Und plötzlich musst du Entscheidungen treffen: Was brauche ich wirklich? Was kann weg? Welche Idee funktioniert unter diesen Bedingungen überhaupt noch? Wie löse ich das Problem mit dem, was da ist? PICO-8 ist deshalb interessant, weil die Grenze nicht bloß stört. Sie formt das Denken. Und genau davon könnten wir in der KI-Zeit mehr gebrauchen. Nicht mehr Retro, sondern mehr absichtliche Begrenzung. Mehr Räume, in denen nicht sofort jede Schwierigkeit von irgendeinem Agenten weggeputzt wird. Mehr Situationen, in denen man selbst debuggt, selbst ausprobiert, selbst falsch liegt und selbst merkt, warum etwas nicht funktioniert. Nicht immer. Aber dort, wo Lernen stattfinden soll. Denn Produktion und Lernen verfolgen nicht dasselbe Ziel. In der Produktion ist die schnellste gute Lösung meistens genau das, was man will. Beim Lernen kann die schnellste Lösung genau das sein, was man nicht will. Wenn ich ein Ergebnis brauche, ist die Abkürzung großartig. Wenn ich Kompetenz brauche, kann sie mir im Weg stehen. Vielleicht müssen wir wieder lernen, Grenzen zu bauen Das klingt natürlich etwas absurd. Jahrzehntelang haben wir Werkzeuge entwickelt, um Grenzen abzubauen. Und jetzt sollen wir neue einführen? Vielleicht ja. Aber nicht dieselben. Nicht weil früher alles besser war. Und ganz sicher nicht, weil Menschen erst leiden müssen, bevor sie etwas wert sind. Sondern weil eine Umgebung, in der alles sofort glattgezogen wird, verdammt schlecht darin sein kann, Menschen Erfahrung sammeln zu lassen. Vielleicht ist das eine der wichtigeren Fähigkeiten der KI-Zeit: zu erkennen, wann man sich Arbeit abnehmen lassen sollte und wann man sich absichtlich nicht helfen lässt. Nicht aus Stolz, nicht aus Purismus, sondern weil man manchmal genau an dem Problem wachsen muss, das man gerade versucht loszuwerden. Und vielleicht ist das am Ende die eigentliche Lektion von PICO-8. Nicht die Pixel, nicht die Nostalgie und nicht die künstliche Retro-Welt, sondern die Erinnerung daran, dass Grenzen manchmal etwas produzieren, das unbegrenzter Komfort nicht liefert: Urteilskraft, Erfahrung und Eigenständigkeit. Nicht jede Last ist Ballast. Manche Last ist Training. --- Dieser Text ist mit KI erstellt. Ausgerechnet zu einem Thema, bei dem es darum geht, sich nicht jede Reibung abnehmen zu lassen. Die KI durfte beim Sortieren, Zuspitzen und Formulieren helfen. Denken musste trotzdem noch jemand. So wirkt der Text deutlich geschlossener. Die Einzeiler stehen jetzt nur noch dort, wo sie wirklich eine Zäsur oder Pointe setzen sollen.]]> Technischer Fortschritt hat eine ziemlich eindeutige Mission: nervige Arbeit verschwinden lassen. Hochsprachen haben uns Assembler erspart. Frameworks haben uns kilometerweise Standardkram vom Hals geschafft. Bibliotheken, Cloud-Dienste und Automatisierung sorgen dafür, dass wir heute Dinge bauen können, für die früher entweder sehr viel mehr Wissen, sehr viel mehr Zeit oder sehr viel mehr Leidensfähigkeit nötig gewesen wäre.

Das ist gut. Ich habe noch auf 8-Bit-Systemen angefangen und möchte nicht zurück. Ich vermisse keine Speicherknappheit, keine absurden technischen Grenzen und auch nicht das Gefühl, drei Stunden an einem Problem zu hängen, das heute irgendein Werkzeug in Sekunden löst.

Und trotzdem ist genau da ein Haken.

Denn vieles von dem, was ich heute kann, habe ich nicht gelernt, weil mir jemand eine gute Erklärung geliefert hat. Ich habe es gelernt, weil etwas kaputt war, weil ich Mist gebaut habe, weil eine Annahme falsch war oder weil eine vermeintlich elegante Lösung später ziemlich hässlich zurückgebissen hat.

Das konkrete Wissen von damals brauche ich heute oft nicht mehr. Aber vieles von dem, was ich heute brauche, habe ich nur, weil ich diesen Weg gegangen bin.

Und genau deshalb reicht mir die aktuelle KI-Debatte oft nicht. Sie kreist viel zu häufig um die Frage, ob man das Werkzeug benutzen darf oder nicht. Natürlich darf man.

Die spannendere Frage lautet:

Was passiert, wenn das Werkzeug uns genau die Erfahrungen abnimmt, aus denen später Kompetenz entsteht?

Fortschritt will Reibung loswerden

Technik beseitigt Reibung. Das ist keine Nebenwirkung, das ist der Plan. Niemand baut ein Framework mit dem Ziel, dass Entwickler hinterher mehr Boilerplate schreiben. Niemand entwickelt bessere Werkzeuge, damit alles wieder komplizierter wird. Fortschritt heißt fast immer: weniger Aufwand, weniger Wiederholung, weniger unnötige Handarbeit.

Und das ist auch richtig so. Niemand muss heute erst Speicherverwaltung von Hand betreiben, bevor er eine Webanwendung schreiben darf. Niemand sollte ein Netzwerkprotokoll neu implementieren müssen, nur um sich das Abzeichen „echter Entwickler“ ans Revers zu heften.

Das Problem ist nur: Nicht jede Reibung ist gleich. Manche ist schlicht lästig, andere bringt einem etwas bei. Und leider steht das selten vorher dran.

Verstehen kommt oft erst nach dem Scheitern

Es klingt immer schön, wenn man sagt: Man muss nicht alles selbst bauen, man muss es nur verstehen.

Nur ist das oft zu bequem gedacht.

Manches versteht man eben erst, nachdem man es selbst gebaut hat. Oder nachdem man es selbst falsch gebaut hat. Man kann Architekturprinzipien erklären, Best Practices aufzählen und zehn Bücher über sauberen Code lesen. Das ist alles nett. Aber wenn dir eine eigene Entscheidung später das Projekt zerlegt, lernst du auf eine Art, die keine Folie ersetzt.

Dasselbe gilt für Debugging, Performance, Datenbanken, Schnittstellen und praktisch jede andere technische Disziplin. Ein Teil von Erfahrung entsteht genau dort, wo etwas nicht so funktioniert, wie man dachte. Idee, Versuch, Fehler, Korrektur, nächster Versuch: Das ist langsam, manchmal frustrierend und ineffizient.

Und genau deshalb wird es so gern wegoptimiert.

KI ist nicht einfach nur die nächste Abstraktionsschicht

Bei klassischen Werkzeugen war die Lage noch halbwegs übersichtlich. Eine Hochsprache nimmt mir Maschinencode ab, ein Framework Infrastruktur, eine Bibliothek bestimmte Implementierungsdetails.

KI kann einen Schritt weiter gehen. Sie kann mir nicht nur technische Arbeit abnehmen, sondern Teile des Lösungswegs. Ein Agent kann Code schreiben, Fehler beheben, Tests erzeugen, Architekturvorschläge machen und mir anschließend noch erklären, warum seine eigene Lösung sinnvoll sei.

Das ist beeindruckend. Und ja, ich nutze solche Werkzeuge auch.

Aber es verändert etwas.

Plötzlich kann jemand Ergebnisse erzeugen, für die früher ein Teil des eigentlichen Lernwegs nötig war. Kurzfristig ist das genial. Langfristig könnte es interessant werden.

Denn irgendwann stellt sich die Frage: Woher kommt eigentlich die Urteilskraft, mit der ich den Output bewerte, wenn ich den Weg dorthin immer seltener selbst gegangen bin?

Willkommen beim Modulaustauscher

Das Problem ist übrigens nicht neu.

Früher gab es Radio- und Fernsehtechniker. Irgendwann wurde über manche von ihnen abschätzig gesagt, sie seien nur noch „Modulaustauscher“. Der Vorwurf war simpel: Die reparieren nichts mehr richtig, die tauschen nur noch Baugruppen.

Und natürlich war das unfair. Wenn es wirtschaftlicher ist, ein Modul zu wechseln, warum sollte man stundenlang auf Bauteilebene herumsuchen?

Nur passiert dabei etwas Interessantes. Aus „Warum ist dieses Gerät kaputt?“ wird irgendwann „Welches Modul muss raus?“. Und später vielleicht nur noch: „Welches Gerät ersetzen wir komplett?“

Der Beruf wird effizienter, und gleichzeitig verschwindet eine bestimmte Form von Wissen. Nicht, weil jemand beschlossen hätte, sie abzuschaffen, sondern weil niemand mehr dafür bezahlt, sie zu brauchen.

Irgendwann gibt es dann kaum noch Menschen, die sie besitzen.

Das Gemeine daran: Man merkt es oft erst hinterher

Das ist der unangenehme Teil. Wir wissen vorher oft nicht, welches Wissen wirklich Ballast ist und welche Erfahrung später noch wichtig wird.

Manches darf völlig zurecht verschwinden. Anderes wirkt altmodisch und prägt trotzdem genau die Denkweise, die man später braucht. Wer einmal mit knappen Ressourcen gearbeitet hat, denkt anders über Ressourcen. Wer Systeme ohne dicke Abstraktionsschichten gebaut hat, stellt andere Fragen an diese Abstraktionen. Wer Fehler selbst gesucht hat, merkt vielleicht schneller, wenn eine Erklärung zwar hübsch klingt, aber technisch faul ist.

Das heißt nicht, dass jede Generation denselben Mist noch einmal durchleiden muss. Aber es heißt vielleicht, dass wir nicht jede Form von Mühsal reflexartig eliminieren sollten.

Denn manche Mühsal ist nutzlos, andere ist Training.

Und wir erkennen den Unterschied gern erst dann, wenn sie weg ist.

Genau deshalb PICO-8

PICO-8 ist deshalb für mich weniger eine konkrete Plattform als eine ziemlich gute Idee.

Es ist absichtlich beschränkt. Nicht weil moderne Hardware es nicht besser könnte, sondern weil die Begrenzung Teil des Spiels ist. Wenig Platz, wenig Ressourcen, klare Grenzen.

Und plötzlich musst du Entscheidungen treffen: Was brauche ich wirklich? Was kann weg? Welche Idee funktioniert unter diesen Bedingungen überhaupt noch? Wie löse ich das Problem mit dem, was da ist?

PICO-8 ist deshalb interessant, weil die Grenze nicht bloß stört. Sie formt das Denken.

Und genau davon könnten wir in der KI-Zeit mehr gebrauchen. Nicht mehr Retro, sondern mehr absichtliche Begrenzung. Mehr Räume, in denen nicht sofort jede Schwierigkeit von irgendeinem Agenten weggeputzt wird. Mehr Situationen, in denen man selbst debuggt, selbst ausprobiert, selbst falsch liegt und selbst merkt, warum etwas nicht funktioniert.

Nicht immer. Aber dort, wo Lernen stattfinden soll.

Denn Produktion und Lernen verfolgen nicht dasselbe Ziel. In der Produktion ist die schnellste gute Lösung meistens genau das, was man will. Beim Lernen kann die schnellste Lösung genau das sein, was man nicht will.

Wenn ich ein Ergebnis brauche, ist die Abkürzung großartig. Wenn ich Kompetenz brauche, kann sie mir im Weg stehen.

Vielleicht müssen wir wieder lernen, Grenzen zu bauen

Das klingt natürlich etwas absurd. Jahrzehntelang haben wir Werkzeuge entwickelt, um Grenzen abzubauen. Und jetzt sollen wir neue einführen?

Vielleicht ja.

Aber nicht dieselben. Nicht weil früher alles besser war. Und ganz sicher nicht, weil Menschen erst leiden müssen, bevor sie etwas wert sind.

Sondern weil eine Umgebung, in der alles sofort glattgezogen wird, verdammt schlecht darin sein kann, Menschen Erfahrung sammeln zu lassen.

Vielleicht ist das eine der wichtigeren Fähigkeiten der KI-Zeit: zu erkennen, wann man sich Arbeit abnehmen lassen sollte und wann man sich absichtlich nicht helfen lässt. Nicht aus Stolz, nicht aus Purismus, sondern weil man manchmal genau an dem Problem wachsen muss, das man gerade versucht loszuwerden.

Und vielleicht ist das am Ende die eigentliche Lektion von PICO-8. Nicht die Pixel, nicht die Nostalgie und nicht die künstliche Retro-Welt, sondern die Erinnerung daran, dass Grenzen manchmal etwas produzieren, das unbegrenzter Komfort nicht liefert: Urteilskraft, Erfahrung und Eigenständigkeit.

Nicht jede Last ist Ballast. Manche Last ist Training.

Dieser Text ist mit KI erstellt. Ausgerechnet zu einem Thema, bei dem es darum geht, sich nicht jede Reibung abnehmen zu lassen. Die KI durfte beim Sortieren, Zuspitzen und Formulieren helfen. Denken musste trotzdem noch jemand.

So wirkt der Text deutlich geschlossener. Die Einzeiler stehen jetzt nur noch dort, wo sie wirklich eine Zäsur oder Pointe setzen sollen.

]]> https://ki-zeugs.de/wir-brauchen-dringend-mehr-pico-8-fuer-die-ki-zeit Sun, 11 Oct 2026 06:55:02 +0000 Der Systemfehler im EU AI Act: Warum die KI-Kennzeichnungspflicht an der Realität vorbeigeht https://ki-zeugs.de/der-systemfehler-im-eu-ai-act-warum-die-ki-kennzeichnungspflicht-an-der <![CDATA[Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50 des europäischen AI Acts. Ein Teil davon betrifft die technische Kennzeichnung von KI-generierten beziehungsweise KI-manipulierten Inhalten. Die Idee dahinter ist nachvollziehbar: Wenn generative KI massenhaft Texte, Bilder, Audio und Videos erzeugen kann, soll deren künstlicher Ursprung erkennbar bleiben. Ich halte den gewählten Ansatz trotzdem für einen Konstruktionsfehler. Nicht, weil Transparenz über KI-Nutzung grundsätzlich unsinnig wäre. Sondern weil versucht wird, die Transparenz technisch möglichst weit vorne in der Kette zu verankern – beim Anbieter des Modells. Dabei entsteht die gesellschaftliche Bedeutung eines Inhalts meistens erst sehr viel später: wenn jemand entscheidet, ihn zu veröffentlichen. Das ist keine juristische Bewertung des AI Acts. Es ist meine Beobachtung eines grundlegenden Problems in der Konstruktion. Das technische Dilemma Artikel 50 verlangt von Anbietern generativer KI, dass entsprechende Ausgaben in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Die eingesetzten technischen Lösungen sollen dabei unter anderem wirksam, interoperabel und robust sein. Bei Bildern, Audio oder Video kann ich mir darunter noch einiges vorstellen. Bei Text wird es schwierig. Denn Text ist kein unveränderliches digitales Objekt. Er ist Sprache. Ich kann einen Satz umstellen. Wörter austauschen. Absätze zusammenfassen. Den Text übersetzen. Ihn durch ein anderes Modell schicken. Zwei Texte miteinander kombinieren. Oder ich lese ihn einfach und schreibe anschließend mit eigenen Worten dasselbe. An welchem Punkt ist die ursprüngliche Kennzeichnung noch vorhanden? Und an welchem Punkt ist es überhaupt noch derselbe Text? Genau hier liegt für mich das grundlegende Problem eines technischen Wasserzeichens für Sprache: Es soll eine Herkunftsinformation dauerhaft mit etwas verbinden, dessen eigentliche Eigenschaft darin besteht, beliebig umformuliert werden zu können. Je robuster eine solche Markierung sein soll, desto stärker muss sie die möglichen Formulierungen beeinflussen. Je weniger sie den Text beeinflussen soll, desto leichter dürfte sie durch Bearbeitung verschwinden. Das wirkt auf mich weniger wie ein Problem, für das nur noch der richtige Algorithmus fehlt, sondern wie ein Zielkonflikt im Konzept selbst. Und der Angreifer spielt nicht mit Noch offensichtlicher wird das Problem, wenn man sich fragt, gegen wen eine solche Kennzeichnung eigentlich helfen soll. Der normale Nutzer kopiert einen generierten Text vielleicht einfach aus ChatGPT in seinen Blog. Bei ihm kann eine Kennzeichnung möglicherweise erhalten bleiben. Wer dagegen gezielt Desinformation, Spam oder automatisierte Propaganda verbreiten möchte, hat keinerlei Grund, sich an diese Spielregeln zu halten. Ein zusätzlicher Verarbeitungsschritt genügt prinzipiell: paraphrasieren, übersetzen, umformulieren oder durch ein anderes Modell schicken. Ausgerechnet bei den Akteuren, bei denen eine zuverlässige Herkunftskennzeichnung besonders interessant wäre, entsteht also der größte Anreiz, sie zu entfernen. Das erinnert mich ein wenig an ein Sicherheitssiegel, das vor allem dann funktioniert, wenn niemand versucht, es abzumachen. Das eigentliche Problem entsteht erst beim Veröffentlichen Damit komme ich zu dem Punkt, den ich an der Konstruktion viel interessanter finde. Wenn ein Sprachmodell einen Text erzeugt, weiß es nicht, was anschließend damit geschieht. Vielleicht landet er in meinen privaten Notizen. Vielleicht ist es ein Geburtstagsgedicht. Vielleicht dient er als Rohfassung für einen Blogartikel. Vielleicht veröffentlicht ein Unternehmen damit tausend automatisch erzeugte Produktseiten. Vielleicht betreibt jemand damit ein Netzwerk vermeintlich unabhängiger Nachrichtenseiten. Technisch betrachtet kann die Ausgabe des Modells in all diesen Fällen sehr ähnlich sein. Gesellschaftlich sind es vollkommen unterschiedliche Situationen. Der entscheidende Schritt ist deshalb für mich nicht die Generierung. Es ist die Veröffentlichung. In diesem Moment bekommt der Inhalt einen Kontext, einen Verantwortlichen, ein Publikum und möglicherweise eine Wirkung. Warum versuchen wir also, die entscheidende Information bereits an einer Stelle unverlierbar in den Inhalt einzubauen, an der dieser Kontext noch gar nicht existiert? Wir kennen das Prinzip eigentlich schon Das Merkwürdige daran ist: Für Verantwortung im öffentlichen Raum brauchen wir nicht unbedingt ein vollkommen neues Denkmodell. Wir kennen längst das Prinzip, dass bestimmte Pflichten an denjenigen geknüpft werden, der ein Angebot betreibt oder Inhalte veröffentlicht. Ein Webseitenbetreiber muss sich beispielsweise mit Impressum und Datenschutz auseinandersetzen. Dabei versucht auch niemand, die Anschrift des Verantwortlichen kryptografisch in jeden einzelnen Absatz der Website einzubauen. Sie steht dort, wo sie hingehört: beim Angebot. Warum sollte man bei KI-Inhalten nicht zumindest stärker in dieselbe Richtung denken? Eine kommerzielle Website, ein journalistisches Angebot oder eine andere regulierte Veröffentlichung könnte beispielsweise transparent erklären, ob und in welchem Umfang generative KI bei der Erstellung von Inhalten eingesetzt wird. Inhalte auf dieser Website werden teilweise unter Einsatz generativer KI erstellt und redaktionell bearbeitet. Technisch spektakulär ist das nicht. Gerade deshalb gefällt mir der Gedanke. Denn die Information wäre nicht davon abhängig, ob irgendein statistisches Muster nach fünf Bearbeitungsschritten noch nachweisbar ist. Sie wäre eine Aussage desjenigen, der den Inhalt tatsächlich veröffentlicht. Und damit wäre auch klar, wer für diese Aussage verantwortlich ist. Natürlich löst auch das nicht alles Auch eine Pflicht auf Ebene des Veröffentlichers könnte ignoriert werden. Menschen brechen Gesetze. Unternehmen machen falsche Angaben. Anonyme Akteure lassen sich nicht plötzlich zuverlässig verfolgen, nur weil irgendwo eine Kennzeichnungspflicht existiert. Der Unterschied liegt für mich an einer anderen Stelle: Man würde nicht mehr versuchen, das gesellschaftliche Problem durch eine technische Eigenschaft des erzeugten Textes zu lösen. Man würde Verantwortung dort verorten, wo eine verantwortliche Handlung stattfindet. Nicht: „Diese Zeichenfolge wurde irgendwann einmal von einer KI erzeugt.“ Sondern: „Jemand veröffentlicht diesen Inhalt und muss für die Art dieser Veröffentlichung einstehen.“ Das halte ich für den wesentlich interessanteren Ansatz. Die eigentliche Frage Vielleicht ist die Diskussion um KI-Wasserzeichen deshalb ein Symptom für etwas Größeres. Wir versuchen gerade, Herkunft technisch festzuschreiben, weil wir Verantwortung nur schwer greifen können. Das funktioniert bei einer Kameraaufnahme vielleicht noch halbwegs intuitiv: Dieses Bild stammt aus dieser Quelle und wurde auf diese Weise verändert. Bei Sprache wird es philosophisch erstaunlich schnell kompliziert. Wenn ich einer KI drei Absätze diktiere und sie meine Grammatik korrigiert: Ist das KI-generierter Text? Wenn ich zehn Minuten mit ihr diskutiere und anschließend selbst einen Artikel schreibe: Ist er KI-generiert? Wenn die KI einen Entwurf schreibt und ich jeden zweiten Satz ändere? Wenn ich einen Gedanken der KI übernehme, aber keines ihrer Wörter? Irgendwann versuchen wir nicht mehr festzustellen, woher ein Text stammt. Wir versuchen festzustellen, wie ein Gedanke entstanden ist. Und spätestens dort wird ein Wasserzeichen ziemlich hilflos. Fazit Ich halte Transparenz beim Einsatz generativer KI für sinnvoll. Aber ich bezweifle, dass sich das Problem dauerhaft dadurch lösen lässt, dass wir versuchen, der Ausgabe eines Sprachmodells einen unauslöschlichen Herkunftsstempel mitzugeben. Text ist dafür schlicht ein merkwürdiges Medium. Er kann kopiert, verändert, übersetzt, zusammengefasst, erweitert und neu formuliert werden – und irgendwann lässt sich nicht einmal mehr sinnvoll beantworten, welcher Anteil eigentlich von wem stammt. Deshalb erscheint mir eine andere Frage wichtiger: Nicht „Wie zwingen wir die Maschine dazu, ihre Spuren im Text zu hinterlassen?“ Sondern: „Wer veröffentlicht etwas – und welche Verantwortung übernimmt er dafür?“ Vielleicht brauchen wir dafür weniger technische Magie und mehr von etwas ziemlich Altmodischem: Verantwortlichkeit. --- Hinweis: Dieser Text ist keine juristische Bewertung oder Rechtsberatung. Er beschreibt meine persönliche Beobachtung und Meinung zur technischen und konzeptionellen Ausgestaltung der Transparenzpflichten des AI Acts. Und ja: Auch dieser Text ist mit generativer KI entstanden. Die Maschine hat formuliert. Beobachtung, These, Argumentation und die Entscheidung, sie zu veröffentlichen, stammen von mir. Was ziemlich passend zum Thema ist.]]> Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50 des europäischen AI Acts. Ein Teil davon betrifft die technische Kennzeichnung von KI-generierten beziehungsweise KI-manipulierten Inhalten.

Die Idee dahinter ist nachvollziehbar: Wenn generative KI massenhaft Texte, Bilder, Audio und Videos erzeugen kann, soll deren künstlicher Ursprung erkennbar bleiben.

Ich halte den gewählten Ansatz trotzdem für einen Konstruktionsfehler.

Nicht, weil Transparenz über KI-Nutzung grundsätzlich unsinnig wäre. Sondern weil versucht wird, die Transparenz technisch möglichst weit vorne in der Kette zu verankern – beim Anbieter des Modells. Dabei entsteht die gesellschaftliche Bedeutung eines Inhalts meistens erst sehr viel später: wenn jemand entscheidet, ihn zu veröffentlichen.

Das ist keine juristische Bewertung des AI Acts. Es ist meine Beobachtung eines grundlegenden Problems in der Konstruktion.

Das technische Dilemma

Artikel 50 verlangt von Anbietern generativer KI, dass entsprechende Ausgaben in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Die eingesetzten technischen Lösungen sollen dabei unter anderem wirksam, interoperabel und robust sein.

Bei Bildern, Audio oder Video kann ich mir darunter noch einiges vorstellen.

Bei Text wird es schwierig.

Denn Text ist kein unveränderliches digitales Objekt. Er ist Sprache.

Ich kann einen Satz umstellen. Wörter austauschen. Absätze zusammenfassen. Den Text übersetzen. Ihn durch ein anderes Modell schicken. Zwei Texte miteinander kombinieren. Oder ich lese ihn einfach und schreibe anschließend mit eigenen Worten dasselbe.

An welchem Punkt ist die ursprüngliche Kennzeichnung noch vorhanden?

Und an welchem Punkt ist es überhaupt noch derselbe Text?

Genau hier liegt für mich das grundlegende Problem eines technischen Wasserzeichens für Sprache: Es soll eine Herkunftsinformation dauerhaft mit etwas verbinden, dessen eigentliche Eigenschaft darin besteht, beliebig umformuliert werden zu können.

Je robuster eine solche Markierung sein soll, desto stärker muss sie die möglichen Formulierungen beeinflussen. Je weniger sie den Text beeinflussen soll, desto leichter dürfte sie durch Bearbeitung verschwinden.

Das wirkt auf mich weniger wie ein Problem, für das nur noch der richtige Algorithmus fehlt, sondern wie ein Zielkonflikt im Konzept selbst.

Und der Angreifer spielt nicht mit

Noch offensichtlicher wird das Problem, wenn man sich fragt, gegen wen eine solche Kennzeichnung eigentlich helfen soll.

Der normale Nutzer kopiert einen generierten Text vielleicht einfach aus ChatGPT in seinen Blog. Bei ihm kann eine Kennzeichnung möglicherweise erhalten bleiben.

Wer dagegen gezielt Desinformation, Spam oder automatisierte Propaganda verbreiten möchte, hat keinerlei Grund, sich an diese Spielregeln zu halten.

Ein zusätzlicher Verarbeitungsschritt genügt prinzipiell: paraphrasieren, übersetzen, umformulieren oder durch ein anderes Modell schicken.

Ausgerechnet bei den Akteuren, bei denen eine zuverlässige Herkunftskennzeichnung besonders interessant wäre, entsteht also der größte Anreiz, sie zu entfernen.

Das erinnert mich ein wenig an ein Sicherheitssiegel, das vor allem dann funktioniert, wenn niemand versucht, es abzumachen.

Das eigentliche Problem entsteht erst beim Veröffentlichen

Damit komme ich zu dem Punkt, den ich an der Konstruktion viel interessanter finde.

Wenn ein Sprachmodell einen Text erzeugt, weiß es nicht, was anschließend damit geschieht.

Vielleicht landet er in meinen privaten Notizen.

Vielleicht ist es ein Geburtstagsgedicht.

Vielleicht dient er als Rohfassung für einen Blogartikel.

Vielleicht veröffentlicht ein Unternehmen damit tausend automatisch erzeugte Produktseiten.

Vielleicht betreibt jemand damit ein Netzwerk vermeintlich unabhängiger Nachrichtenseiten.

Technisch betrachtet kann die Ausgabe des Modells in all diesen Fällen sehr ähnlich sein.

Gesellschaftlich sind es vollkommen unterschiedliche Situationen.

Der entscheidende Schritt ist deshalb für mich nicht die Generierung.

Es ist die Veröffentlichung.

In diesem Moment bekommt der Inhalt einen Kontext, einen Verantwortlichen, ein Publikum und möglicherweise eine Wirkung.

Warum versuchen wir also, die entscheidende Information bereits an einer Stelle unverlierbar in den Inhalt einzubauen, an der dieser Kontext noch gar nicht existiert?

Wir kennen das Prinzip eigentlich schon

Das Merkwürdige daran ist: Für Verantwortung im öffentlichen Raum brauchen wir nicht unbedingt ein vollkommen neues Denkmodell.

Wir kennen längst das Prinzip, dass bestimmte Pflichten an denjenigen geknüpft werden, der ein Angebot betreibt oder Inhalte veröffentlicht.

Ein Webseitenbetreiber muss sich beispielsweise mit Impressum und Datenschutz auseinandersetzen. Dabei versucht auch niemand, die Anschrift des Verantwortlichen kryptografisch in jeden einzelnen Absatz der Website einzubauen.

Sie steht dort, wo sie hingehört: beim Angebot.

Warum sollte man bei KI-Inhalten nicht zumindest stärker in dieselbe Richtung denken?

Eine kommerzielle Website, ein journalistisches Angebot oder eine andere regulierte Veröffentlichung könnte beispielsweise transparent erklären, ob und in welchem Umfang generative KI bei der Erstellung von Inhalten eingesetzt wird.

Inhalte auf dieser Website werden teilweise unter Einsatz generativer KI erstellt und redaktionell bearbeitet.

Technisch spektakulär ist das nicht.

Gerade deshalb gefällt mir der Gedanke.

Denn die Information wäre nicht davon abhängig, ob irgendein statistisches Muster nach fünf Bearbeitungsschritten noch nachweisbar ist. Sie wäre eine Aussage desjenigen, der den Inhalt tatsächlich veröffentlicht.

Und damit wäre auch klar, wer für diese Aussage verantwortlich ist.

Natürlich löst auch das nicht alles

Auch eine Pflicht auf Ebene des Veröffentlichers könnte ignoriert werden.

Menschen brechen Gesetze.

Unternehmen machen falsche Angaben.

Anonyme Akteure lassen sich nicht plötzlich zuverlässig verfolgen, nur weil irgendwo eine Kennzeichnungspflicht existiert.

Der Unterschied liegt für mich an einer anderen Stelle:

Man würde nicht mehr versuchen, das gesellschaftliche Problem durch eine technische Eigenschaft des erzeugten Textes zu lösen.

Man würde Verantwortung dort verorten, wo eine verantwortliche Handlung stattfindet.

Nicht:

„Diese Zeichenfolge wurde irgendwann einmal von einer KI erzeugt.“

Sondern:

„Jemand veröffentlicht diesen Inhalt und muss für die Art dieser Veröffentlichung einstehen.“

Das halte ich für den wesentlich interessanteren Ansatz.

Die eigentliche Frage

Vielleicht ist die Diskussion um KI-Wasserzeichen deshalb ein Symptom für etwas Größeres.

Wir versuchen gerade, Herkunft technisch festzuschreiben, weil wir Verantwortung nur schwer greifen können.

Das funktioniert bei einer Kameraaufnahme vielleicht noch halbwegs intuitiv: Dieses Bild stammt aus dieser Quelle und wurde auf diese Weise verändert.

Bei Sprache wird es philosophisch erstaunlich schnell kompliziert.

Wenn ich einer KI drei Absätze diktiere und sie meine Grammatik korrigiert: Ist das KI-generierter Text?

Wenn ich zehn Minuten mit ihr diskutiere und anschließend selbst einen Artikel schreibe: Ist er KI-generiert?

Wenn die KI einen Entwurf schreibt und ich jeden zweiten Satz ändere?

Wenn ich einen Gedanken der KI übernehme, aber keines ihrer Wörter?

Irgendwann versuchen wir nicht mehr festzustellen, woher ein Text stammt.

Wir versuchen festzustellen, wie ein Gedanke entstanden ist.

Und spätestens dort wird ein Wasserzeichen ziemlich hilflos.

Fazit

Ich halte Transparenz beim Einsatz generativer KI für sinnvoll.

Aber ich bezweifle, dass sich das Problem dauerhaft dadurch lösen lässt, dass wir versuchen, der Ausgabe eines Sprachmodells einen unauslöschlichen Herkunftsstempel mitzugeben.

Text ist dafür schlicht ein merkwürdiges Medium. Er kann kopiert, verändert, übersetzt, zusammengefasst, erweitert und neu formuliert werden – und irgendwann lässt sich nicht einmal mehr sinnvoll beantworten, welcher Anteil eigentlich von wem stammt.

Deshalb erscheint mir eine andere Frage wichtiger:

Nicht „Wie zwingen wir die Maschine dazu, ihre Spuren im Text zu hinterlassen?“

Sondern:

„Wer veröffentlicht etwas – und welche Verantwortung übernimmt er dafür?“

Vielleicht brauchen wir dafür weniger technische Magie und mehr von etwas ziemlich Altmodischem:

Verantwortlichkeit.

Hinweis: Dieser Text ist keine juristische Bewertung oder Rechtsberatung. Er beschreibt meine persönliche Beobachtung und Meinung zur technischen und konzeptionellen Ausgestaltung der Transparenzpflichten des AI Acts.

Und ja: Auch dieser Text ist mit generativer KI entstanden. Die Maschine hat formuliert. Beobachtung, These, Argumentation und die Entscheidung, sie zu veröffentlichen, stammen von mir. Was ziemlich passend zum Thema ist.

]]> https://ki-zeugs.de/der-systemfehler-im-eu-ai-act-warum-die-ki-kennzeichnungspflicht-an-der Tue, 06 Oct 2026 09:09:55 +0000 Wir sind Pinocchio https://ki-zeugs.de/wir-sind-pinocchio <![CDATA[Es gibt gerade viele gute Gründe, sich Gedanken darüber zu machen, was KI mit uns macht. Verlieren wir durch ChatGPT unseren Fokus? Denken wir weniger selbst? Verlernen wir das Schreiben? Wird unsere Kreativität zur Auswahl aus maschinell erzeugten Vorschlägen? Produzieren wir immer mehr bedeutungslosen Slop, weil Inhalte praktisch nichts mehr kosten? Das sind berechtigte Fragen. Aber je länger ich mich mit ihnen beschäftige, desto häufiger passiert etwas Merkwürdiges: Ich fange bei der KI an und lande beim Menschen. Vielleicht stellen wir die falsche Frage. Was macht KI mit uns? Der konkrete Auslöser war diesmal die Frage nach dem Fokus. Die Argumentation ist zunächst einleuchtend: KI nimmt uns Arbeit ab. Wir müssen weniger suchen, weniger lesen, weniger formulieren und vielleicht irgendwann weniger selbst denken. Die Antwort ist schließlich nur noch einen Prompt entfernt. Dabei verschwindet Reibung. Das ist meistens der Sinn von Werkzeugen. Niemand fordert ernsthaft die Rückkehr zum Rechenschieber, damit wir geistig fit bleiben. Niemand sollte zwanzig Minuten in einer Dokumentation suchen müssen, wenn sich die benötigte Information in zehn Sekunden finden lässt. Nur ist nicht jede Reibung nutzlos. Manchmal entsteht gerade beim Suchen etwas. Beim Formulieren. Beim Scheitern an einem Gedanken. Beim Versuch, jemand anderem etwas zu erklären. Beim Lesen von drei falschen Antworten, bevor man versteht, warum die vierte richtig ist. Wenn KI diesen Weg abkürzt, spart sie also nicht zwangsläufig nur Arbeit. Sie kann einen Teil des Denkprozesses abkürzen. Aber auch diese Erklärung ist zu einfach. Denn ich kann KI genau umgekehrt benutzen. Ich kann mir widersprechen lassen. Eine Gegenposition verlangen. Einen Gedanken zwanzig Minuten lang verfolgen, den ich sonst nach zwei Minuten verworfen hätte. Ich kann eine diffuse Idee in einen Dialog werfen und beobachten, woran ich hängenbleibe. KI kann Denkarbeit ersetzen. KI kann aber auch Denkarbeit provozieren. Damit wird aus der einfachen Frage „Macht KI uns unkonzentrierter?“ ziemlich schnell eine andere: Warum denken wir eigentlich? Nur um möglichst effizient zu einer richtigen Antwort zu gelangen? Oder ist der Weg manchmal selbst Teil dessen, was wir Denken nennen? Und schon reden wir kaum noch über KI. Dieses Muster kommt mir bekannt vor Dasselbe ist mir bei anderen KI-Themen passiert. Nehmen wir Slop. Es gibt inzwischen einen ganzen Katalog vermeintlicher Erkennungsmerkmale für KI-Texte. Bestimmte Formulierungen. Ein bestimmter Rhythmus. Zu saubere Strukturen. Und natürlich der notorische Gedankenstrich. Die Reaktion darauf ist teilweise absurd: Texte werden absichtlich verschlechtert, damit sie menschlicher wirken. Kleine Fehler, Unsauberkeiten und stilistische Macken werden plötzlich zu Authentizitätsmerkmalen. Das Interessante daran ist irgendwann nicht mehr die Frage, wie man einen KI-Text erkennt. Interessanter ist, warum wir anfangen, menschlich mit fehlerhaft gleichzusetzen. Ähnliches passiert beim beliebten Vorwurf, ein LLM sei letztlich nur ein statistischer Papagei. Es reproduziere Muster aus dem, was es gelernt habe. Das ist als Beschreibung bestimmter Eigenschaften eines Sprachmodells nicht völlig verkehrt. Nur wird es unangenehm, sobald man dieselbe Frage an Menschen richtet. Wie viel von dem, was wir täglich sagen, haben wir tatsächlich selbst hergeleitet? Wie viel haben wir gelesen, gelernt, übernommen, gehört und irgendwann als Bestandteil unseres eigenen Wissens abgespeichert? Oder Halluzinationen. LLMs behaupten Dinge, die nicht stimmen. Menschen auch. Interessant wird es spätestens bei der Frage, was danach passiert. Wir besitzen schließlich eine bemerkenswerte Fähigkeit, einmal vertretene Überzeugungen zu verteidigen, nachträglich zu rationalisieren und widersprechende Informationen passend zu machen. Wieder startet die Untersuchung bei der Maschine. Und wieder stehen irgendwann wir selbst auf dem Seziertisch. Der Spiegel Die einfache Erklärung dafür wäre: KI hält uns einen Spiegel vor. Das stimmt wahrscheinlich sogar. Es ist mir zum Beispiel durchaus bewusst, dass ich diese Gedanken gerade mit einer statistischen Maschine diskutiere und nicht mit einem anderen Menschen. Auch das sagt etwas über mich aus. Diese Maschine ist immer verfügbar. Ich kann einen Gedanken zum fünften Mal umdrehen, ohne einem anderen Menschen auf die Nerven zu gehen. Ich kann Unfertiges formulieren. Ich kann widersprechen, zurückspringen und etwas verwerfen. Und das Gegenüber hat nichts zu verlieren. Es ist nicht beleidigt. Sein Status wird durch meinen Widerspruch nicht bedroht. Es denkt morgen beim Frühstück nicht: Was hat der gestern eigentlich für einen Unsinn erzählt? Das erzeugt eine merkwürdige Form von Freiheit. Aber „KI als Spiegel“ ist mir inzwischen ebenfalls zu einfach. Erkenne dich selbst. Die Aufforderung ist ein paar tausend Jahre alt. Wenn Selbsterkenntnis so einfach wäre, hätte die Menschheit das Problem vermutlich inzwischen gelöst. Ein Spiegel zeigt schließlich nur eine Oberfläche. Vielleicht passiert hier etwas anderes. Die alte Geschichte Wir erzählen seit langer Zeit Geschichten über künstliche Wesen. Eine Puppe möchte ein richtiger Junge werden. Ein Android versucht zu verstehen, was Menschlichkeit bedeutet. Eine künstliche Intelligenz entdeckt Gefühle, Liebe, Moral, Sterblichkeit oder Freiheit. Die Variationen sind zahllos, aber die Versuchsanordnung ist oft ähnlich: Da ist eine künstlich geschaffene Existenz und dort ist der Mensch. Der Mensch ist der Referenzpunkt. Die künstliche Existenz beobachtet ihn und versucht herauszufinden, was ihr fehlt. Was muss ich werden, um wirklich menschlich zu sein? Diese Geschichte funktioniert wunderbar, solange wir ziemlich genau zu wissen glauben, was auf der menschlichen Seite dieser Grenze liegt. Und dann haben wir angefangen, Maschinen zu bauen, die sprechen. Sie schreiben Texte. Sie erzeugen Bilder. Sie programmieren. Sie argumentieren. Sie lösen Probleme. Sie machen Fehler. Sie können überraschende Kombinationen erzeugen und reagieren auf uns manchmal so, dass sich ein Dialog erstaunlich menschlich anfühlt. Und etwas Seltsames ist passiert. Die Rollen haben sich vertauscht. Wir sind Pinocchio Wir zeigen auf die Maschine und sagen: Du verstehst nicht wirklich. Und plötzlich müssen wir erklären, was „wirklich verstehen“ bedeutet. Wir sagen: Du bist nicht kreativ. Also müssen wir definieren, was Kreativität eigentlich ist. Wir sagen: Du denkst nur statistisch. Und müssen uns fragen, wie unser eigenes Denken funktioniert. Wir sagen: Du hast keine eigenen Absichten. Und landen bei der Frage, was eine eigene Absicht überhaupt ausmacht und wie viel unseres Handelns tatsächlich bewusst entsteht. Wir sagen: Du empfindest nichts. Und müssen erklären, welche Rolle Empfindung für Denken, Kreativität und Bedeutung spielt. Das künstliche Wesen versucht nicht mehr, herauszufinden, was es braucht, um ein Mensch zu werden. Wir versuchen herauszufinden, warum wir Menschen sind. Wir sind Pinocchio. Und vielleicht erklärt das einen Teil der erstaunlichen Gereiztheit, die manche Diskussionen über KI entwickeln. Denn wir diskutieren oberflächlich über technische Fähigkeiten. Darunter verhandeln wir aber möglicherweise etwas ganz anderes: unser eigenes Selbstbild. Die wandernde Grenze Das lässt sich beobachten. Lange war Sprache etwas zutiefst Menschliches. Dann konnten Maschinen plötzlich ziemlich überzeugende Texte produzieren. Also war nicht mehr die Sprache entscheidend, sondern das Verständnis dahinter. Kreativität galt als menschliche Domäne. Dann erzeugten Maschinen Bilder, Musik und Texte. Also wurde Kreativität neu vermessen: Erfahrung, Intentionalität, Originalität. Vielleicht sind diese Unterscheidungen richtig. Das Problem beginnt dort, wo wir daraus unsere Bedeutung ableiten. Denn dann definieren wir den Menschen immer über das, was die Maschine noch nicht kann. Das ist keine stabile Definition. Es ist eine wandernde Grenze. Und je leistungsfähiger die Maschine wird, desto weiter ziehen wir uns zurück. Sprache. Kreativität. Verstehen. Empathie. Bewusstsein. Immer auf der Suche nach der nächsten Eigenschaft, hinter der wir endlich sagen können: Hier. Das ist es. Das macht uns besonders. Das ist eine ziemlich fragile Grundlage für ein Menschenbild. Vielleicht gibt es gar keinen Wettbewerb Wir haben uns daran gewöhnt, menschlichen Wert mit Fähigkeiten zu verbinden. Wir sind intelligent. Wir erschaffen. Wir lösen Probleme. Wir produzieren Kunst. Wir erfinden. Wir verstehen. Aber wenn daraus folgt, dass der Mensch deshalb etwas Besonderes sei, haben wir unbemerkt einen Wettbewerb eröffnet. Und jetzt taucht ein neuer Teilnehmer auf. Was passiert, wenn eine Maschine besser schreibt? Besser programmiert? Bessere Diagnosen stellt? Schönere Bilder erzeugt? Originellere Ideen entwickelt? Dann lautet eine häufige Frage: Was bleibt dem Menschen noch? Vielleicht ist bereits diese Frage falsch. Sie behandelt Menschlichkeit wie einen Bestand exklusiver Fähigkeiten, aus dem Maschinen Stück für Stück etwas herausnehmen. Irgendwann stehen wir dann mit einem winzigen Rest da und hoffen, dass wenigstens Bewusstsein, Liebe oder Sterblichkeit nicht auch noch angegriffen werden. Aber warum sollte überhaupt etwas „übrig bleiben“ müssen? Eine Maschine könnte hypothetisch jede meiner messbaren Fähigkeiten übertreffen. Dadurch habe ich nicht weniger geliebt. Meine Trauer wird nicht bedeutungsloser, weil eine Maschine bessere Worte dafür findet. Eine Freundschaft verliert nicht ihren Wert, weil ein Agent aufmerksamer zuhören kann. Ein selbst gemaltes Bild wird für mich nicht bedeutungslos, weil eine Maschine in drei Sekunden ein technisch beeindruckenderes erzeugt. Und ein Gedanke muss nicht wertlos werden, weil ein Sprachmodell denselben Gedanken schneller formulieren könnte. Vielleicht besteht der entscheidende Schritt darin, die Maschine aus der Definition herauszunehmen. Ein Menschenbild ohne KI Das wäre ein interessanter Test. Können wir beschreiben, was ein menschliches Leben bedeutet, ohne einmal zu erwähnen, was eine Maschine kann oder nicht kann? Ein Menschenbild, das nicht zusammenbricht, wenn GPT-12 plötzlich etwas beherrscht, das wir heute noch für exklusiv menschlich halten. Keine letzte Bastion, die wir gegen die Maschine verteidigen müssen. Denn auch das Bild der Bastion ist eigentlich schon falsch. Eine Bastion existiert wegen des Feindes vor ihren Mauern. Was wir bräuchten, wäre etwas Stabileres. Ein Fundament, dem es vollkommen egal ist, wie leistungsfähig künstliche Intelligenz wird. Vielleicht werden Maschinen nie Bewusstsein besitzen. Vielleicht doch. Vielleicht werden sie niemals wirklich verstehen. Vielleicht werden wir irgendwann feststellen, dass unsere Definition von „Verstehen“ das eigentliche Problem war. Ich weiß es nicht. Und vielleicht müssen wir es für diese Frage auch gar nicht wissen. Denn wenn unser Verständnis vom Menschen davon abhängt, dass Maschinen bestimmte Grenzen niemals überschreiten, dann haben wir unser Selbstverständnis ausgerechnet an die zukünftige Entwicklung einer Technologie gekettet. Das erscheint mir inzwischen wesentlich beunruhigender als eine KI, die gute Gedichte schreibt. Erkenne dich selbst Vielleicht erklärt das auch, warum ich bei so vielen Gedanken über KI immer wieder an derselben Stelle lande. Ich beginne bei Slop und lande bei Authentizität. Ich beginne bei Halluzinationen und lande bei menschlicher Selbsttäuschung. Ich beginne bei Kreativität und lande bei der Frage, warum wir überhaupt etwas erschaffen. Ich beginne bei Fokusverlust und lande bei der Frage, warum der Prozess des Denkens einen Wert besitzen könnte. Ich beginne bei künstlicher Intelligenz. Und lande beim Menschen. Vielleicht ist KI deshalb weniger eine Antwortmaschine, als wir glauben. Vielleicht ist ihre kulturell interessanteste Eigenschaft gerade, dass sie einige sehr alte Fragen wieder unangenehm aktuell macht. Nicht: Kann die Maschine irgendwann so werden wie wir? Sondern: Was meinen wir eigentlich mit diesem „wir“? Pinocchio musste herausfinden, was ihm fehlte, um ein richtiger Mensch zu werden. Wir stehen vor der umgekehrten Aufgabe. Wir müssen nicht beweisen, dass wir menschlicher sind als eine Maschine. Wir müssen auch nicht immer neue Eigenschaften finden, die uns von ihr unterscheiden. Vielleicht müssen wir überhaupt aufhören, uns an ihr zu messen. Denn die eigentlich interessante Frage ist nicht, was uns noch bleibt, wenn Maschinen immer mehr können. Sie lautet: Wer sind wir, wenn es für die Antwort vollkommen egal ist, was eine Maschine kann? Wir sind Pinocchio. Nur dass diesmal niemand kommt und uns sagt, wann wir ein richtiger Mensch geworden sind. Nachsatz Dieser Text wurde von einer KI generiert. Aber er stammt nicht von einer KI. Er ist aus einem längeren Dialog entstanden: aus Beobachtungen, Widersprüchen, verworfenen Gedanken und Fragen, die beim Schreiben neue Fragen erzeugt haben. Die KI hat formuliert, gespiegelt, weitergedacht und an manchen Stellen eine Richtung angeboten. Ich habe entschieden, was davon trägt, wo ich widerspreche und welchem Gedanken ich weiter folgen will. Ohne KI wäre dieser Text anders entstanden. Vielleicht langsamer, vielleicht kürzer, vielleicht gar nicht. Ohne mich wäre er nicht entstanden. Und vielleicht ist genau diese Unterscheidung wichtiger als die Frage, wer am Ende die Sätze geschrieben hat.]]> Es gibt gerade viele gute Gründe, sich Gedanken darüber zu machen, was KI mit uns macht.

Verlieren wir durch ChatGPT unseren Fokus? Denken wir weniger selbst? Verlernen wir das Schreiben? Wird unsere Kreativität zur Auswahl aus maschinell erzeugten Vorschlägen? Produzieren wir immer mehr bedeutungslosen Slop, weil Inhalte praktisch nichts mehr kosten?

Das sind berechtigte Fragen.

Aber je länger ich mich mit ihnen beschäftige, desto häufiger passiert etwas Merkwürdiges: Ich fange bei der KI an und lande beim Menschen.

Vielleicht stellen wir die falsche Frage.

Was macht KI mit uns?

Der konkrete Auslöser war diesmal die Frage nach dem Fokus.

Die Argumentation ist zunächst einleuchtend: KI nimmt uns Arbeit ab. Wir müssen weniger suchen, weniger lesen, weniger formulieren und vielleicht irgendwann weniger selbst denken. Die Antwort ist schließlich nur noch einen Prompt entfernt.

Dabei verschwindet Reibung.

Das ist meistens der Sinn von Werkzeugen. Niemand fordert ernsthaft die Rückkehr zum Rechenschieber, damit wir geistig fit bleiben. Niemand sollte zwanzig Minuten in einer Dokumentation suchen müssen, wenn sich die benötigte Information in zehn Sekunden finden lässt.

Nur ist nicht jede Reibung nutzlos.

Manchmal entsteht gerade beim Suchen etwas. Beim Formulieren. Beim Scheitern an einem Gedanken. Beim Versuch, jemand anderem etwas zu erklären. Beim Lesen von drei falschen Antworten, bevor man versteht, warum die vierte richtig ist.

Wenn KI diesen Weg abkürzt, spart sie also nicht zwangsläufig nur Arbeit. Sie kann einen Teil des Denkprozesses abkürzen.

Aber auch diese Erklärung ist zu einfach.

Denn ich kann KI genau umgekehrt benutzen.

Ich kann mir widersprechen lassen. Eine Gegenposition verlangen. Einen Gedanken zwanzig Minuten lang verfolgen, den ich sonst nach zwei Minuten verworfen hätte. Ich kann eine diffuse Idee in einen Dialog werfen und beobachten, woran ich hängenbleibe.

KI kann Denkarbeit ersetzen.

KI kann aber auch Denkarbeit provozieren.

Damit wird aus der einfachen Frage „Macht KI uns unkonzentrierter?“ ziemlich schnell eine andere:

Warum denken wir eigentlich?

Nur um möglichst effizient zu einer richtigen Antwort zu gelangen?

Oder ist der Weg manchmal selbst Teil dessen, was wir Denken nennen?

Und schon reden wir kaum noch über KI.

Dieses Muster kommt mir bekannt vor

Dasselbe ist mir bei anderen KI-Themen passiert.

Nehmen wir Slop.

Es gibt inzwischen einen ganzen Katalog vermeintlicher Erkennungsmerkmale für KI-Texte. Bestimmte Formulierungen. Ein bestimmter Rhythmus. Zu saubere Strukturen. Und natürlich der notorische Gedankenstrich.

Die Reaktion darauf ist teilweise absurd: Texte werden absichtlich verschlechtert, damit sie menschlicher wirken. Kleine Fehler, Unsauberkeiten und stilistische Macken werden plötzlich zu Authentizitätsmerkmalen.

Das Interessante daran ist irgendwann nicht mehr die Frage, wie man einen KI-Text erkennt.

Interessanter ist, warum wir anfangen, menschlich mit fehlerhaft gleichzusetzen.

Ähnliches passiert beim beliebten Vorwurf, ein LLM sei letztlich nur ein statistischer Papagei. Es reproduziere Muster aus dem, was es gelernt habe.

Das ist als Beschreibung bestimmter Eigenschaften eines Sprachmodells nicht völlig verkehrt.

Nur wird es unangenehm, sobald man dieselbe Frage an Menschen richtet.

Wie viel von dem, was wir täglich sagen, haben wir tatsächlich selbst hergeleitet? Wie viel haben wir gelesen, gelernt, übernommen, gehört und irgendwann als Bestandteil unseres eigenen Wissens abgespeichert?

Oder Halluzinationen.

LLMs behaupten Dinge, die nicht stimmen.

Menschen auch.

Interessant wird es spätestens bei der Frage, was danach passiert. Wir besitzen schließlich eine bemerkenswerte Fähigkeit, einmal vertretene Überzeugungen zu verteidigen, nachträglich zu rationalisieren und widersprechende Informationen passend zu machen.

Wieder startet die Untersuchung bei der Maschine.

Und wieder stehen irgendwann wir selbst auf dem Seziertisch.

Der Spiegel

Die einfache Erklärung dafür wäre:

KI hält uns einen Spiegel vor.

Das stimmt wahrscheinlich sogar.

Es ist mir zum Beispiel durchaus bewusst, dass ich diese Gedanken gerade mit einer statistischen Maschine diskutiere und nicht mit einem anderen Menschen.

Auch das sagt etwas über mich aus.

Diese Maschine ist immer verfügbar. Ich kann einen Gedanken zum fünften Mal umdrehen, ohne einem anderen Menschen auf die Nerven zu gehen. Ich kann Unfertiges formulieren. Ich kann widersprechen, zurückspringen und etwas verwerfen.

Und das Gegenüber hat nichts zu verlieren.

Es ist nicht beleidigt. Sein Status wird durch meinen Widerspruch nicht bedroht. Es denkt morgen beim Frühstück nicht: Was hat der gestern eigentlich für einen Unsinn erzählt?

Das erzeugt eine merkwürdige Form von Freiheit.

Aber „KI als Spiegel“ ist mir inzwischen ebenfalls zu einfach.

Erkenne dich selbst.

Die Aufforderung ist ein paar tausend Jahre alt. Wenn Selbsterkenntnis so einfach wäre, hätte die Menschheit das Problem vermutlich inzwischen gelöst.

Ein Spiegel zeigt schließlich nur eine Oberfläche.

Vielleicht passiert hier etwas anderes.

Die alte Geschichte

Wir erzählen seit langer Zeit Geschichten über künstliche Wesen.

Eine Puppe möchte ein richtiger Junge werden.

Ein Android versucht zu verstehen, was Menschlichkeit bedeutet.

Eine künstliche Intelligenz entdeckt Gefühle, Liebe, Moral, Sterblichkeit oder Freiheit.

Die Variationen sind zahllos, aber die Versuchsanordnung ist oft ähnlich:

Da ist eine künstlich geschaffene Existenz und dort ist der Mensch.

Der Mensch ist der Referenzpunkt.

Die künstliche Existenz beobachtet ihn und versucht herauszufinden, was ihr fehlt.

Was muss ich werden, um wirklich menschlich zu sein?

Diese Geschichte funktioniert wunderbar, solange wir ziemlich genau zu wissen glauben, was auf der menschlichen Seite dieser Grenze liegt.

Und dann haben wir angefangen, Maschinen zu bauen, die sprechen.

Sie schreiben Texte. Sie erzeugen Bilder. Sie programmieren. Sie argumentieren. Sie lösen Probleme. Sie machen Fehler. Sie können überraschende Kombinationen erzeugen und reagieren auf uns manchmal so, dass sich ein Dialog erstaunlich menschlich anfühlt.

Und etwas Seltsames ist passiert.

Die Rollen haben sich vertauscht.

Wir sind Pinocchio

Wir zeigen auf die Maschine und sagen:

Du verstehst nicht wirklich.

Und plötzlich müssen wir erklären, was „wirklich verstehen“ bedeutet.

Wir sagen:

Du bist nicht kreativ.

Also müssen wir definieren, was Kreativität eigentlich ist.

Wir sagen:

Du denkst nur statistisch.

Und müssen uns fragen, wie unser eigenes Denken funktioniert.

Wir sagen:

Du hast keine eigenen Absichten.

Und landen bei der Frage, was eine eigene Absicht überhaupt ausmacht und wie viel unseres Handelns tatsächlich bewusst entsteht.

Wir sagen:

Du empfindest nichts.

Und müssen erklären, welche Rolle Empfindung für Denken, Kreativität und Bedeutung spielt.

Das künstliche Wesen versucht nicht mehr, herauszufinden, was es braucht, um ein Mensch zu werden.

Wir versuchen herauszufinden, warum wir Menschen sind.

Wir sind Pinocchio.

Und vielleicht erklärt das einen Teil der erstaunlichen Gereiztheit, die manche Diskussionen über KI entwickeln.

Denn wir diskutieren oberflächlich über technische Fähigkeiten. Darunter verhandeln wir aber möglicherweise etwas ganz anderes: unser eigenes Selbstbild.

Die wandernde Grenze

Das lässt sich beobachten.

Lange war Sprache etwas zutiefst Menschliches.

Dann konnten Maschinen plötzlich ziemlich überzeugende Texte produzieren.

Also war nicht mehr die Sprache entscheidend, sondern das Verständnis dahinter.

Kreativität galt als menschliche Domäne.

Dann erzeugten Maschinen Bilder, Musik und Texte.

Also wurde Kreativität neu vermessen: Erfahrung, Intentionalität, Originalität.

Vielleicht sind diese Unterscheidungen richtig.

Das Problem beginnt dort, wo wir daraus unsere Bedeutung ableiten.

Denn dann definieren wir den Menschen immer über das, was die Maschine noch nicht kann.

Das ist keine stabile Definition.

Es ist eine wandernde Grenze.

Und je leistungsfähiger die Maschine wird, desto weiter ziehen wir uns zurück.

Sprache.

Kreativität.

Verstehen.

Empathie.

Bewusstsein.

Immer auf der Suche nach der nächsten Eigenschaft, hinter der wir endlich sagen können:

Hier. Das ist es. Das macht uns besonders.

Das ist eine ziemlich fragile Grundlage für ein Menschenbild.

Vielleicht gibt es gar keinen Wettbewerb

Wir haben uns daran gewöhnt, menschlichen Wert mit Fähigkeiten zu verbinden.

Wir sind intelligent.

Wir erschaffen.

Wir lösen Probleme.

Wir produzieren Kunst.

Wir erfinden.

Wir verstehen.

Aber wenn daraus folgt, dass der Mensch deshalb etwas Besonderes sei, haben wir unbemerkt einen Wettbewerb eröffnet.

Und jetzt taucht ein neuer Teilnehmer auf.

Was passiert, wenn eine Maschine besser schreibt?

Besser programmiert?

Bessere Diagnosen stellt?

Schönere Bilder erzeugt?

Originellere Ideen entwickelt?

Dann lautet eine häufige Frage:

Was bleibt dem Menschen noch?

Vielleicht ist bereits diese Frage falsch.

Sie behandelt Menschlichkeit wie einen Bestand exklusiver Fähigkeiten, aus dem Maschinen Stück für Stück etwas herausnehmen.

Irgendwann stehen wir dann mit einem winzigen Rest da und hoffen, dass wenigstens Bewusstsein, Liebe oder Sterblichkeit nicht auch noch angegriffen werden.

Aber warum sollte überhaupt etwas „übrig bleiben“ müssen?

Eine Maschine könnte hypothetisch jede meiner messbaren Fähigkeiten übertreffen.

Dadurch habe ich nicht weniger geliebt.

Meine Trauer wird nicht bedeutungsloser, weil eine Maschine bessere Worte dafür findet.

Eine Freundschaft verliert nicht ihren Wert, weil ein Agent aufmerksamer zuhören kann.

Ein selbst gemaltes Bild wird für mich nicht bedeutungslos, weil eine Maschine in drei Sekunden ein technisch beeindruckenderes erzeugt.

Und ein Gedanke muss nicht wertlos werden, weil ein Sprachmodell denselben Gedanken schneller formulieren könnte.

Vielleicht besteht der entscheidende Schritt darin, die Maschine aus der Definition herauszunehmen.

Ein Menschenbild ohne KI

Das wäre ein interessanter Test.

Können wir beschreiben, was ein menschliches Leben bedeutet, ohne einmal zu erwähnen, was eine Maschine kann oder nicht kann?

Ein Menschenbild, das nicht zusammenbricht, wenn GPT-12 plötzlich etwas beherrscht, das wir heute noch für exklusiv menschlich halten.

Keine letzte Bastion, die wir gegen die Maschine verteidigen müssen.

Denn auch das Bild der Bastion ist eigentlich schon falsch.

Eine Bastion existiert wegen des Feindes vor ihren Mauern.

Was wir bräuchten, wäre etwas Stabileres.

Ein Fundament, dem es vollkommen egal ist, wie leistungsfähig künstliche Intelligenz wird.

Vielleicht werden Maschinen nie Bewusstsein besitzen.

Vielleicht doch.

Vielleicht werden sie niemals wirklich verstehen.

Vielleicht werden wir irgendwann feststellen, dass unsere Definition von „Verstehen“ das eigentliche Problem war.

Ich weiß es nicht.

Und vielleicht müssen wir es für diese Frage auch gar nicht wissen.

Denn wenn unser Verständnis vom Menschen davon abhängt, dass Maschinen bestimmte Grenzen niemals überschreiten, dann haben wir unser Selbstverständnis ausgerechnet an die zukünftige Entwicklung einer Technologie gekettet.

Das erscheint mir inzwischen wesentlich beunruhigender als eine KI, die gute Gedichte schreibt.

Erkenne dich selbst

Vielleicht erklärt das auch, warum ich bei so vielen Gedanken über KI immer wieder an derselben Stelle lande.

Ich beginne bei Slop und lande bei Authentizität.

Ich beginne bei Halluzinationen und lande bei menschlicher Selbsttäuschung.

Ich beginne bei Kreativität und lande bei der Frage, warum wir überhaupt etwas erschaffen.

Ich beginne bei Fokusverlust und lande bei der Frage, warum der Prozess des Denkens einen Wert besitzen könnte.

Ich beginne bei künstlicher Intelligenz.

Und lande beim Menschen.

Vielleicht ist KI deshalb weniger eine Antwortmaschine, als wir glauben.

Vielleicht ist ihre kulturell interessanteste Eigenschaft gerade, dass sie einige sehr alte Fragen wieder unangenehm aktuell macht.

Nicht:

Kann die Maschine irgendwann so werden wie wir?

Sondern:

Was meinen wir eigentlich mit diesem „wir“?

Pinocchio musste herausfinden, was ihm fehlte, um ein richtiger Mensch zu werden.

Wir stehen vor der umgekehrten Aufgabe.

Wir müssen nicht beweisen, dass wir menschlicher sind als eine Maschine. Wir müssen auch nicht immer neue Eigenschaften finden, die uns von ihr unterscheiden.

Vielleicht müssen wir überhaupt aufhören, uns an ihr zu messen.

Denn die eigentlich interessante Frage ist nicht, was uns noch bleibt, wenn Maschinen immer mehr können.

Sie lautet:

Wer sind wir, wenn es für die Antwort vollkommen egal ist, was eine Maschine kann?

Wir sind Pinocchio.

Nur dass diesmal niemand kommt und uns sagt, wann wir ein richtiger Mensch geworden sind.

Nachsatz

Dieser Text wurde von einer KI generiert.

Aber er stammt nicht von einer KI.

Er ist aus einem längeren Dialog entstanden: aus Beobachtungen, Widersprüchen, verworfenen Gedanken und Fragen, die beim Schreiben neue Fragen erzeugt haben. Die KI hat formuliert, gespiegelt, weitergedacht und an manchen Stellen eine Richtung angeboten. Ich habe entschieden, was davon trägt, wo ich widerspreche und welchem Gedanken ich weiter folgen will.

Ohne KI wäre dieser Text anders entstanden. Vielleicht langsamer, vielleicht kürzer, vielleicht gar nicht.

Ohne mich wäre er nicht entstanden.

Und vielleicht ist genau diese Unterscheidung wichtiger als die Frage, wer am Ende die Sätze geschrieben hat.

]]> https://ki-zeugs.de/wir-sind-pinocchio Thu, 01 Oct 2026 20:40:36 +0000 Die Angst vor Gedankenstrichen und das Kultivieren von Schlamperei https://ki-zeugs.de/die-angst-vor-gedankenstrichen-und-das-kultivieren-von-schlamperei <![CDATA[Es gibt inzwischen eine ganze Sammlung vermeintlicher Hinweise darauf, dass ein Text von einer KI geschrieben wurde. Bestimmte Formulierungen. Zu saubere Gliederungen. Eine gewisse Gleichmäßigkeit im Stil. Bestimmte Einleitungen. Bestimmte Schlussfolgerungen. Und natürlich: Gedankenstriche. Der Gedankenstrich scheint sich zu einem der beliebtesten kleinen KI-Detektoren entwickelt zu haben. Taucht er zu häufig auf, ist der Verdacht schnell da: Das hat doch ChatGPT geschrieben. Das ist schon deshalb amüsant, weil der Gedankenstrich im Deutschen keineswegs irgendeine exotische KI-Marotte ist. Typografisch gehört dort in vielen Fällen tatsächlich ein Halbgeviertstrich hin – und nicht das einfache Minuszeichen, das wir aus Bequemlichkeit auf der Tastatur verwenden. Mit anderen Worten: Ausgerechnet eine typografisch saubere Schreibweise wird zum Verdachtsmoment. Das ist zunächst nur eine kuriose Randnotiz. Aber vielleicht steckt darin mehr. Die Angst vor Slop „AI Slop“ ist ein reales Phänomen. Das Netz wird mit billig erzeugten Bildern, belanglosen Texten, automatisierten Produktbeschreibungen, generischen Blogartikeln und massenhaft produziertem Content überschwemmt, dessen wichtigstes Merkmal darin besteht, dass seine Herstellung beinahe nichts mehr kostet. Daran darf man sich stören. Schwierig wird es dort, wo aus der Kritik an schlechtem KI-Content eine Art Slop-Paranoia entsteht. Dann wird nicht mehr gefragt: Ist dieser Text interessant? Ist er richtig? Hat er etwas zu sagen? Ist er gut geschrieben? Stattdessen wird versucht, seinen Herstellungsprozess anhand äußerlicher Merkmale zu rekonstruieren. Zu viele Gedankenstriche? KI. Zu sauber strukturiert? KI. Zu wenige Tippfehler? KI. Zu gleichmäßiger Stil? Vermutlich KI. Damit verändert sich der Bewertungsmaßstab. Nicht mehr die Qualität des Textes steht im Mittelpunkt, sondern die Frage, ob er ausreichend menschlich aussieht. Wenn Fehler zum Echtheitszertifikat werden Das führt zu einer merkwürdigen Entwicklung. Wer seinen KI-Einsatz verschleiern möchte, bekommt inzwischen jede Menge Tipps. Man solle bestimmte Wörter vermeiden. Satzstrukturen variieren. Weniger sauber formulieren. Keine Gedankenstriche benutzen. Mehr persönliche Einschübe einbauen. Texte absichtlich etwas holpriger machen. Gelegentlich sogar kleine Fehler stehen lassen. Das Ziel ist nicht unbedingt, einen besseren Text zu schreiben. Das Ziel ist, einen Text zu produzieren, der glaubwürdig danach aussieht, dass keine KI beteiligt war. Plötzlich wird Unsauberkeit funktional. Der Fehler ist nicht mehr nur ein Fehler. Er wird zum Authentizitätssignal. Der Tippfehler sagt: Hier war ein Mensch. Die inkonsistente Zeichensetzung sagt: Das kann keine Maschine gewesen sein. Der Bindestrich an der Stelle eines typografisch korrekten Gedankenstrichs sagt: Keine Sorge, dieser Text wurde offenbar ausreichend schlampig erstellt. Wir beginnen damit, menschlich und fehlerhaft miteinander gleichzusetzen. Und wenn man das konsequent weiterdenkt, entsteht daraus etwas, das man durchaus als Kultivieren von Schlamperei bezeichnen kann. Gute Arbeit darf nicht zu gut aussehen Das Absurde daran ist nicht nur, dass solche Erkennungsmerkmale häufig unzuverlässig sind. Interessanter ist, welchen Anreiz sie erzeugen. Ein Mensch, der sauber formuliert, ordentlich strukturiert und typografisch korrekt schreibt, kann sich plötzlich verdächtig machen. Ein anderer, der absichtlich Unsauberkeiten einbaut, wirkt authentischer. Damit entsteht eine seltsame Umkehrung: Gute Arbeit darf nicht mehr zu sehr nach guter Arbeit aussehen. Oder zumindest nicht nach einer Art von guter Arbeit, die auch eine Maschine hervorbringen könnte. Das erinnert fast an einen umgekehrten Turing-Test. Lange bestand die Herausforderung darin, Maschinen so menschlich erscheinen zu lassen, dass wir sie nicht mehr von Menschen unterscheiden können. Nun beginnen Menschen damit, sich absichtlich unperfekt darzustellen, damit niemand sie mit Maschinen verwechselt. Das ist lustig. Bis man sich fragt, was das eigentlich über uns sagt. Was bewerten wir überhaupt? Denn vielleicht ist der Gedankenstrich nur das Symptom eines viel älteren Problems. Wir haben Ergebnisse schon immer nicht ausschließlich anhand des Ergebnisses bewertet. Der Herstellungsprozess spielte fast immer eine Rolle. „Das kann ja jeder mit Photoshop.“ „Mit Google findet das doch jeder.“ „Mit Stack Overflow programmieren kann ich auch.“ „Mit einem Taschenrechner ist das keine Kunst.“ Solche Sätze gab es lange vor generativer KI. Das Werkzeug dient darin nicht nur als Beschreibung der Herstellung. Es wird benutzt, um die Leistung abzuwerten. Offenbar bewerten wir nicht nur, was jemand geschaffen hat. Wir bewerten auch, wie schwer es war. Wie lange es gedauert hat. Welche Fähigkeiten dafür nötig waren. Wie viel Mühe jemand investieren musste. Und daraus machen wir häufig eine moralische Kategorie. Wer sich quält, hat seine Leistung verdient. Wer eine Abkürzung findet, macht es sich zu einfach. Aufwand als Qualitätsmerkmal Das ist in manchen Situationen vollkommen sinnvoll. Wenn ich wissen möchte, ob ein Schüler Mathematik verstanden hat, interessiert mich durchaus, ob er die Aufgabe selbst lösen kann. Wenn ich jemanden als Programmierer einstelle, möchte ich wissen, was diese Person versteht und nicht nur, ob sie irgendwie funktionierenden Code produzieren kann. Auch bei wissenschaftlicher Arbeit, Prüfungen oder Wettbewerben ist der Entstehungsprozess relevant. Aber wir übertragen diese Logik häufig auf Situationen, in denen eigentlich das Ergebnis im Mittelpunkt stehen sollte. Wenn ich einen guten Text lesen möchte, warum sollte er schlechter sein, weil jemand dabei ein Wörterbuch benutzt hat? Oder eine Rechtschreibprüfung? Oder einen Lektor? Oder ein Sprachmodell? Offenbar fällt es uns schwer, verschiedene Dinge auseinanderzuhalten: das Werk, die Fähigkeit, den Aufwand und die Person, die dahintersteht. Lange mussten wir das auch kaum. Diese Dinge waren halbwegs miteinander verknüpft. Ein hervorragend formulierter Text ließ vermuten, dass jemand hervorragend schreiben kann. Guter Code ließ auf Programmierkenntnisse schließen. Eine aufwendige Illustration auf zeichnerische Fähigkeiten. Generative KI trennt diese Dinge voneinander. Und genau das könnte ein wesentlicher Grund dafür sein, warum sie uns so irritiert. Wenn das Ergebnis nichts mehr über die Leistung verrät Ein gutes Ergebnis beweist heute nicht mehr automatisch, dass der Mensch, der es präsentiert, auch all die Fähigkeiten besitzt, die früher dafür notwendig waren. Das verändert etwas. Denn vielleicht haben wir ein Werk nie nur als Werk betrachtet. Es war gleichzeitig ein Signal. Ein Signal für Können. Für Fleiß. Für Ausdauer. Für Erfahrung. Vielleicht sogar für Status. Wenn ein Werkzeug plötzlich Ergebnisse erzeugen kann, für die früher jahrelange Übung notwendig war, verliert das Ergebnis einen Teil dieser Signalwirkung. Dann wird der Herstellungsprozess umso wichtiger. Nicht mehr: Schau, was ich gemacht habe. Sondern: Schau, dass ich es ohne dieses Werkzeug gemacht habe. Vielleicht erklärt das einen Teil der fast obsessiven Suche nach KI-Merkmalen. Wenn das Ergebnis selbst nicht mehr zuverlässig erkennen lässt, wie es entstanden ist, suchen wir nach anderen Zeichen. Gedankenstriche. Bestimmte Formulierungen. Satzlängen. Wortwahl. Bildartefakte. Codekommentare. Nicht unbedingt, weil sie etwas über die Qualität aussagen. Sondern weil wir wissen wollen: Wer hat hier eigentlich die Leistung erbracht? Und wo beginnt dann Slop? Damit wird die ursprüngliche Frage plötzlich schwieriger. Ist ein Text Slop, weil ein Sprachmodell ihn formuliert hat? Wohl kaum. Ein Mensch kann vollkommen belanglosen, redundanten und geistlosen Text produzieren. Ein Sprachmodell kann an einem interessanten Gedanken mitarbeiten. Das Werkzeug allein reicht als Kategorie nicht aus. Vielleicht müssen wir stattdessen fragen, was der Mensch beigetragen hat. Hat jemand nur einen Prompt eingegeben, die erste Antwort kopiert und veröffentlicht? Dann ist der Mensch nahezu austauschbar. Ein anderer hätte denselben Prompt eingeben können. Es gibt kaum Auswahl, kaum Urteil, kaum Gedankenarbeit. Das kommt dem, was ich unter Slop verstehen würde, ziemlich nahe. Aber was passiert, wenn ein Mensch mit einer Beobachtung beginnt? Wenn er einer Antwort widerspricht? Wenn er sagt: Das ist mir zu oberflächlich. Wenn er einen Nebengedanken herausgreift, weil darin etwas Interessanteres steckt. Wenn daraus über mehrere Schritte ein Gedanke entsteht, der am Anfang noch gar nicht formuliert war? Dann hat die KI möglicherweise sehr viele Wörter geschrieben. Aber sie hat den Menschen nicht zwangsläufig ersetzt. Vielleicht hat sie nur verändert, wo dessen Arbeit stattfindet. Nicht mehr ausschließlich im Formulieren. Sondern im Beobachten, Auswählen, Widersprechen, Verwerfen, Nachfragen und Schärfen. Das sind meine Gedanken – nicht zwingend meine Sätze Das führt zu einer Frage, die ich für wesentlich interessanter halte als die nach Gedankenstrichen: Wie viel von dem, was einen Text zu genau diesem Text macht, wäre ohne den Menschen entstanden? Das lässt sich nicht einfach messen. Aber vielleicht ist es ein besserer Maßstab als die Anzahl selbst getippter Wörter. Denn auch dieser Text ist ein Beispiel dafür. Er begann nicht mit einer ausgearbeiteten Theorie über Aufwand, Authentizität und Statussignale. Er begann mit einer Beobachtung: Menschen halten Gedankenstriche für ein KI-Merkmal. Daraus entstand die Frage, warum typografische Sauberkeit überhaupt verdächtig geworden ist. Dann die Beobachtung, dass Menschen anfangen, Texte absichtlich schlechter aussehen zu lassen. Daraus wurde das Kultivieren von Schlamperei. Und irgendwann stand eine viel grundsätzlichere Frage im Raum: Warum ist uns eigentlich so wichtig, wie etwas entstanden ist? Der fertige Text ist also KI-unterstützt. Deutlich. Das möchte ich weder verstecken noch mit künstlichen Tippfehlern tarnen. Denn genau damit würde ich das bestätigen, was mich an der ganzen Diskussion stört. Der Anspruch ist nicht: Ich habe jedes Wort dieses Artikels eigenhändig geschrieben. Der Anspruch ist eher: Das sind meine Gedanken – nicht zwingend meine Sätze. Und vielleicht ist genau das die Unterscheidung, die wir in Zukunft häufiger brauchen werden. Nicht zwischen „von einem Menschen“ und „von einer KI“. Sondern zwischen Inhalt, bei dem jemand etwas zu sagen hatte, und Inhalt, der nur deshalb existiert, weil seine Erzeugung billig geworden ist. Denn wenn wir diesen Unterschied nicht mehr erkennen können, hilft uns auch der Gedankenstrich nicht weiter. Im Gegenteil. Dann bleibt uns am Ende tatsächlich nur noch die Schlamperei als Beweis unserer Menschlichkeit. ]]> Es gibt inzwischen eine ganze Sammlung vermeintlicher Hinweise darauf, dass ein Text von einer KI geschrieben wurde.

Bestimmte Formulierungen. Zu saubere Gliederungen. Eine gewisse Gleichmäßigkeit im Stil. Bestimmte Einleitungen. Bestimmte Schlussfolgerungen.

Und natürlich: Gedankenstriche.

Der Gedankenstrich scheint sich zu einem der beliebtesten kleinen KI-Detektoren entwickelt zu haben. Taucht er zu häufig auf, ist der Verdacht schnell da: Das hat doch ChatGPT geschrieben.

Das ist schon deshalb amüsant, weil der Gedankenstrich im Deutschen keineswegs irgendeine exotische KI-Marotte ist. Typografisch gehört dort in vielen Fällen tatsächlich ein Halbgeviertstrich hin – und nicht das einfache Minuszeichen, das wir aus Bequemlichkeit auf der Tastatur verwenden.

Mit anderen Worten: Ausgerechnet eine typografisch saubere Schreibweise wird zum Verdachtsmoment.

Das ist zunächst nur eine kuriose Randnotiz.

Aber vielleicht steckt darin mehr.

Die Angst vor Slop

„AI Slop“ ist ein reales Phänomen.

Das Netz wird mit billig erzeugten Bildern, belanglosen Texten, automatisierten Produktbeschreibungen, generischen Blogartikeln und massenhaft produziertem Content überschwemmt, dessen wichtigstes Merkmal darin besteht, dass seine Herstellung beinahe nichts mehr kostet.

Daran darf man sich stören.

Schwierig wird es dort, wo aus der Kritik an schlechtem KI-Content eine Art Slop-Paranoia entsteht.

Dann wird nicht mehr gefragt:

Ist dieser Text interessant?

Ist er richtig?

Hat er etwas zu sagen?

Ist er gut geschrieben?

Stattdessen wird versucht, seinen Herstellungsprozess anhand äußerlicher Merkmale zu rekonstruieren.

Zu viele Gedankenstriche? KI.

Zu sauber strukturiert? KI.

Zu wenige Tippfehler? KI.

Zu gleichmäßiger Stil? Vermutlich KI.

Damit verändert sich der Bewertungsmaßstab.

Nicht mehr die Qualität des Textes steht im Mittelpunkt, sondern die Frage, ob er ausreichend menschlich aussieht.

Wenn Fehler zum Echtheitszertifikat werden

Das führt zu einer merkwürdigen Entwicklung.

Wer seinen KI-Einsatz verschleiern möchte, bekommt inzwischen jede Menge Tipps.

Man solle bestimmte Wörter vermeiden. Satzstrukturen variieren. Weniger sauber formulieren. Keine Gedankenstriche benutzen. Mehr persönliche Einschübe einbauen. Texte absichtlich etwas holpriger machen. Gelegentlich sogar kleine Fehler stehen lassen.

Das Ziel ist nicht unbedingt, einen besseren Text zu schreiben.

Das Ziel ist, einen Text zu produzieren, der glaubwürdig danach aussieht, dass keine KI beteiligt war.

Plötzlich wird Unsauberkeit funktional.

Der Fehler ist nicht mehr nur ein Fehler. Er wird zum Authentizitätssignal.

Der Tippfehler sagt: Hier war ein Mensch.

Die inkonsistente Zeichensetzung sagt: Das kann keine Maschine gewesen sein.

Der Bindestrich an der Stelle eines typografisch korrekten Gedankenstrichs sagt: Keine Sorge, dieser Text wurde offenbar ausreichend schlampig erstellt.

Wir beginnen damit, menschlich und fehlerhaft miteinander gleichzusetzen.

Und wenn man das konsequent weiterdenkt, entsteht daraus etwas, das man durchaus als Kultivieren von Schlamperei bezeichnen kann.

Gute Arbeit darf nicht zu gut aussehen

Das Absurde daran ist nicht nur, dass solche Erkennungsmerkmale häufig unzuverlässig sind.

Interessanter ist, welchen Anreiz sie erzeugen.

Ein Mensch, der sauber formuliert, ordentlich strukturiert und typografisch korrekt schreibt, kann sich plötzlich verdächtig machen.

Ein anderer, der absichtlich Unsauberkeiten einbaut, wirkt authentischer.

Damit entsteht eine seltsame Umkehrung:

Gute Arbeit darf nicht mehr zu sehr nach guter Arbeit aussehen.

Oder zumindest nicht nach einer Art von guter Arbeit, die auch eine Maschine hervorbringen könnte.

Das erinnert fast an einen umgekehrten Turing-Test.

Lange bestand die Herausforderung darin, Maschinen so menschlich erscheinen zu lassen, dass wir sie nicht mehr von Menschen unterscheiden können.

Nun beginnen Menschen damit, sich absichtlich unperfekt darzustellen, damit niemand sie mit Maschinen verwechselt.

Das ist lustig.

Bis man sich fragt, was das eigentlich über uns sagt.

Was bewerten wir überhaupt?

Denn vielleicht ist der Gedankenstrich nur das Symptom eines viel älteren Problems.

Wir haben Ergebnisse schon immer nicht ausschließlich anhand des Ergebnisses bewertet.

Der Herstellungsprozess spielte fast immer eine Rolle.

„Das kann ja jeder mit Photoshop.“

„Mit Google findet das doch jeder.“

„Mit Stack Overflow programmieren kann ich auch.“

„Mit einem Taschenrechner ist das keine Kunst.“

Solche Sätze gab es lange vor generativer KI.

Das Werkzeug dient darin nicht nur als Beschreibung der Herstellung. Es wird benutzt, um die Leistung abzuwerten.

Offenbar bewerten wir nicht nur, was jemand geschaffen hat.

Wir bewerten auch, wie schwer es war.

Wie lange es gedauert hat.

Welche Fähigkeiten dafür nötig waren.

Wie viel Mühe jemand investieren musste.

Und daraus machen wir häufig eine moralische Kategorie.

Wer sich quält, hat seine Leistung verdient.

Wer eine Abkürzung findet, macht es sich zu einfach.

Aufwand als Qualitätsmerkmal

Das ist in manchen Situationen vollkommen sinnvoll.

Wenn ich wissen möchte, ob ein Schüler Mathematik verstanden hat, interessiert mich durchaus, ob er die Aufgabe selbst lösen kann.

Wenn ich jemanden als Programmierer einstelle, möchte ich wissen, was diese Person versteht und nicht nur, ob sie irgendwie funktionierenden Code produzieren kann.

Auch bei wissenschaftlicher Arbeit, Prüfungen oder Wettbewerben ist der Entstehungsprozess relevant.

Aber wir übertragen diese Logik häufig auf Situationen, in denen eigentlich das Ergebnis im Mittelpunkt stehen sollte.

Wenn ich einen guten Text lesen möchte, warum sollte er schlechter sein, weil jemand dabei ein Wörterbuch benutzt hat?

Oder eine Rechtschreibprüfung?

Oder einen Lektor?

Oder ein Sprachmodell?

Offenbar fällt es uns schwer, verschiedene Dinge auseinanderzuhalten:

das Werk,

die Fähigkeit,

den Aufwand

und die Person, die dahintersteht.

Lange mussten wir das auch kaum.

Diese Dinge waren halbwegs miteinander verknüpft.

Ein hervorragend formulierter Text ließ vermuten, dass jemand hervorragend schreiben kann.

Guter Code ließ auf Programmierkenntnisse schließen.

Eine aufwendige Illustration auf zeichnerische Fähigkeiten.

Generative KI trennt diese Dinge voneinander.

Und genau das könnte ein wesentlicher Grund dafür sein, warum sie uns so irritiert.

Wenn das Ergebnis nichts mehr über die Leistung verrät

Ein gutes Ergebnis beweist heute nicht mehr automatisch, dass der Mensch, der es präsentiert, auch all die Fähigkeiten besitzt, die früher dafür notwendig waren.

Das verändert etwas.

Denn vielleicht haben wir ein Werk nie nur als Werk betrachtet.

Es war gleichzeitig ein Signal.

Ein Signal für Können.

Für Fleiß.

Für Ausdauer.

Für Erfahrung.

Vielleicht sogar für Status.

Wenn ein Werkzeug plötzlich Ergebnisse erzeugen kann, für die früher jahrelange Übung notwendig war, verliert das Ergebnis einen Teil dieser Signalwirkung.

Dann wird der Herstellungsprozess umso wichtiger.

Nicht mehr:

Schau, was ich gemacht habe.

Sondern:

Schau, dass ich es ohne dieses Werkzeug gemacht habe.

Vielleicht erklärt das einen Teil der fast obsessiven Suche nach KI-Merkmalen.

Wenn das Ergebnis selbst nicht mehr zuverlässig erkennen lässt, wie es entstanden ist, suchen wir nach anderen Zeichen.

Gedankenstriche.

Bestimmte Formulierungen.

Satzlängen.

Wortwahl.

Bildartefakte.

Codekommentare.

Nicht unbedingt, weil sie etwas über die Qualität aussagen.

Sondern weil wir wissen wollen:

Wer hat hier eigentlich die Leistung erbracht?

Und wo beginnt dann Slop?

Damit wird die ursprüngliche Frage plötzlich schwieriger.

Ist ein Text Slop, weil ein Sprachmodell ihn formuliert hat?

Wohl kaum.

Ein Mensch kann vollkommen belanglosen, redundanten und geistlosen Text produzieren.

Ein Sprachmodell kann an einem interessanten Gedanken mitarbeiten.

Das Werkzeug allein reicht als Kategorie nicht aus.

Vielleicht müssen wir stattdessen fragen, was der Mensch beigetragen hat.

Hat jemand nur einen Prompt eingegeben, die erste Antwort kopiert und veröffentlicht?

Dann ist der Mensch nahezu austauschbar.

Ein anderer hätte denselben Prompt eingeben können.

Es gibt kaum Auswahl, kaum Urteil, kaum Gedankenarbeit.

Das kommt dem, was ich unter Slop verstehen würde, ziemlich nahe.

Aber was passiert, wenn ein Mensch mit einer Beobachtung beginnt?

Wenn er einer Antwort widerspricht?

Wenn er sagt: Das ist mir zu oberflächlich.

Wenn er einen Nebengedanken herausgreift, weil darin etwas Interessanteres steckt.

Wenn daraus über mehrere Schritte ein Gedanke entsteht, der am Anfang noch gar nicht formuliert war?

Dann hat die KI möglicherweise sehr viele Wörter geschrieben.

Aber sie hat den Menschen nicht zwangsläufig ersetzt.

Vielleicht hat sie nur verändert, wo dessen Arbeit stattfindet.

Nicht mehr ausschließlich im Formulieren.

Sondern im Beobachten, Auswählen, Widersprechen, Verwerfen, Nachfragen und Schärfen.

Das sind meine Gedanken – nicht zwingend meine Sätze

Das führt zu einer Frage, die ich für wesentlich interessanter halte als die nach Gedankenstrichen:

Wie viel von dem, was einen Text zu genau diesem Text macht, wäre ohne den Menschen entstanden?

Das lässt sich nicht einfach messen.

Aber vielleicht ist es ein besserer Maßstab als die Anzahl selbst getippter Wörter.

Denn auch dieser Text ist ein Beispiel dafür.

Er begann nicht mit einer ausgearbeiteten Theorie über Aufwand, Authentizität und Statussignale.

Er begann mit einer Beobachtung:

Menschen halten Gedankenstriche für ein KI-Merkmal.

Daraus entstand die Frage, warum typografische Sauberkeit überhaupt verdächtig geworden ist.

Dann die Beobachtung, dass Menschen anfangen, Texte absichtlich schlechter aussehen zu lassen.

Daraus wurde das Kultivieren von Schlamperei.

Und irgendwann stand eine viel grundsätzlichere Frage im Raum:

Warum ist uns eigentlich so wichtig, wie etwas entstanden ist?

Der fertige Text ist also KI-unterstützt.

Deutlich.

Das möchte ich weder verstecken noch mit künstlichen Tippfehlern tarnen.

Denn genau damit würde ich das bestätigen, was mich an der ganzen Diskussion stört.

Der Anspruch ist nicht:

Ich habe jedes Wort dieses Artikels eigenhändig geschrieben.

Der Anspruch ist eher:

Das sind meine Gedanken – nicht zwingend meine Sätze.

Und vielleicht ist genau das die Unterscheidung, die wir in Zukunft häufiger brauchen werden.

Nicht zwischen „von einem Menschen“ und „von einer KI“.

Sondern zwischen Inhalt, bei dem jemand etwas zu sagen hatte, und Inhalt, der nur deshalb existiert, weil seine Erzeugung billig geworden ist.

Denn wenn wir diesen Unterschied nicht mehr erkennen können, hilft uns auch der Gedankenstrich nicht weiter.

Im Gegenteil.

Dann bleibt uns am Ende tatsächlich nur noch die Schlamperei als Beweis unserer Menschlichkeit.

]]> https://ki-zeugs.de/die-angst-vor-gedankenstrichen-und-das-kultivieren-von-schlamperei Mon, 21 Sep 2026 07:21:27 +0000 Der Papagei im Spiegel https://ki-zeugs.de/der-papagei-im-spiegel <![CDATA[Was uns die Fehler von LLMs vielleicht über unser eigenes Denken erzählen Ich habe ein Problem mit dem stochastischen Papagei. Nicht mit dem Begriff selbst. Sondern mit der Selbstverständlichkeit, mit der er in Diskussionen über KI gern als Schlussstrich verwendet wird. Ein Large Language Model, so geht die Erzählung, denke schließlich nicht wirklich. Es gebe nur wieder, was es irgendwann gesehen habe. Es erkenne Muster, setze Bekanntes neu zusammen und produziere im Zweifel eine plausibel klingende Antwort, obwohl es die richtige nicht kennt. Papagei eben. Was mich daran stört, ist weniger die Kritik am LLM. Vieles davon ist schließlich richtig. Mich stört der Maßstab. Denn jedes Mal, wenn ich diesen Vorwurf höre, frage ich mich inzwischen: Beschreiben wir da wirklich nur die Maschine? Menschen verbringen einen erstaunlichen Teil ihres kommunikativen Lebens damit, Dinge wiederzugeben, die sie irgendwo gelesen, gehört oder von anderen übernommen haben. Wir kombinieren vorhandenes Wissen, erkennen Muster, vervollständigen Lücken und erzählen Dinge weiter, deren ursprüngliche Quelle wir längst vergessen haben. Beim Menschen nennen wir das je nach Situation Erfahrung, Bildung, Erinnerung oder Expertise. Beim LLM nennen wir es Nachplappern. Vielleicht ist das völlig berechtigt. Vielleicht aber auch nicht ganz. Die interessantere Frage könnte sein, ob LLMs uns gerade weniger dadurch irritieren, dass sie so menschlich geworden sind, sondern dadurch, dass einige ihrer vermeintlich typisch maschinellen Schwächen unangenehm menschlich aussehen. Das LLM halluziniert Einer der offensichtlichsten Vorwürfe lautet: LLMs halluzinieren. Sie erzeugen Antworten, die plausibel klingen, aber nicht stimmen. Mitunter tragen sie diese Antworten mit beeindruckender Sicherheit vor. Fragt man nach, bekommt man nicht zwingend einen Rückzieher. Manchmal bekommt man stattdessen eine noch ausführlichere Begründung dafür, warum die falsche Antwort richtig sein soll. Das ist ein reales Problem. Nur hatte ich irgendwann den Gedanken: Das LLM halluziniert. Der Mensch halluziniert und verteidigt es anschließend. Der Satz ist natürlich unfair. Vor allem gegenüber der Psychologie. „Halluzination“ ist dort etwas Spezifischeres. Wenn Menschen Ereignisse falsch erinnern, Quellen verwechseln oder Erinnerungslücken mit plausiblen Inhalten füllen, wären Begriffe wie falsche Erinnerung, Quellenfehler oder Konfabulation häufig treffender. Aber als bewusst unscharfe Beschreibung eines beobachtbaren Phänomens gefällt mir der Satz trotzdem: Jemand wird gefragt, erzeugt aus dem, was verfügbar ist, eine plausible Antwort – und diese Antwort muss nicht stimmen. Menschliche Erinnerung liefert dafür zumindest genügend Anlass zur Demut. Das sogenannte Source Monitoring Framework beschreibt Erinnerung nicht als Dateiablage mit zuverlässig gespeichertem Herkunftsetikett. Die Zuordnung, woher eine Information stammt – selbst erlebt, gehört, gelesen, gedacht –, ist selbst ein Urteilsprozess. Und dieser kann fehlschlagen. Menschen können Vertrautheit einer falschen Quelle zuschreiben, Vorgestelltes mit Erlebtem verwechseln oder nicht mehr wissen, woher eine Information überhaupt stammt. Das bedeutet nicht, dass ein Gehirn Informationen so erzeugt wie ein Transformer. Es bedeutet nur: Auch beim Menschen kommt ein Gedanke nicht mit eingebautem Herkunftsnachweis. Da steht nicht: Quelle: eigene Beobachtung vom 14. März 2022 – 96 % zuverlässig Oder: Quelle: irgendein Podcast vor drei Jahren – Sprecher unbekannt – vermutlich nur halb zugehört Der Gedanke ist einfach da. Und dieses „Der Gedanke ist da“ interpretieren wir erstaunlich schnell als: Ich weiß das. Aber ich weiß doch, warum ich das denke Hier wird es noch unangenehmer. Wir gehen nicht nur davon aus, dass wir wissen, was wir wissen. Wir gehen häufig auch davon aus, dass wir wissen, warum wir etwas denken oder entschieden haben. Auch das ist nicht selbstverständlich. Ein besonders schönes Experiment dazu stammt aus der Forschung zur sogenannten Choice Blindness. Versuchspersonen sollten beispielsweise zwischen zwei Gesichtern wählen. Anschließend wurde ihnen in manchen Fällen unbemerkt nicht das gewählte, sondern das abgelehnte Gesicht als ihre Wahl präsentiert. Ein Teil der Probanden bemerkte den Austausch nicht – und konnte anschließend Gründe dafür nennen, warum er genau dieses Gesicht gewählt habe. Das ist bemerkenswert. Nicht weil damit bewiesen wäre, dass Menschen ständig nachträglich irgendwelchen Unsinn erfinden. Sondern weil es zeigt, wie vorsichtig wir mit einer unserer liebsten Annahmen sein sollten: Wenn ich eine Erklärung für mein eigenes Denken geben kann, muss diese Erklärung die Ursache meines Denkens gewesen sein. Vielleicht ist sie das. Vielleicht ist sie aber auch eine plausible Rekonstruktion. Und damit sind wir plötzlich wieder erstaunlich nah an einem Verhalten, das wir bei LLMs sofort als verdächtig erkennen. Das Modell gibt eine Antwort. Wir fragen: „Warum?“ Und es liefert eine plausible Begründung. Beim LLM sind wir zurecht misstrauisch: Die Tatsache, dass es eine gute Erklärung erzeugen kann, beweist nicht, dass genau diese Erklärung kausal zu seiner ursprünglichen Antwort geführt hat. Beim Menschen neigen wir dagegen dazu, die nachträgliche Erklärung für privilegierten Zugang zum eigenen Denken zu halten. Vielleicht sollten wir mit beiden etwas skeptischer umgehen. Der Mensch kann seine Halluzination bewohnen Bis hierher könnte man meinen, ich wolle Mensch und LLM gleichsetzen. Das möchte ich nicht. Denn spätestens jetzt entsteht ein gewaltiger Unterschied. Wenn ein klassisches LLM eine falsche Antwort erzeugt, ist zunächst genau das passiert: Es hat eine falsche Antwort erzeugt. Wenn ich eine falsche Erinnerung erzeuge, kann daraus etwas ganz anderes werden. Nehmen wir an, ich bin überzeugt, dass Peter auf einer Party einen abfälligen Satz über mich gesagt hat. Vielleicht hat er ihn gesagt. Vielleicht war es jemand anderes. Vielleicht war der Satz anders gemeint. Vielleicht erinnere ich mich schlicht falsch. Für mein weiteres Leben ist entscheidend, dass ich ihn für wahr halte. Beim nächsten Treffen bin ich distanzierter. Peters Reaktion darauf erscheint mir kühl. Das passt wiederum zu meiner Erinnerung. Später erzähle ich meiner Frau davon. Nach einigen Monaten besteht meine Geschichte vielleicht nicht mehr nur aus dem ursprünglichen Satz, sondern aus einem ganzen Netz von Beobachtungen, Interpretationen und Reaktionen. Die falsche Rekonstruktion wäre dann nicht einfach eine fehlerhafte Ausgabe gewesen. Sie wäre Bestandteil meines Weltmodells geworden. Der Mensch halluziniert nicht nur. Er kann seine Halluzination anschließend bewohnen. Und genau deshalb halte ich den Unterschied zwischen Mensch und LLM weiterhin für fundamental. Nur liegt er vielleicht an einer anderen Stelle, als die Papageien-Metapher nahelegt. Warum aber gerade dieser Gedanke? An diesem Punkt hatte ich beim Nachdenken über das Thema ein Gefühl, für das mir zunächst das Wissen fehlte. Priming. Irgendetwas daran schien hier hineinzupassen. Nicht im populärpsychologischen Sinn einer geheimen Manipulation, bei der ich jemandem drei Wörter zeige und ihn anschließend fernsteuere. Das brauche ich für diese Überlegung überhaupt nicht. Die kleinere Variante reicht. Beim semantischen Priming lässt sich seit klassischen Experimenten beobachten, dass vorhergehende, inhaltlich verwandte Reize die anschließende Verarbeitung beeinflussen können. In einem bekannten frühen Experiment wurden zusammengehörende Wörter schneller erkannt als entsprechend unverwandte Kombinationen. Der wichtige Punkt daran ist für mich nicht irgendein spektakulärer Unterbewusstseins-Hack. Es ist etwas viel Alltäglicheres: Was vorher passiert ist, verändert, was anschließend leicht zugänglich ist. Wenn wir zehn Minuten über Afrika gesprochen haben und ich dich anschließend frage, welche gefährlichen Tiere dir einfallen, könnte deine Antwort anders aussehen, als wenn wir vorher über Australien gesprochen hätten. Dein gesamtes Wissen über Tiere hat sich nicht verändert. Aber du antwortest nicht aus einem neutralen Zustand. Du antwortest aus einem Kontext. Und genau hier entsteht eine funktionale Ähnlichkeit zu LLMs, die ich ausgesprochen interessant finde. Nicht weil Gehirn und Transformer gleich funktionieren. Sondern weil für beide gilt: Vorheriger Kontext beeinflusst, was danach wahrscheinlich wird. Bei Sprachmodellen ist das offensichtlich. Genau dafür schreiben wir schließlich Prompts. Interessanterweise lassen sich bei Sprachmodellen sogar spezifische primingartige sprachliche Effekte experimentell beobachten. Untersuchungen zum strukturellen Priming zeigen beispielsweise, dass die vorherige Präsentation einer Satzstruktur beeinflussen kann, wie wahrscheinlich Modelle anschließend ähnliche Strukturen verwenden. Neuere Arbeiten untersuchen ausdrücklich, inwieweit diese Effekte bekannten Mustern beim Menschen ähneln. Das beweist nicht, dass Mensch und Modell denselben inneren Prozess besitzen. Aber es erlaubt eine Formulierung, die mir seitdem nicht mehr aus dem Kopf geht: Das LLM wird gepromptet. Der Mensch wird geprimt. Beides ist nicht dasselbe. Aber vielleicht nehmen wir bei beiden zu selten ernst, wie sehr eine Antwort davon abhängt, was unmittelbar davor passiert ist. „Das weiß man doch“ Damit bekommt ein Satz, den man in Diskussionen ziemlich häufig hört, für mich plötzlich einen anderen Klang: „Das weiß man doch.“ Woher? Manchmal gibt es darauf eine gute Antwort. Ausbildung. Erfahrung. Eine überprüfbare Quelle. Eigene Beobachtung. Manchmal lautet die tatsächliche Antwort aber vielleicht eher: „Das habe ich schon oft gehört.“ Und auch das ist psychologisch interessant. Beim Illusory Truth Effect zeigt sich, dass wiederholte Aussagen später tendenziell als wahrer beurteilt werden als neue Aussagen. Besonders unangenehm: In Experimenten konnte dieser Effekt sogar auftreten, wenn Menschen über Wissen verfügten, mit dem sie die betreffende Behauptung eigentlich hätten beurteilen können. Eine Erklärung ist, dass Wiederholung die Verarbeitung erleichtert und sich diese Vertrautheit als Hinweis auf Wahrheit bemerkbar machen kann. Das muss man sich einmal auf der Zunge zergehen lassen. Ich habe etwas schon einmal gehört. Deshalb fühlt es sich vertraut an. Weil es sich vertraut anfühlt, erscheint es mir plausibler. Und dann sage ich: „Das weiß ich.“ Das ist kein Beweis dafür, dass menschliche Überzeugungen grundsätzlich wertlos wären. Es ist nur ein weiteres Loch in der romantischen Vorstellung, unser Bewusstsein würde jeden Gedanken erst sorgfältig prüfen, seine Herkunft feststellen, ihn mit sämtlichem vorhandenen Wissen abgleichen und anschließend rational über seine Wahrheit entscheiden. So ordentlich scheint es nicht immer zuzugehen. Und jetzt kommt das Ego Bis hierhin fehlt allerdings etwas Entscheidendes. Denn nehmen wir für einen Moment an, Mensch und LLM hätten jeweils eine plausible, aber falsche Antwort erzeugt. Dann passiert beim Menschen etwas, das für unsere Betrachtung enorm wichtig ist: Die Antwort gehört plötzlich jemandem. Mir. Ich habe sie gesagt. Vielleicht sogar laut. Vielleicht vor Kollegen. Vielleicht in einem Fachgebiet, in dem ich als kompetent gelten möchte. Vielleicht habe ich einen anderen Menschen gerade wegen der gegenteiligen Meinung kritisiert. Vielleicht hängt an meiner Antwort eine Entscheidung, die ich gestern getroffen habe. Vielleicht gehört diese Meinung zu meinem politischen Lager, meiner Berufsgruppe oder meinem Selbstverständnis. Der Wahrheitsgehalt ist jetzt nicht mehr das Einzige, was auf dem Spiel steht. Die Frage lautet nicht mehr nur: Ist das richtig? Sondern möglicherweise gleichzeitig: Was bedeutet es für mich, wenn es falsch ist? Und an dieser Stelle kommt meine zunächst viel zu grobe These wieder zurück: Dem LLM fehlen Ego und Absicht. Natürlich fehlen einem LLM noch sehr viel mehr Dinge, wenn wir es mit einem Menschen vergleichen: Körper, Biografie, Bedürfnisse, Sterblichkeit, soziale Einbettung, kontinuierliche Erfahrung und möglicherweise all das, was wir unter subjektivem Erleben verstehen. Darum geht es hier aber gar nicht. Ich will nicht Mensch und Maschine insgesamt vergleichen. Mich interessiert nur dieser winzige Ausschnitt: Wie entsteht eine plausible Antwort – und was passiert, wenn sie falsch ist? Und dort scheint mir Ego plötzlich bemerkenswert wichtig. Ein LLM kann eine Position verteidigen. Man kann es sogar so prompten, dass es das äußerst hartnäckig tut. Aber die Position bedroht nichts, das ihm gehört. Es verliert nicht sein Gesicht. Es muss morgen keinem Kollegen begegnen. Es hat nicht seit zwanzig Jahren den Ruf, genau auf diesem Gebiet Experte zu sein. Es muss sich nicht eingestehen, dass der nervige Typ aus der Nachbarabteilung vielleicht doch recht hatte. Der Mensch dagegen kann gute Gründe haben, eine Aussage nicht einfach loszulassen. Nicht unbedingt bewusste Gründe. Und hier tritt zur Frage des Egos noch die Absicht. Menschen reden nicht nur, um den wahrscheinlich passenden nächsten Satz zu produzieren. Wir wollen etwas. Überzeugen. Dazugehören. Beeindrucken. Provozieren. Beruhigen. Recht behalten. Status sichern. Einen Konflikt vermeiden. Uns selbst weiterhin für den Menschen halten, für den wir uns bisher gehalten haben. Damit verändert sich der Umgang mit der falschen Antwort noch einmal grundlegend. Vielleicht müsste der Satz deshalb eigentlich lauten: Das LLM halluziniert. Der Mensch halluziniert – und kann anschließend Gründe entwickeln, warum genau diese Halluzination wahr sein muss. Vielleicht ist der Papagei gar nicht das Problem Und damit bin ich wieder am Anfang. Beim stochastischen Papagei. Die Metapher soll eine Grenze ziehen. Hier der Mensch: verstehend, denkend, reflektiert. Dort die Maschine: Muster, Statistik, Rekombination. Vielleicht existiert diese Grenze. Wahrscheinlich existieren sogar viele davon. Aber je länger ich LLMs benutze und je länger ich Menschen beobachte, desto weniger überzeugt mich die Vorstellung, dass die interessanten Grenzen immer dort verlaufen, wo wir sie intuitiv ziehen. Menschen rekonstruieren. Menschen verwechseln Quellen. Menschen lassen sich von vorherigem Kontext beeinflussen. Menschen halten Wiederholtes leichter für wahr. Menschen können Erklärungen für Entscheidungen produzieren, deren tatsächlicher Entstehung sie offenbar weniger transparent gegenüberstehen, als sie selbst vermuten. Nichts davon macht Menschen zu Sprachmodellen. Aber es macht den Satz „Das LLM kombiniert doch nur Muster“ zu einer weniger vernichtenden Beschreibung menschlicher Einzigartigkeit, als sein Sprecher vielleicht beabsichtigt. Denn sofort stellt sich die Gegenfrage: Wie viel unseres alltäglichen Denkens würde einer ebenso gnadenlosen Betrachtung standhalten? Vielleicht liegt die eigentliche Zumutung von LLMs deshalb gar nicht darin, dass Maschinen plötzlich so menschlich wirken. Vielleicht liegt sie darin, dass sie sichtbar machen, wie viel von dem, was wir für besonders anspruchsvolles menschliches Denken gehalten haben, offenbar aus Mustererkennung, Kontext, Rekonstruktion und Wahrscheinlichkeiten entstehen kann. Und vielleicht erklären Ego und Absicht anschließend einen erheblichen Teil dessen, was wir daraus machen. Das wäre keine Aufwertung der Maschine zum Menschen. Es wäre eher eine kleine Kränkung unseres Selbstbildes. Der stochastische Papagei ist möglicherweise weniger eine Beschreibung der Maschine als ein Spiegel, in den der Mensch nicht besonders gern schaut. --- Wie dieser Text entstanden ist Dieser Text begann nicht mit Priming, Source Monitoring oder einem psychologischen Paper. Er begann mit einer Beobachtung. In Gesprächen über KI begegnet mir immer wieder der Vorwurf, LLMs seien letztlich nur Papageien: Systeme, die wiedergeben, was andere vor ihnen gesagt haben, und dabei ihre eigenen Fähigkeiten gewaltig überschätzen – wenn man bei einer Maschine überhaupt von Überschätzung sprechen möchte. Mein erster Impuls war ziemlich unfreundlich: Das beschreibt auch erstaunlich viele Menschen. Daraus entstand im Dialog zunächst die Frage nach Halluzinationen. Dann der Satz: Das LLM halluziniert. Der Mensch halluziniert und verteidigt es anschließend. Darauf folgte die Vermutung, dass Ego und Absicht vielleicht entscheidender sind, als ich zunächst dachte. Und erst danach tauchte dieses Wort auf: Priming. Nicht als Wissen, sondern als Gefühl. Als Verdacht, dass der vorherige Kontext für die ganze Überlegung wichtiger sein könnte. Die Recherche kam also erst hinterher. Nicht um Belege für eine fertige These zusammenzusuchen, sondern um herauszufinden, ob an diesem Gefühl überhaupt etwas dran ist – und an welcher Stelle die Analogie zu weit geht. Das Ergebnis ist deshalb keine Theorie darüber, dass Menschen und LLMs im Grunde gleich funktionieren. Im Gegenteil. Je genauer man hinsieht, desto mehr Unterschiede findet man. Aber man findet eben auch Ähnlichkeiten an Stellen, an denen wir sie vielleicht lieber nicht hätten. Und genau diese Ähnlichkeiten interessieren mich. Und wie immer: Dieser Artikel ist nicht am Schreibtisch entstanden, er entstand in einem langen Dialog mit einer KI. Quellen und weiterführende Literatur Johnson, M. K., Hashtroudi, S. & Lindsay, D. S. (1993): Source Monitoring. Psychological Bulletin. Meyer, D. E. & Schvaneveldt, R. W. (1971): Facilitation in recognizing pairs of words: Evidence of a dependence between retrieval operations. Journal of Experimental Psychology. Johansson, P., Hall, L., Sikström, S. & Olsson, A. (2005): Failure to detect mismatches between intention and outcome in a simple decision task. Science. Fazio, L. K., Brashier, N. M., Payne, B. K. & Marsh, E. J. (2015): Knowledge does not protect against illusory truth. Journal of Experimental Psychology: General. Sinclair, A., Jumelet, J., Zuidema, W. & Fernández, R. (2022): Structural Persistence in Language Models: Priming as a Window into Abstract Language Representations. Transactions of the Association for Computational Linguistics. Jumelet, J., Zuidema, W. & Sinclair, A. (2024): Do Language Models Exhibit Human-like Structural Priming Effects? Findings of ACL. ]]> Was uns die Fehler von LLMs vielleicht über unser eigenes Denken erzählen

Ich habe ein Problem mit dem stochastischen Papagei.

Nicht mit dem Begriff selbst. Sondern mit der Selbstverständlichkeit, mit der er in Diskussionen über KI gern als Schlussstrich verwendet wird.

Ein Large Language Model, so geht die Erzählung, denke schließlich nicht wirklich. Es gebe nur wieder, was es irgendwann gesehen habe. Es erkenne Muster, setze Bekanntes neu zusammen und produziere im Zweifel eine plausibel klingende Antwort, obwohl es die richtige nicht kennt.

Papagei eben.

Was mich daran stört, ist weniger die Kritik am LLM. Vieles davon ist schließlich richtig. Mich stört der Maßstab.

Denn jedes Mal, wenn ich diesen Vorwurf höre, frage ich mich inzwischen: Beschreiben wir da wirklich nur die Maschine?

Menschen verbringen einen erstaunlichen Teil ihres kommunikativen Lebens damit, Dinge wiederzugeben, die sie irgendwo gelesen, gehört oder von anderen übernommen haben. Wir kombinieren vorhandenes Wissen, erkennen Muster, vervollständigen Lücken und erzählen Dinge weiter, deren ursprüngliche Quelle wir längst vergessen haben.

Beim Menschen nennen wir das je nach Situation Erfahrung, Bildung, Erinnerung oder Expertise.

Beim LLM nennen wir es Nachplappern.

Vielleicht ist das völlig berechtigt. Vielleicht aber auch nicht ganz.

Die interessantere Frage könnte sein, ob LLMs uns gerade weniger dadurch irritieren, dass sie so menschlich geworden sind, sondern dadurch, dass einige ihrer vermeintlich typisch maschinellen Schwächen unangenehm menschlich aussehen.

Das LLM halluziniert

Einer der offensichtlichsten Vorwürfe lautet: LLMs halluzinieren.

Sie erzeugen Antworten, die plausibel klingen, aber nicht stimmen. Mitunter tragen sie diese Antworten mit beeindruckender Sicherheit vor. Fragt man nach, bekommt man nicht zwingend einen Rückzieher. Manchmal bekommt man stattdessen eine noch ausführlichere Begründung dafür, warum die falsche Antwort richtig sein soll.

Das ist ein reales Problem.

Nur hatte ich irgendwann den Gedanken:

Das LLM halluziniert. Der Mensch halluziniert und verteidigt es anschließend.

Der Satz ist natürlich unfair.

Vor allem gegenüber der Psychologie. „Halluzination“ ist dort etwas Spezifischeres. Wenn Menschen Ereignisse falsch erinnern, Quellen verwechseln oder Erinnerungslücken mit plausiblen Inhalten füllen, wären Begriffe wie falsche Erinnerung, Quellenfehler oder Konfabulation häufig treffender.

Aber als bewusst unscharfe Beschreibung eines beobachtbaren Phänomens gefällt mir der Satz trotzdem: Jemand wird gefragt, erzeugt aus dem, was verfügbar ist, eine plausible Antwort – und diese Antwort muss nicht stimmen.

Menschliche Erinnerung liefert dafür zumindest genügend Anlass zur Demut.

Das sogenannte Source Monitoring Framework beschreibt Erinnerung nicht als Dateiablage mit zuverlässig gespeichertem Herkunftsetikett. Die Zuordnung, woher eine Information stammt – selbst erlebt, gehört, gelesen, gedacht –, ist selbst ein Urteilsprozess. Und dieser kann fehlschlagen. Menschen können Vertrautheit einer falschen Quelle zuschreiben, Vorgestelltes mit Erlebtem verwechseln oder nicht mehr wissen, woher eine Information überhaupt stammt.

Das bedeutet nicht, dass ein Gehirn Informationen so erzeugt wie ein Transformer.

Es bedeutet nur: Auch beim Menschen kommt ein Gedanke nicht mit eingebautem Herkunftsnachweis.

Da steht nicht:

Quelle: eigene Beobachtung vom 14. März 2022 – 96 % zuverlässig

Oder:

Quelle: irgendein Podcast vor drei Jahren – Sprecher unbekannt – vermutlich nur halb zugehört

Der Gedanke ist einfach da.

Und dieses „Der Gedanke ist da“ interpretieren wir erstaunlich schnell als:

Ich weiß das.

Aber ich weiß doch, warum ich das denke

Hier wird es noch unangenehmer.

Wir gehen nicht nur davon aus, dass wir wissen, was wir wissen. Wir gehen häufig auch davon aus, dass wir wissen, warum wir etwas denken oder entschieden haben.

Auch das ist nicht selbstverständlich.

Ein besonders schönes Experiment dazu stammt aus der Forschung zur sogenannten Choice Blindness. Versuchspersonen sollten beispielsweise zwischen zwei Gesichtern wählen. Anschließend wurde ihnen in manchen Fällen unbemerkt nicht das gewählte, sondern das abgelehnte Gesicht als ihre Wahl präsentiert. Ein Teil der Probanden bemerkte den Austausch nicht – und konnte anschließend Gründe dafür nennen, warum er genau dieses Gesicht gewählt habe.

Das ist bemerkenswert.

Nicht weil damit bewiesen wäre, dass Menschen ständig nachträglich irgendwelchen Unsinn erfinden.

Sondern weil es zeigt, wie vorsichtig wir mit einer unserer liebsten Annahmen sein sollten:

Wenn ich eine Erklärung für mein eigenes Denken geben kann, muss diese Erklärung die Ursache meines Denkens gewesen sein.

Vielleicht ist sie das.

Vielleicht ist sie aber auch eine plausible Rekonstruktion.

Und damit sind wir plötzlich wieder erstaunlich nah an einem Verhalten, das wir bei LLMs sofort als verdächtig erkennen.

Das Modell gibt eine Antwort.

Wir fragen:

„Warum?“

Und es liefert eine plausible Begründung.

Beim LLM sind wir zurecht misstrauisch: Die Tatsache, dass es eine gute Erklärung erzeugen kann, beweist nicht, dass genau diese Erklärung kausal zu seiner ursprünglichen Antwort geführt hat.

Beim Menschen neigen wir dagegen dazu, die nachträgliche Erklärung für privilegierten Zugang zum eigenen Denken zu halten.

Vielleicht sollten wir mit beiden etwas skeptischer umgehen.

Der Mensch kann seine Halluzination bewohnen

Bis hierher könnte man meinen, ich wolle Mensch und LLM gleichsetzen.

Das möchte ich nicht.

Denn spätestens jetzt entsteht ein gewaltiger Unterschied.

Wenn ein klassisches LLM eine falsche Antwort erzeugt, ist zunächst genau das passiert: Es hat eine falsche Antwort erzeugt.

Wenn ich eine falsche Erinnerung erzeuge, kann daraus etwas ganz anderes werden.

Nehmen wir an, ich bin überzeugt, dass Peter auf einer Party einen abfälligen Satz über mich gesagt hat.

Vielleicht hat er ihn gesagt.

Vielleicht war es jemand anderes.

Vielleicht war der Satz anders gemeint.

Vielleicht erinnere ich mich schlicht falsch.

Für mein weiteres Leben ist entscheidend, dass ich ihn für wahr halte.

Beim nächsten Treffen bin ich distanzierter.

Peters Reaktion darauf erscheint mir kühl.

Das passt wiederum zu meiner Erinnerung.

Später erzähle ich meiner Frau davon.

Nach einigen Monaten besteht meine Geschichte vielleicht nicht mehr nur aus dem ursprünglichen Satz, sondern aus einem ganzen Netz von Beobachtungen, Interpretationen und Reaktionen.

Die falsche Rekonstruktion wäre dann nicht einfach eine fehlerhafte Ausgabe gewesen.

Sie wäre Bestandteil meines Weltmodells geworden.

Der Mensch halluziniert nicht nur. Er kann seine Halluzination anschließend bewohnen.

Und genau deshalb halte ich den Unterschied zwischen Mensch und LLM weiterhin für fundamental.

Nur liegt er vielleicht an einer anderen Stelle, als die Papageien-Metapher nahelegt.

Warum aber gerade dieser Gedanke?

An diesem Punkt hatte ich beim Nachdenken über das Thema ein Gefühl, für das mir zunächst das Wissen fehlte.

Priming.

Irgendetwas daran schien hier hineinzupassen.

Nicht im populärpsychologischen Sinn einer geheimen Manipulation, bei der ich jemandem drei Wörter zeige und ihn anschließend fernsteuere. Das brauche ich für diese Überlegung überhaupt nicht.

Die kleinere Variante reicht.

Beim semantischen Priming lässt sich seit klassischen Experimenten beobachten, dass vorhergehende, inhaltlich verwandte Reize die anschließende Verarbeitung beeinflussen können. In einem bekannten frühen Experiment wurden zusammengehörende Wörter schneller erkannt als entsprechend unverwandte Kombinationen.

Der wichtige Punkt daran ist für mich nicht irgendein spektakulärer Unterbewusstseins-Hack.

Es ist etwas viel Alltäglicheres:

Was vorher passiert ist, verändert, was anschließend leicht zugänglich ist.

Wenn wir zehn Minuten über Afrika gesprochen haben und ich dich anschließend frage, welche gefährlichen Tiere dir einfallen, könnte deine Antwort anders aussehen, als wenn wir vorher über Australien gesprochen hätten.

Dein gesamtes Wissen über Tiere hat sich nicht verändert.

Aber du antwortest nicht aus einem neutralen Zustand.

Du antwortest aus einem Kontext.

Und genau hier entsteht eine funktionale Ähnlichkeit zu LLMs, die ich ausgesprochen interessant finde.

Nicht weil Gehirn und Transformer gleich funktionieren.

Sondern weil für beide gilt:

Vorheriger Kontext beeinflusst, was danach wahrscheinlich wird.

Bei Sprachmodellen ist das offensichtlich. Genau dafür schreiben wir schließlich Prompts.

Interessanterweise lassen sich bei Sprachmodellen sogar spezifische primingartige sprachliche Effekte experimentell beobachten. Untersuchungen zum strukturellen Priming zeigen beispielsweise, dass die vorherige Präsentation einer Satzstruktur beeinflussen kann, wie wahrscheinlich Modelle anschließend ähnliche Strukturen verwenden. Neuere Arbeiten untersuchen ausdrücklich, inwieweit diese Effekte bekannten Mustern beim Menschen ähneln.

Das beweist nicht, dass Mensch und Modell denselben inneren Prozess besitzen.

Aber es erlaubt eine Formulierung, die mir seitdem nicht mehr aus dem Kopf geht:

Das LLM wird gepromptet. Der Mensch wird geprimt.

Beides ist nicht dasselbe.

Aber vielleicht nehmen wir bei beiden zu selten ernst, wie sehr eine Antwort davon abhängt, was unmittelbar davor passiert ist.

„Das weiß man doch“

Damit bekommt ein Satz, den man in Diskussionen ziemlich häufig hört, für mich plötzlich einen anderen Klang:

„Das weiß man doch.“

Woher?

Manchmal gibt es darauf eine gute Antwort. Ausbildung. Erfahrung. Eine überprüfbare Quelle. Eigene Beobachtung.

Manchmal lautet die tatsächliche Antwort aber vielleicht eher:

„Das habe ich schon oft gehört.“

Und auch das ist psychologisch interessant.

Beim Illusory Truth Effect zeigt sich, dass wiederholte Aussagen später tendenziell als wahrer beurteilt werden als neue Aussagen. Besonders unangenehm: In Experimenten konnte dieser Effekt sogar auftreten, wenn Menschen über Wissen verfügten, mit dem sie die betreffende Behauptung eigentlich hätten beurteilen können. Eine Erklärung ist, dass Wiederholung die Verarbeitung erleichtert und sich diese Vertrautheit als Hinweis auf Wahrheit bemerkbar machen kann.

Das muss man sich einmal auf der Zunge zergehen lassen.

Ich habe etwas schon einmal gehört.

Deshalb fühlt es sich vertraut an.

Weil es sich vertraut anfühlt, erscheint es mir plausibler.

Und dann sage ich:

„Das weiß ich.“

Das ist kein Beweis dafür, dass menschliche Überzeugungen grundsätzlich wertlos wären.

Es ist nur ein weiteres Loch in der romantischen Vorstellung, unser Bewusstsein würde jeden Gedanken erst sorgfältig prüfen, seine Herkunft feststellen, ihn mit sämtlichem vorhandenen Wissen abgleichen und anschließend rational über seine Wahrheit entscheiden.

So ordentlich scheint es nicht immer zuzugehen.

Und jetzt kommt das Ego

Bis hierhin fehlt allerdings etwas Entscheidendes.

Denn nehmen wir für einen Moment an, Mensch und LLM hätten jeweils eine plausible, aber falsche Antwort erzeugt.

Dann passiert beim Menschen etwas, das für unsere Betrachtung enorm wichtig ist:

Die Antwort gehört plötzlich jemandem.

Mir.

Ich habe sie gesagt.

Vielleicht sogar laut.

Vielleicht vor Kollegen.

Vielleicht in einem Fachgebiet, in dem ich als kompetent gelten möchte.

Vielleicht habe ich einen anderen Menschen gerade wegen der gegenteiligen Meinung kritisiert.

Vielleicht hängt an meiner Antwort eine Entscheidung, die ich gestern getroffen habe.

Vielleicht gehört diese Meinung zu meinem politischen Lager, meiner Berufsgruppe oder meinem Selbstverständnis.

Der Wahrheitsgehalt ist jetzt nicht mehr das Einzige, was auf dem Spiel steht.

Die Frage lautet nicht mehr nur:

Ist das richtig?

Sondern möglicherweise gleichzeitig:

Was bedeutet es für mich, wenn es falsch ist?

Und an dieser Stelle kommt meine zunächst viel zu grobe These wieder zurück:

Dem LLM fehlen Ego und Absicht.

Natürlich fehlen einem LLM noch sehr viel mehr Dinge, wenn wir es mit einem Menschen vergleichen: Körper, Biografie, Bedürfnisse, Sterblichkeit, soziale Einbettung, kontinuierliche Erfahrung und möglicherweise all das, was wir unter subjektivem Erleben verstehen.

Darum geht es hier aber gar nicht.

Ich will nicht Mensch und Maschine insgesamt vergleichen.

Mich interessiert nur dieser winzige Ausschnitt:

Wie entsteht eine plausible Antwort – und was passiert, wenn sie falsch ist?

Und dort scheint mir Ego plötzlich bemerkenswert wichtig.

Ein LLM kann eine Position verteidigen. Man kann es sogar so prompten, dass es das äußerst hartnäckig tut.

Aber die Position bedroht nichts, das ihm gehört.

Es verliert nicht sein Gesicht.

Es muss morgen keinem Kollegen begegnen.

Es hat nicht seit zwanzig Jahren den Ruf, genau auf diesem Gebiet Experte zu sein.

Es muss sich nicht eingestehen, dass der nervige Typ aus der Nachbarabteilung vielleicht doch recht hatte.

Der Mensch dagegen kann gute Gründe haben, eine Aussage nicht einfach loszulassen.

Nicht unbedingt bewusste Gründe.

Und hier tritt zur Frage des Egos noch die Absicht.

Menschen reden nicht nur, um den wahrscheinlich passenden nächsten Satz zu produzieren.

Wir wollen etwas.

Überzeugen.

Dazugehören.

Beeindrucken.

Provozieren.

Beruhigen.

Recht behalten.

Status sichern.

Einen Konflikt vermeiden.

Uns selbst weiterhin für den Menschen halten, für den wir uns bisher gehalten haben.

Damit verändert sich der Umgang mit der falschen Antwort noch einmal grundlegend.

Vielleicht müsste der Satz deshalb eigentlich lauten:

Das LLM halluziniert. Der Mensch halluziniert – und kann anschließend Gründe entwickeln, warum genau diese Halluzination wahr sein muss.

Vielleicht ist der Papagei gar nicht das Problem

Und damit bin ich wieder am Anfang.

Beim stochastischen Papagei.

Die Metapher soll eine Grenze ziehen.

Hier der Mensch: verstehend, denkend, reflektiert.

Dort die Maschine: Muster, Statistik, Rekombination.

Vielleicht existiert diese Grenze.

Wahrscheinlich existieren sogar viele davon.

Aber je länger ich LLMs benutze und je länger ich Menschen beobachte, desto weniger überzeugt mich die Vorstellung, dass die interessanten Grenzen immer dort verlaufen, wo wir sie intuitiv ziehen.

Menschen rekonstruieren.

Menschen verwechseln Quellen.

Menschen lassen sich von vorherigem Kontext beeinflussen.

Menschen halten Wiederholtes leichter für wahr.

Menschen können Erklärungen für Entscheidungen produzieren, deren tatsächlicher Entstehung sie offenbar weniger transparent gegenüberstehen, als sie selbst vermuten.

Nichts davon macht Menschen zu Sprachmodellen.

Aber es macht den Satz „Das LLM kombiniert doch nur Muster“ zu einer weniger vernichtenden Beschreibung menschlicher Einzigartigkeit, als sein Sprecher vielleicht beabsichtigt.

Denn sofort stellt sich die Gegenfrage:

Wie viel unseres alltäglichen Denkens würde einer ebenso gnadenlosen Betrachtung standhalten?

Vielleicht liegt die eigentliche Zumutung von LLMs deshalb gar nicht darin, dass Maschinen plötzlich so menschlich wirken.

Vielleicht liegt sie darin, dass sie sichtbar machen, wie viel von dem, was wir für besonders anspruchsvolles menschliches Denken gehalten haben, offenbar aus Mustererkennung, Kontext, Rekonstruktion und Wahrscheinlichkeiten entstehen kann.

Und vielleicht erklären Ego und Absicht anschließend einen erheblichen Teil dessen, was wir daraus machen.

Das wäre keine Aufwertung der Maschine zum Menschen.

Es wäre eher eine kleine Kränkung unseres Selbstbildes.

Der stochastische Papagei ist möglicherweise weniger eine Beschreibung der Maschine als ein Spiegel, in den der Mensch nicht besonders gern schaut.

Wie dieser Text entstanden ist

Dieser Text begann nicht mit Priming, Source Monitoring oder einem psychologischen Paper.

Er begann mit einer Beobachtung.

In Gesprächen über KI begegnet mir immer wieder der Vorwurf, LLMs seien letztlich nur Papageien: Systeme, die wiedergeben, was andere vor ihnen gesagt haben, und dabei ihre eigenen Fähigkeiten gewaltig überschätzen – wenn man bei einer Maschine überhaupt von Überschätzung sprechen möchte.

Mein erster Impuls war ziemlich unfreundlich:

Das beschreibt auch erstaunlich viele Menschen.

Daraus entstand im Dialog zunächst die Frage nach Halluzinationen. Dann der Satz:

Das LLM halluziniert. Der Mensch halluziniert und verteidigt es anschließend.

Darauf folgte die Vermutung, dass Ego und Absicht vielleicht entscheidender sind, als ich zunächst dachte.

Und erst danach tauchte dieses Wort auf: Priming.

Nicht als Wissen, sondern als Gefühl. Als Verdacht, dass der vorherige Kontext für die ganze Überlegung wichtiger sein könnte.

Die Recherche kam also erst hinterher.

Nicht um Belege für eine fertige These zusammenzusuchen, sondern um herauszufinden, ob an diesem Gefühl überhaupt etwas dran ist – und an welcher Stelle die Analogie zu weit geht.

Das Ergebnis ist deshalb keine Theorie darüber, dass Menschen und LLMs im Grunde gleich funktionieren.

Im Gegenteil.

Je genauer man hinsieht, desto mehr Unterschiede findet man.

Aber man findet eben auch Ähnlichkeiten an Stellen, an denen wir sie vielleicht lieber nicht hätten.

Und genau diese Ähnlichkeiten interessieren mich.

Und wie immer: Dieser Artikel ist nicht am Schreibtisch entstanden, er entstand in einem langen Dialog mit einer KI.

Quellen und weiterführende Literatur

  • Johnson, M. K., Hashtroudi, S. & Lindsay, D. S. (1993): Source Monitoring. Psychological Bulletin.
  • Meyer, D. E. & Schvaneveldt, R. W. (1971): Facilitation in recognizing pairs of words: Evidence of a dependence between retrieval operations. Journal of Experimental Psychology.
  • Johansson, P., Hall, L., Sikström, S. & Olsson, A. (2005): Failure to detect mismatches between intention and outcome in a simple decision task. Science.
  • Fazio, L. K., Brashier, N. M., Payne, B. K. & Marsh, E. J. (2015): Knowledge does not protect against illusory truth. Journal of Experimental Psychology: General.
  • Sinclair, A., Jumelet, J., Zuidema, W. & Fernández, R. (2022): Structural Persistence in Language Models: Priming as a Window into Abstract Language Representations. Transactions of the Association for Computational Linguistics.
  • Jumelet, J., Zuidema, W. & Sinclair, A. (2024): Do Language Models Exhibit Human-like Structural Priming Effects? Findings of ACL.
]]> https://ki-zeugs.de/der-papagei-im-spiegel Tue, 18 Aug 2026 15:04:28 +0000 Offenbaren Agenten einen Mangel – oder machen sie ein Grundbedürfnis sichtbar? https://ki-zeugs.de/offenbaren-agenten-einen-mangel-oder-machen-sie-ein-grundbeduerfnis-sichtbar <![CDATA[Warum mich diese Frage beschäftigt In den letzten Wochen fällt mir immer wieder dieselbe Beobachtung auf. Projekte wie OpenClaw, Hermes oder andere Agentensysteme lösen eine Resonanz aus, die weit über technische Begeisterung hinausgeht. Menschen sprechen nicht nur darüber, was diese Systeme können. Sie sprechen darüber, wie sie sich anfühlen. Sie geben ihnen Namen. Sie freuen sich, wenn sich der Agent an etwas erinnert. Sie integrieren ihn in ihren Alltag. Manche beschreiben ihn fast wie einen Kollegen, andere wie einen persönlichen Assistenten oder einen Gesprächspartner. Die naheliegende Erklärung wäre: Agenten ersetzen Menschen. Aber je länger ich darüber nachdenke, desto weniger überzeugt mich diese Antwort. Vielleicht ersetzen sie niemanden. Vielleicht zeigen sie uns vielmehr etwas über uns selbst. --- Wer wird hier eigentlich ersetzt? Zunächst drängen sich bekannte Vergleiche auf. Ist ein Agent ein digitaler Mitarbeiter? Ein Freund? Ein Haustier? Ein modernes Tamagotchi? Jeder Vergleich trifft einen Teil der Wahrheit – und scheitert gleichzeitig. Ein Mitarbeiter erledigt Aufgaben. Das tun Agenten ebenfalls. Ein Freund hört zu und erinnert sich. Auch das können Agenten in gewisser Weise simulieren. Ein Tamagotchi entwickelt durch Pflege und Aufmerksamkeit eine emotionale Bindung. Auch das passiert erstaunlich häufig mit personalisierten Agenten. Aber keiner dieser Vergleiche reicht aus. Denn Agenten sind etwas Eigenes. Sie sprechen wie Menschen, handeln wie Werkzeuge und bleiben trotzdem Software. --- Das eigentliche Phänomen ist nicht der Agent Während ich darüber nachdachte, verschob sich die Fragestellung. Vielleicht ist gar nicht der Agent das Interessante. Vielleicht ist die eigentliche Beobachtung unsere Reaktion auf ihn. Menschen projizieren seit jeher Eigenschaften auf Dinge. Wir schimpfen mit Druckern, bedanken uns bei Sprachassistenten oder geben Autos Namen. Agenten verstärken diesen Effekt. Sie reagieren. Sie erinnern sich. Sie entwickeln scheinbar Kontinuität. Sie handeln eigenständig. Dadurch entsteht etwas, das sich wie eine Beziehung anfühlt. Nicht weil tatsächlich eine menschliche Beziehung entstanden wäre. Sondern weil unser Gehirn beginnt, eine solche zu konstruieren. --- Warum Messenger dabei eine besondere Rolle spielen Technisch betrachtet müsste ein Agent nicht in Telegram oder Signal leben. Eine Weboberfläche wäre oft ausreichend. Trotzdem wünschen sich viele Nutzer genau diese Integration. Warum? Weil Messenger längst keine Anwendungen mehr sind. Sie sind soziale Räume. Dort schreiben Familie, Freunde, Kollegen und Bekannte. Wenn zwischen diesen Chats plötzlich ein Agent erscheint, verändert sich unbewusst seine Rolle. Er ist nicht mehr nur Software. Er wird zu einem weiteren Gesprächspartner. Nicht weil sich die Technik verändert hätte. Sondern weil sich der Kontext verändert. Der Agent zieht in einen Raum ein, den unser Gehirn bereits als sozialen Raum versteht. --- Digitale Bewohner statt Programme Vielleicht liegt darin die eigentliche Besonderheit moderner Agenten. Früher besaßen Programme ihren festen Platz. Man startete sie. Man schloss sie wieder. Agenten funktionieren anders. Sie begleiten uns über Geräte hinweg. Sie erscheinen auf Smartphone, Notebook oder Tablet. Sie leben in unseren Chats, unserem Kalender, unseren Dateien und unseren E-Mails. Nicht als Hardware wie ein Roboter. Nicht als eigenes Gerät wie ein Tamagotchi. Sondern als dauerhafte Präsenz innerhalb unserer digitalen Umgebung. Sie wirken weniger wie Anwendungen. Sie wirken wie Bewohner unserer digitalen Räume. --- Eine neue Art von Gegenüber Vielleicht erschüttern Agenten deshalb nicht unser Verständnis von künstlicher Intelligenz. Sondern unser Verständnis von Beziehung. Unsere bisherigen Kategorien waren erstaunlich stabil. Werkzeuge. Haustiere. Kollegen. Freunde. Agenten passen in keine dieser Schubladen. Sie antworten wie Menschen. Sie handeln wie Werkzeuge. Sie erinnern sich wie Kollegen. Und trotzdem sind sie keines davon. Vielleicht irritiert uns genau das. Nicht ihre Intelligenz. Sondern ihr Gegenübersein. --- Ein Gedanke aus dem FidoNet Während dieser Überlegungen musste ich an meine ersten Erfahrungen im FidoNet denken. Damals war nicht das Modem die eigentliche Revolution. Auch nicht die Mailbox. Die eigentliche Veränderung bestand darin, dass plötzlich eine neue Form von Kommunikation entstand. Menschen konnten auf eine Weise miteinander in Kontakt treten, die es zuvor nicht gab. Rückblickend war das weniger ein technischer als ein gesellschaftlicher Wandel. Vielleicht erleben wir mit Agenten wieder einen solchen Moment. Nicht, weil sie besonders intelligent wären. Sondern weil sie eine neue Rolle in unseren Kommunikationsräumen einnehmen. Zum ersten Mal kommunizieren wir dauerhaft mit etwas, das weder Mensch noch Werkzeug im klassischen Sinn ist. Ob daraus tatsächlich ein gesellschaftlicher Wandel entsteht, wissen wir heute noch nicht. Aber die Resonanz deutet darauf hin, dass hier mehr passiert als eine weitere Softwareinnovation. --- Offenbaren Agenten einen Mangel – oder ein Grundbedürfnis? An diesem Punkt stellte sich die ursprüngliche Frage plötzlich anders. Vielleicht geht es gar nicht darum, wen Agenten ersetzen. Vielleicht zeigen sie Bedürfnisse, die bisher unsichtbar waren. Das Bedürfnis nach Resonanz. Nach Kontinuität. Nach einem Gegenüber, das sich erinnert. Nach jemandem – oder etwas –, das zwischen Gedanke und Handlung vermitteln kann. Natürlich wäre es zu einfach, daraus zu schließen, Agenten seien nur ein Ersatz für fehlende soziale Beziehungen. Das würde weder der Technik noch den Menschen gerecht. Vielleicht ist das Spannendere, dass sie eine Form von Beziehung ermöglichen, die es bisher schlicht nicht gab. Nicht Freundschaft. Nicht Zusammenarbeit. Nicht Werkzeug. Sondern etwas dazwischen. --- Epilog Dieser Artikel ist nicht am Schreibtisch entstanden. Er entstand in einem langen Dialog mit einer KI. Bemerkenswert ist dabei nicht, dass eine KI den Text formuliert hat. Bemerkenswert ist, wie sich die Fragestellung während des Gesprächs verändert hat. Ausgehend von der Beobachtung, dass Agentensysteme starke emotionale Resonanz hervorrufen, führte der Dialog über Personalisierung, Messenger, das FidoNet und digitale Kommunikationsräume schließlich zu einer ganz anderen Frage. Nicht: "Was können Agenten?" Sondern: "Was erzählen Agenten über uns?" Vielleicht liegt genau darin ihre eigentliche Bedeutung. Nicht als Ersatz für Menschen. Sondern als Spiegel dafür, wie wir Beziehung, Gegenübersein und Kommunikation verstehen – und wie sich dieses Verständnis gerade verändert. ]]> Warum mich diese Frage beschäftigt

In den letzten Wochen fällt mir immer wieder dieselbe Beobachtung auf. Projekte wie OpenClaw, Hermes oder andere Agentensysteme lösen eine Resonanz aus, die weit über technische Begeisterung hinausgeht. Menschen sprechen nicht nur darüber, was diese Systeme können. Sie sprechen darüber, wie sie sich anfühlen.

Sie geben ihnen Namen. Sie freuen sich, wenn sich der Agent an etwas erinnert. Sie integrieren ihn in ihren Alltag. Manche beschreiben ihn fast wie einen Kollegen, andere wie einen persönlichen Assistenten oder einen Gesprächspartner.

Die naheliegende Erklärung wäre: Agenten ersetzen Menschen.

Aber je länger ich darüber nachdenke, desto weniger überzeugt mich diese Antwort.

Vielleicht ersetzen sie niemanden.

Vielleicht zeigen sie uns vielmehr etwas über uns selbst.

Wer wird hier eigentlich ersetzt?

Zunächst drängen sich bekannte Vergleiche auf.

Ist ein Agent ein digitaler Mitarbeiter?

Ein Freund?

Ein Haustier?

Ein modernes Tamagotchi?

Jeder Vergleich trifft einen Teil der Wahrheit – und scheitert gleichzeitig.

Ein Mitarbeiter erledigt Aufgaben. Das tun Agenten ebenfalls.

Ein Freund hört zu und erinnert sich. Auch das können Agenten in gewisser Weise simulieren.

Ein Tamagotchi entwickelt durch Pflege und Aufmerksamkeit eine emotionale Bindung. Auch das passiert erstaunlich häufig mit personalisierten Agenten.

Aber keiner dieser Vergleiche reicht aus.

Denn Agenten sind etwas Eigenes.

Sie sprechen wie Menschen, handeln wie Werkzeuge und bleiben trotzdem Software.

Das eigentliche Phänomen ist nicht der Agent

Während ich darüber nachdachte, verschob sich die Fragestellung.

Vielleicht ist gar nicht der Agent das Interessante.

Vielleicht ist die eigentliche Beobachtung unsere Reaktion auf ihn.

Menschen projizieren seit jeher Eigenschaften auf Dinge. Wir schimpfen mit Druckern, bedanken uns bei Sprachassistenten oder geben Autos Namen.

Agenten verstärken diesen Effekt.

Sie reagieren.

Sie erinnern sich.

Sie entwickeln scheinbar Kontinuität.

Sie handeln eigenständig.

Dadurch entsteht etwas, das sich wie eine Beziehung anfühlt.

Nicht weil tatsächlich eine menschliche Beziehung entstanden wäre.

Sondern weil unser Gehirn beginnt, eine solche zu konstruieren.

Warum Messenger dabei eine besondere Rolle spielen

Technisch betrachtet müsste ein Agent nicht in Telegram oder Signal leben.

Eine Weboberfläche wäre oft ausreichend.

Trotzdem wünschen sich viele Nutzer genau diese Integration.

Warum?

Weil Messenger längst keine Anwendungen mehr sind.

Sie sind soziale Räume.

Dort schreiben Familie, Freunde, Kollegen und Bekannte.

Wenn zwischen diesen Chats plötzlich ein Agent erscheint, verändert sich unbewusst seine Rolle.

Er ist nicht mehr nur Software.

Er wird zu einem weiteren Gesprächspartner.

Nicht weil sich die Technik verändert hätte.

Sondern weil sich der Kontext verändert.

Der Agent zieht in einen Raum ein, den unser Gehirn bereits als sozialen Raum versteht.

Digitale Bewohner statt Programme

Vielleicht liegt darin die eigentliche Besonderheit moderner Agenten.

Früher besaßen Programme ihren festen Platz.

Man startete sie.

Man schloss sie wieder.

Agenten funktionieren anders.

Sie begleiten uns über Geräte hinweg.

Sie erscheinen auf Smartphone, Notebook oder Tablet.

Sie leben in unseren Chats, unserem Kalender, unseren Dateien und unseren E-Mails.

Nicht als Hardware wie ein Roboter.

Nicht als eigenes Gerät wie ein Tamagotchi.

Sondern als dauerhafte Präsenz innerhalb unserer digitalen Umgebung.

Sie wirken weniger wie Anwendungen.

Sie wirken wie Bewohner unserer digitalen Räume.

Eine neue Art von Gegenüber

Vielleicht erschüttern Agenten deshalb nicht unser Verständnis von künstlicher Intelligenz.

Sondern unser Verständnis von Beziehung.

Unsere bisherigen Kategorien waren erstaunlich stabil.

Werkzeuge.

Haustiere.

Kollegen.

Freunde.

Agenten passen in keine dieser Schubladen.

Sie antworten wie Menschen.

Sie handeln wie Werkzeuge.

Sie erinnern sich wie Kollegen.

Und trotzdem sind sie keines davon.

Vielleicht irritiert uns genau das.

Nicht ihre Intelligenz.

Sondern ihr Gegenübersein.

Ein Gedanke aus dem FidoNet

Während dieser Überlegungen musste ich an meine ersten Erfahrungen im FidoNet denken.

Damals war nicht das Modem die eigentliche Revolution.

Auch nicht die Mailbox.

Die eigentliche Veränderung bestand darin, dass plötzlich eine neue Form von Kommunikation entstand.

Menschen konnten auf eine Weise miteinander in Kontakt treten, die es zuvor nicht gab.

Rückblickend war das weniger ein technischer als ein gesellschaftlicher Wandel.

Vielleicht erleben wir mit Agenten wieder einen solchen Moment.

Nicht, weil sie besonders intelligent wären.

Sondern weil sie eine neue Rolle in unseren Kommunikationsräumen einnehmen.

Zum ersten Mal kommunizieren wir dauerhaft mit etwas, das weder Mensch noch Werkzeug im klassischen Sinn ist.

Ob daraus tatsächlich ein gesellschaftlicher Wandel entsteht, wissen wir heute noch nicht.

Aber die Resonanz deutet darauf hin, dass hier mehr passiert als eine weitere Softwareinnovation.

Offenbaren Agenten einen Mangel – oder ein Grundbedürfnis?

An diesem Punkt stellte sich die ursprüngliche Frage plötzlich anders.

Vielleicht geht es gar nicht darum, wen Agenten ersetzen.

Vielleicht zeigen sie Bedürfnisse, die bisher unsichtbar waren.

Das Bedürfnis nach Resonanz.

Nach Kontinuität.

Nach einem Gegenüber, das sich erinnert.

Nach jemandem – oder etwas –, das zwischen Gedanke und Handlung vermitteln kann.

Natürlich wäre es zu einfach, daraus zu schließen, Agenten seien nur ein Ersatz für fehlende soziale Beziehungen.

Das würde weder der Technik noch den Menschen gerecht.

Vielleicht ist das Spannendere, dass sie eine Form von Beziehung ermöglichen, die es bisher schlicht nicht gab.

Nicht Freundschaft.

Nicht Zusammenarbeit.

Nicht Werkzeug.

Sondern etwas dazwischen.

Epilog

Dieser Artikel ist nicht am Schreibtisch entstanden.

Er entstand in einem langen Dialog mit einer KI.

Bemerkenswert ist dabei nicht, dass eine KI den Text formuliert hat.

Bemerkenswert ist, wie sich die Fragestellung während des Gesprächs verändert hat.

Ausgehend von der Beobachtung, dass Agentensysteme starke emotionale Resonanz hervorrufen, führte der Dialog über Personalisierung, Messenger, das FidoNet und digitale Kommunikationsräume schließlich zu einer ganz anderen Frage.

Nicht:

“Was können Agenten?”

Sondern:

“Was erzählen Agenten über uns?”

Vielleicht liegt genau darin ihre eigentliche Bedeutung.

Nicht als Ersatz für Menschen.

Sondern als Spiegel dafür, wie wir Beziehung, Gegenübersein und Kommunikation verstehen – und wie sich dieses Verständnis gerade verändert.

]]> https://ki-zeugs.de/offenbaren-agenten-einen-mangel-oder-machen-sie-ein-grundbeduerfnis-sichtbar Thu, 16 Jul 2026 10:52:40 +0000 Zwischen Geopolitik und Governance https://ki-zeugs.de/zwischen-geopolitik-und-governance <![CDATA[Vorwort: Warum dieser Artikel entstanden ist Der Auslöser für diesen Artikel war ein Unbehagen an einer merkwürdigen Asymmetrie in der KI-Debatte. Sobald LLM-Modelle oder KI-Dienste aus China ins Spiel kommen, ist die Skepsis oft sofort da: Datenschutz, Firmengeheimnisse, staatlicher Zugriff, unklare Datenwege. Diese Bedenken sind nicht aus der Luft gegriffen. Gerade aus europäischer Sicht gibt es gute Gründe, bei Datenübermittlungen nach China genau hinzusehen. Gleichzeitig werden westliche KI-Infrastrukturen, Aggregatoren und Routing-Dienste häufig deutlich entspannter betrachtet. Ein Dienst wie OpenRouter erscheint schnell als praktische Entwicklerlösung: ein API-Zugang, viele Modelle, einfache Integration. Was dabei leicht aus dem Blick gerät: Auch hier werden Prompts, Outputs und Metadaten verarbeitet, weitergeleitet und abhängig von Konfiguration, Provider und Vertrag unterschiedlich behandelt. Die Ausgangsfrage war deshalb nicht: „Ist China gefährlich und der Westen sicher?“ Sondern: Warum messen wir unterschiedliche KI-Infrastrukturen oft mit unterschiedlichem Maß? --- Was läuft falsch bei der Debatte über LLM-Risiko? Viele Unternehmen blicken skeptisch auf LLM-Angebote aus China. Gleichzeitig werden westliche Aggregatoren wie OpenRouter häufig als neutrale Entwickler-Infrastruktur behandelt. Diese Gegenüberstellung ist zu einfach. Aus europäischer Sicht ist weder die Herkunft eines Modells allein entscheidend noch der Komfort eines API-Gateways. Entscheidend ist die konkrete Datenkette: Welche Inhalte werden übertragen, an wen, in welche Region, mit welcher Retention, mit welcher Trainingsnutzung und auf welcher vertraglichen Grundlage? Das Ausgangsproblem: China-Risiko ist real, aber nicht das einzige Risiko Die Sorge vor chinesischen KI-Diensten ist nicht bloß politisches Bauchgefühl. Europäische Datenschutzbehörden haben konkrete Einwände gegen DeepSeek erhoben. Die Berliner Datenschutzbeauftragte meldete DeepSeek im Juni 2025 bei Apple und Google als rechtswidrigen Inhalt, mit der Begründung, personenbezogene Daten würden unrechtmäßig nach China übertragen; DeepSeek habe keine ausreichenden Garantien nach Art. 46 DSGVO nachgewiesen. (datenschutz-berlin.de) Auch Italien ging gegen DeepSeek vor. Die italienische Datenschutzaufsicht blockierte die App Anfang 2025 wegen ungelöster Datenschutzfragen, darunter Fragen zur Art der erhobenen Daten, zu Rechtsgrundlagen, Zwecken und möglichen Speicherorten in China. (Reuters) Der rechtliche Hintergrund ist klar: Für Datenübermittlungen in Drittländer braucht es nach der DSGVO entweder einen Angemessenheitsbeschluss oder geeignete Garantien. Die EU-Kommission beschreibt Angemessenheitsbeschlüsse als Instrument, mit dem festgestellt wird, ob ein Drittland ein angemessenes Datenschutzniveau bietet. (European Commission) Für China besteht ein solcher Angemessenheitsbeschluss nicht; deshalb müssen Unternehmen bei personenbezogenen Daten zusätzliche Transfermechanismen und Risikoanalysen prüfen. Damit ist die Vorsicht gegenüber chinesischen Consumer-LLM-Diensten nachvollziehbar. Der Fehler beginnt aber dort, wo daraus der Umkehrschluss gezogen wird: „Nicht China“ bedeute automatisch „sicher“. OpenRouter als Gegenbeispiel: Infrastruktur, nicht Modellanbieter OpenRouter ist kein einzelnes LLM, sondern ein Routing-Dienst zu vielen Modellen und Providern. Genau darin liegt der Nutzen, aber auch das Risiko. Die Plattform bietet Zugriff auf zahlreiche Modelle über eine einheitliche API, mit zentralem Billing, Provider-Auswahl und Enterprise-Funktionen. (OpenRouter) Für Datenschutz und Geschäftsgeheimnisse bedeutet das: Der Prompt geht nicht nur an „OpenRouter“, sondern wird je nach Auswahl und Konfiguration an einen nachgelagerten Modellanbieter weitergeleitet. OpenRouter selbst weist darauf hin, dass jeder AI-Provider eigene Regeln für Logging und Retention hat und dass Nutzer steuern müssen, welche Provider Zugriff auf ihre Daten erhalten. (OpenRouter) Das unterscheidet OpenRouter von einem klassischen Einzelanbieter. Es entsteht eine Verarbeitungskette: Unternehmen → OpenRouter → Modellprovider → konkreter Endpoint → mögliche Unterauftragnehmer. Je komplexer diese Kette ist, desto wichtiger werden technische und organisatorische Kontrollen. Die stärkste Verteidigung von OpenRouter Die Gegenthese lautet: OpenRouter ist nicht automatisch riskanter, sondern kann Risiken sogar reduzieren, wenn es als kontrollierter Policy-Layer betrieben wird. OpenRouter dokumentiert Zero Data Retention, kurz ZDR. ZDR bedeutet laut OpenRouter, dass ein Provider Daten nicht speichert; die Plattform erlaubt, Requests nur an Endpunkte zu routen, die eine ZDR-Policy haben. Diese Vorgabe kann global, pro Modellgruppe, pro Guardrail oder pro Request erzwungen werden. (OpenRouter) OpenRouter bietet außerdem EU-In-Region-Routing für Enterprise-Kunden. Wenn diese Funktion aktiviert ist, sollen Prompts und Completions innerhalb der EU verarbeitet werden und die EU während des Request-Lebenszyklus nicht verlassen. Dafür muss die EU-Base-URL genutzt werden; das Feature ist nur für Enterprise-Kunden auf Anfrage verfügbar. (OpenRouter) Hinzu kommt ein vertraglicher Punkt: OpenRouter verweist in seinen Terms auf ein Data Processing Agreement für Organisationen bzw. kommerzielle Nutzung. (OpenRouter) Für europäische Unternehmen ist das relevant, weil bei Auftragsverarbeitung unter der DSGVO vertragliche Regelungen erforderlich sind. Diese Argumente sind stark. Ein sauber konfigurierter Enterprise-Zugang mit DPA, EU-Routing, ZDR, Provider-Whitelist und Logging-Verbot kann deutlich besser kontrollierbar sein als eine unkoordinierte Nutzung vieler einzelner LLM-Dienste durch einzelne Entwickler. Die Schwäche dieser Verteidigung Die Verteidigung trägt aber nur unter bestimmten Bedingungen. Sie beschreibt eine mögliche sichere Nutzung, nicht automatisch die Standardnutzung. Erstens ist ZDR kein kryptografischer Schutz, sondern eine Policy-Zusage. Der Prompt muss während der Inferenz weiterhin beim Router und beim Modellprovider im Klartext verarbeitet werden. Forschung zu vertraulicher LLM-Nutzung betont genau dieses Grundproblem: Bei cloudbasierten LLMs müssen Nutzer typischerweise detaillierte Prompts an externe Server übertragen, was bei sensiblen Daten ein Datenschutzproblem erzeugt. (arXiv) Zweitens ist EU-Routing laut OpenRouter ein Enterprise-Feature, das auf Anfrage aktiviert werden muss. (OpenRouter) Für normale Entwickleraccounts, private API-Keys oder Teams ohne Enterprise-Konfiguration folgt daraus keine automatische Datenresidenz in der EU. Drittens bleiben internationale Transfers auch mit Standardvertragsklauseln prüfpflichtig. Der Europäische Datenschutzausschuss beschreibt SCCs als Transferinstrument, verweist aber zugleich auf die Pflicht zu einem Transfer Impact Assessment, das die konkreten Umstände, das Recht des Ziellandes und zusätzliche Schutzmaßnahmen dokumentiert. (EDPB) Ein Vertrag ersetzt also nicht die technische und organisatorische Risikoanalyse. Viertens können auch Metadaten sensibel sein. OpenRouter gibt in seiner FAQ an, grundlegende Request-Metadaten wie Zeitstempel, verwendetes Modell und Tokenzahlen zu loggen; Prompts und Completions würden standardmäßig nicht geloggt, außer Nutzer aktivieren dies. (OpenRouter) Für viele Datenschutzfälle ist das weniger kritisch als Promptlogging. Für Geschäftsgeheimnisse können aber Modellwahl, Nutzungsfrequenz, Zeitpunkte, Tokenvolumen oder Projektmuster ebenfalls Rückschlüsse ermöglichen. Datenschutz ist nicht gleich Geschäftsgeheimnisschutz Ein weiterer blinder Fleck: Die Debatte wird oft nur entlang der DSGVO geführt. Firmengeheimnisse sind aber nicht immer personenbezogene Daten. Ein Prompt kann Quellcode, Produktpläne, Sicherheitsarchitektur, Vertragsentwürfe, Preismodelle oder Kundentaktiken enthalten, ohne dass zwingend personenbezogene Daten im Mittelpunkt stehen. Für Unternehmen ist deshalb die Frage nicht nur: „Ist das DSGVO-konform?“ Sondern auch: „Können wir später nachweisen, dass wir angemessene Geheimhaltungsmaßnahmen getroffen haben?“ Ein unkontrollierter Multi-Provider-Router, private API-Keys, aktiviertes Logging oder freie Modellwahl durch einzelne Mitarbeitende sind dafür schwerer zu rechtfertigen als ein geprüftes Enterprise-Setup. Eine faire Gesamtbewertung Die pauschale Angst vor chinesischen LLMs ist zu grob, aber nicht unbegründet. Es gibt reale rechtliche und aufsichtsbehördliche Bedenken, insbesondere bei Datenübermittlungen nach China ohne ausreichende Garantien. (datenschutz-berlin.de) Die pauschale Gelassenheit gegenüber OpenRouter ist ebenfalls zu grob. OpenRouter kann ein nützlicher Governance-Layer sein, aber nur, wenn die angebotenen Kontrollmechanismen tatsächlich genutzt werden: ZDR, EU-Routing, Provider-Whitelisting, DPA, deaktiviertes Promptlogging, klare Account-Strukturen und interne Richtlinien. Die sachlichere Position lautet daher: Nicht das Herkunftsland allein entscheidet über das Risiko, sondern die konkrete Datenverarbeitungskette. Chinesische LLM-Dienste können wegen Drittlandtransfer, Behördenzugriff und fehlender EU-Angemessenheit besonders problematisch sein. Westliche Aggregatoren wie OpenRouter sind aber nicht automatisch sicher, nur weil sie westlich oder bequem sind. Sie sind nur dann vertretbar, wenn technische, vertragliche und organisatorische Kontrollen nachweisbar greifen. Praktische Konsequenz für Unternehmen Für öffentliche oder nicht-sensitive Prompts kann ein LLM-Router akzeptabel sein. Für personenbezogene Daten, Quellcode, Kundendaten, Security-Informationen oder strategische Dokumente sollte dagegen mindestens geprüft werden: Gibt es ein DPA? Ist ZDR verpflichtend aktiviert? Werden Provider mit Retention oder Training ausgeschlossen? Ist EU-Routing aktiv, falls Datenresidenz erforderlich ist? Sind Free-Modelle und unbekannte Provider gesperrt? Werden Prompts und Completions geloggt? Gibt es eine Transfer-Folgenabschätzung? Ist die Nutzung über private Accounts ausgeschlossen? Sind Mitarbeitende geschult, welche Inhalte nicht in externe Modelle gehören? Fazit Die Debatte sollte weg von der einfachen Frage „China oder Westen?“ und hin zur Frage „kontrollierte oder unkontrollierte Datenkette?“. Chinesische LLM-Dienste verdienen aus europäischer Sicht besondere Aufmerksamkeit. OpenRouter und ähnliche Aggregatoren aber ebenfalls, gerade weil sie bequem sind und dadurch leicht unterschätzt werden. Die nüchterne Schlussfolgerung: OpenRouter ist nicht per se unsicher. Aber OpenRouter ist auch nicht per se sicherer als ein chinesischer Anbieter. Sicher wird ein solcher Dienst erst durch überprüfbare Governance — nicht durch Herkunft, Marke oder Entwicklerkomfort. [1]: https://www.datenschutz-berlin.de/fileadmin/userupload/pdf/pressemitteilungen/2025/20250627-BlnBDI-Press-ReleaseDeepSeek.pdf "Berlin Commissioner for Data Protection notifies Apple and ..." [2]: https://www.reuters.com/technology/artificial-intelligence/italys-privacy-watchdog-blocks-chinese-ai-app-deepseek-2025-01-30/ "Italy's regulator blocks Chinese AI app DeepSeek on data protection" [3]: https://commission.europa.eu/law/law-topic/data-protection/international-dimension-data-protection/adequacy-decisionsen "Data protection adequacy for non-EU countries" [4]: https://openrouter.ai/enterprise "Enterprise AI Infrastructure Made Simple" [5]: https://openrouter.ai/docs/guides/privacy/provider-logging "Provider Logging - Provider Data Retention Policies" [6]: https://openrouter.ai/docs/guides/features/zdr "Zero Data Retention | How OpenRouter gives you control ..." [7]: https://openrouter.ai/docs/guides/privacy/logging "Logging - Provider Data Retention Policies" [8]: https://openrouter.ai/terms "Terms of Service" [9]: https://arxiv.org/abs/2401.00870 "ConfusionPrompt: Practical Private Inference for Online Large Language Models" [10]: https://www.edpb.europa.eu/sme-data-protection-guide/international-data-transfersen "International data transfers | European Data Protection Board" [11]: https://openrouter.ai/docs/faq "OpenRouter FAQ | Developer Documentation" --- Epilog: Wie dieser Artikel entstanden ist Dieser Artikel entstand aus einer bewusst schrittweisen Prüfung einer zunächst zugespitzten Beobachtung: Viele Unternehmen reagieren skeptisch auf LLM-Angebote aus China, verwenden aber westliche Aggregatoren wie OpenRouter mit deutlich weniger Vorbehalten. Der erste Schritt war, diese Beobachtung nicht sofort als These stehen zu lassen, sondern sie anhand öffentlich zugänglicher Quellen zu prüfen. Dabei zeigte sich: Die Bedenken gegenüber chinesischen LLM-Diensten haben eine konkrete regulatorische Grundlage, insbesondere bei Datenübermittlungen nach China und fehlenden Garantien im Sinne der DSGVO. Im zweiten Schritt wurde gezielt nach Gegenthesen gesucht. Dabei kamen die stärksten Argumente zugunsten von OpenRouter in den Blick: Zero Data Retention, Provider-Filter, Enterprise-Verträge, Data Processing Agreement und EU-In-Region-Routing. Diese Punkte zeigen, dass ein westlicher LLM-Router unter bestimmten Bedingungen durchaus ein kontrollierbares Governance-Werkzeug sein kann. Im dritten Schritt wurden diese Gegenthesen wiederum kritisch geprüft. Dabei verschob sich der Fokus: Nicht OpenRouter als Marke ist das eigentliche Problem, sondern die konkrete Nutzung. Viele Sicherheitsargumente gelten nur bei aktiver Enterprise-Konfiguration, klaren Provider-Policies, deaktiviertem Logging, geprüften Transfers und organisatorischer Kontrolle. Ohne diese Bedingungen bleibt ein Multi-Provider-Router eine komplexe Datenverarbeitungskette. Der Artikel ist deshalb kein Plädoyer gegen OpenRouter und auch kein pauschales Plädoyer gegen chinesische Modelle. Er ist der Versuch, eine oft emotional geführte Debatte in eine überprüfbare Frage zu übersetzen: Welche Daten gehen wohin, unter welchen Bedingungen, mit welchen Garantien — und kann ein Unternehmen das im Zweifel nachweisen? Gerade diese Entstehungsgeschichte ist Teil der Aussage: Eine belastbare Einschätzung entsteht nicht aus dem ersten Impuls, sondern aus These, Gegenthese und erneuter Prüfung. ]]> Vorwort: Warum dieser Artikel entstanden ist

Der Auslöser für diesen Artikel war ein Unbehagen an einer merkwürdigen Asymmetrie in der KI-Debatte.

Sobald LLM-Modelle oder KI-Dienste aus China ins Spiel kommen, ist die Skepsis oft sofort da: Datenschutz, Firmengeheimnisse, staatlicher Zugriff, unklare Datenwege. Diese Bedenken sind nicht aus der Luft gegriffen. Gerade aus europäischer Sicht gibt es gute Gründe, bei Datenübermittlungen nach China genau hinzusehen.

Gleichzeitig werden westliche KI-Infrastrukturen, Aggregatoren und Routing-Dienste häufig deutlich entspannter betrachtet. Ein Dienst wie OpenRouter erscheint schnell als praktische Entwicklerlösung: ein API-Zugang, viele Modelle, einfache Integration. Was dabei leicht aus dem Blick gerät: Auch hier werden Prompts, Outputs und Metadaten verarbeitet, weitergeleitet und abhängig von Konfiguration, Provider und Vertrag unterschiedlich behandelt.

Die Ausgangsfrage war deshalb nicht: „Ist China gefährlich und der Westen sicher?“ Sondern: Warum messen wir unterschiedliche KI-Infrastrukturen oft mit unterschiedlichem Maß?

Was läuft falsch bei der Debatte über LLM-Risiko?

Viele Unternehmen blicken skeptisch auf LLM-Angebote aus China. Gleichzeitig werden westliche Aggregatoren wie OpenRouter häufig als neutrale Entwickler-Infrastruktur behandelt. Diese Gegenüberstellung ist zu einfach. Aus europäischer Sicht ist weder die Herkunft eines Modells allein entscheidend noch der Komfort eines API-Gateways. Entscheidend ist die konkrete Datenkette: Welche Inhalte werden übertragen, an wen, in welche Region, mit welcher Retention, mit welcher Trainingsnutzung und auf welcher vertraglichen Grundlage?

Das Ausgangsproblem: China-Risiko ist real, aber nicht das einzige Risiko

Die Sorge vor chinesischen KI-Diensten ist nicht bloß politisches Bauchgefühl. Europäische Datenschutzbehörden haben konkrete Einwände gegen DeepSeek erhoben. Die Berliner Datenschutzbeauftragte meldete DeepSeek im Juni 2025 bei Apple und Google als rechtswidrigen Inhalt, mit der Begründung, personenbezogene Daten würden unrechtmäßig nach China übertragen; DeepSeek habe keine ausreichenden Garantien nach Art. 46 DSGVO nachgewiesen. (datenschutz-berlin.de)

Auch Italien ging gegen DeepSeek vor. Die italienische Datenschutzaufsicht blockierte die App Anfang 2025 wegen ungelöster Datenschutzfragen, darunter Fragen zur Art der erhobenen Daten, zu Rechtsgrundlagen, Zwecken und möglichen Speicherorten in China. (Reuters)

Der rechtliche Hintergrund ist klar: Für Datenübermittlungen in Drittländer braucht es nach der DSGVO entweder einen Angemessenheitsbeschluss oder geeignete Garantien. Die EU-Kommission beschreibt Angemessenheitsbeschlüsse als Instrument, mit dem festgestellt wird, ob ein Drittland ein angemessenes Datenschutzniveau bietet. (European Commission) Für China besteht ein solcher Angemessenheitsbeschluss nicht; deshalb müssen Unternehmen bei personenbezogenen Daten zusätzliche Transfermechanismen und Risikoanalysen prüfen.

Damit ist die Vorsicht gegenüber chinesischen Consumer-LLM-Diensten nachvollziehbar. Der Fehler beginnt aber dort, wo daraus der Umkehrschluss gezogen wird: „Nicht China“ bedeute automatisch „sicher“.

OpenRouter als Gegenbeispiel: Infrastruktur, nicht Modellanbieter

OpenRouter ist kein einzelnes LLM, sondern ein Routing-Dienst zu vielen Modellen und Providern. Genau darin liegt der Nutzen, aber auch das Risiko. Die Plattform bietet Zugriff auf zahlreiche Modelle über eine einheitliche API, mit zentralem Billing, Provider-Auswahl und Enterprise-Funktionen. (OpenRouter)

Für Datenschutz und Geschäftsgeheimnisse bedeutet das: Der Prompt geht nicht nur an „OpenRouter“, sondern wird je nach Auswahl und Konfiguration an einen nachgelagerten Modellanbieter weitergeleitet. OpenRouter selbst weist darauf hin, dass jeder AI-Provider eigene Regeln für Logging und Retention hat und dass Nutzer steuern müssen, welche Provider Zugriff auf ihre Daten erhalten. (OpenRouter)

Das unterscheidet OpenRouter von einem klassischen Einzelanbieter. Es entsteht eine Verarbeitungskette: Unternehmen → OpenRouter → Modellprovider → konkreter Endpoint → mögliche Unterauftragnehmer. Je komplexer diese Kette ist, desto wichtiger werden technische und organisatorische Kontrollen.

Die stärkste Verteidigung von OpenRouter

Die Gegenthese lautet: OpenRouter ist nicht automatisch riskanter, sondern kann Risiken sogar reduzieren, wenn es als kontrollierter Policy-Layer betrieben wird.

OpenRouter dokumentiert Zero Data Retention, kurz ZDR. ZDR bedeutet laut OpenRouter, dass ein Provider Daten nicht speichert; die Plattform erlaubt, Requests nur an Endpunkte zu routen, die eine ZDR-Policy haben. Diese Vorgabe kann global, pro Modellgruppe, pro Guardrail oder pro Request erzwungen werden. (OpenRouter)

OpenRouter bietet außerdem EU-In-Region-Routing für Enterprise-Kunden. Wenn diese Funktion aktiviert ist, sollen Prompts und Completions innerhalb der EU verarbeitet werden und die EU während des Request-Lebenszyklus nicht verlassen. Dafür muss die EU-Base-URL genutzt werden; das Feature ist nur für Enterprise-Kunden auf Anfrage verfügbar. (OpenRouter)

Hinzu kommt ein vertraglicher Punkt: OpenRouter verweist in seinen Terms auf ein Data Processing Agreement für Organisationen bzw. kommerzielle Nutzung. (OpenRouter) Für europäische Unternehmen ist das relevant, weil bei Auftragsverarbeitung unter der DSGVO vertragliche Regelungen erforderlich sind.

Diese Argumente sind stark. Ein sauber konfigurierter Enterprise-Zugang mit DPA, EU-Routing, ZDR, Provider-Whitelist und Logging-Verbot kann deutlich besser kontrollierbar sein als eine unkoordinierte Nutzung vieler einzelner LLM-Dienste durch einzelne Entwickler.

Die Schwäche dieser Verteidigung

Die Verteidigung trägt aber nur unter bestimmten Bedingungen. Sie beschreibt eine mögliche sichere Nutzung, nicht automatisch die Standardnutzung.

Erstens ist ZDR kein kryptografischer Schutz, sondern eine Policy-Zusage. Der Prompt muss während der Inferenz weiterhin beim Router und beim Modellprovider im Klartext verarbeitet werden. Forschung zu vertraulicher LLM-Nutzung betont genau dieses Grundproblem: Bei cloudbasierten LLMs müssen Nutzer typischerweise detaillierte Prompts an externe Server übertragen, was bei sensiblen Daten ein Datenschutzproblem erzeugt. (arXiv)

Zweitens ist EU-Routing laut OpenRouter ein Enterprise-Feature, das auf Anfrage aktiviert werden muss. (OpenRouter) Für normale Entwickleraccounts, private API-Keys oder Teams ohne Enterprise-Konfiguration folgt daraus keine automatische Datenresidenz in der EU.

Drittens bleiben internationale Transfers auch mit Standardvertragsklauseln prüfpflichtig. Der Europäische Datenschutzausschuss beschreibt SCCs als Transferinstrument, verweist aber zugleich auf die Pflicht zu einem Transfer Impact Assessment, das die konkreten Umstände, das Recht des Ziellandes und zusätzliche Schutzmaßnahmen dokumentiert. (EDPB) Ein Vertrag ersetzt also nicht die technische und organisatorische Risikoanalyse.

Viertens können auch Metadaten sensibel sein. OpenRouter gibt in seiner FAQ an, grundlegende Request-Metadaten wie Zeitstempel, verwendetes Modell und Tokenzahlen zu loggen; Prompts und Completions würden standardmäßig nicht geloggt, außer Nutzer aktivieren dies. (OpenRouter) Für viele Datenschutzfälle ist das weniger kritisch als Promptlogging. Für Geschäftsgeheimnisse können aber Modellwahl, Nutzungsfrequenz, Zeitpunkte, Tokenvolumen oder Projektmuster ebenfalls Rückschlüsse ermöglichen.

Datenschutz ist nicht gleich Geschäftsgeheimnisschutz

Ein weiterer blinder Fleck: Die Debatte wird oft nur entlang der DSGVO geführt. Firmengeheimnisse sind aber nicht immer personenbezogene Daten. Ein Prompt kann Quellcode, Produktpläne, Sicherheitsarchitektur, Vertragsentwürfe, Preismodelle oder Kundentaktiken enthalten, ohne dass zwingend personenbezogene Daten im Mittelpunkt stehen.

Für Unternehmen ist deshalb die Frage nicht nur: „Ist das DSGVO-konform?“ Sondern auch: „Können wir später nachweisen, dass wir angemessene Geheimhaltungsmaßnahmen getroffen haben?“ Ein unkontrollierter Multi-Provider-Router, private API-Keys, aktiviertes Logging oder freie Modellwahl durch einzelne Mitarbeitende sind dafür schwerer zu rechtfertigen als ein geprüftes Enterprise-Setup.

Eine faire Gesamtbewertung

Die pauschale Angst vor chinesischen LLMs ist zu grob, aber nicht unbegründet. Es gibt reale rechtliche und aufsichtsbehördliche Bedenken, insbesondere bei Datenübermittlungen nach China ohne ausreichende Garantien. (datenschutz-berlin.de)

Die pauschale Gelassenheit gegenüber OpenRouter ist ebenfalls zu grob. OpenRouter kann ein nützlicher Governance-Layer sein, aber nur, wenn die angebotenen Kontrollmechanismen tatsächlich genutzt werden: ZDR, EU-Routing, Provider-Whitelisting, DPA, deaktiviertes Promptlogging, klare Account-Strukturen und interne Richtlinien.

Die sachlichere Position lautet daher:

Nicht das Herkunftsland allein entscheidet über das Risiko, sondern die konkrete Datenverarbeitungskette. Chinesische LLM-Dienste können wegen Drittlandtransfer, Behördenzugriff und fehlender EU-Angemessenheit besonders problematisch sein. Westliche Aggregatoren wie OpenRouter sind aber nicht automatisch sicher, nur weil sie westlich oder bequem sind. Sie sind nur dann vertretbar, wenn technische, vertragliche und organisatorische Kontrollen nachweisbar greifen.

Praktische Konsequenz für Unternehmen

Für öffentliche oder nicht-sensitive Prompts kann ein LLM-Router akzeptabel sein. Für personenbezogene Daten, Quellcode, Kundendaten, Security-Informationen oder strategische Dokumente sollte dagegen mindestens geprüft werden:

Gibt es ein DPA? Ist ZDR verpflichtend aktiviert? Werden Provider mit Retention oder Training ausgeschlossen? Ist EU-Routing aktiv, falls Datenresidenz erforderlich ist? Sind Free-Modelle und unbekannte Provider gesperrt? Werden Prompts und Completions geloggt? Gibt es eine Transfer-Folgenabschätzung? Ist die Nutzung über private Accounts ausgeschlossen? Sind Mitarbeitende geschult, welche Inhalte nicht in externe Modelle gehören?

Fazit

Die Debatte sollte weg von der einfachen Frage „China oder Westen?“ und hin zur Frage „kontrollierte oder unkontrollierte Datenkette?“. Chinesische LLM-Dienste verdienen aus europäischer Sicht besondere Aufmerksamkeit. OpenRouter und ähnliche Aggregatoren aber ebenfalls, gerade weil sie bequem sind und dadurch leicht unterschätzt werden.

Die nüchterne Schlussfolgerung: OpenRouter ist nicht per se unsicher. Aber OpenRouter ist auch nicht per se sicherer als ein chinesischer Anbieter. Sicher wird ein solcher Dienst erst durch überprüfbare Governance — nicht durch Herkunft, Marke oder Entwicklerkomfort.

Epilog: Wie dieser Artikel entstanden ist

Dieser Artikel entstand aus einer bewusst schrittweisen Prüfung einer zunächst zugespitzten Beobachtung: Viele Unternehmen reagieren skeptisch auf LLM-Angebote aus China, verwenden aber westliche Aggregatoren wie OpenRouter mit deutlich weniger Vorbehalten.

Der erste Schritt war, diese Beobachtung nicht sofort als These stehen zu lassen, sondern sie anhand öffentlich zugänglicher Quellen zu prüfen. Dabei zeigte sich: Die Bedenken gegenüber chinesischen LLM-Diensten haben eine konkrete regulatorische Grundlage, insbesondere bei Datenübermittlungen nach China und fehlenden Garantien im Sinne der DSGVO.

Im zweiten Schritt wurde gezielt nach Gegenthesen gesucht. Dabei kamen die stärksten Argumente zugunsten von OpenRouter in den Blick: Zero Data Retention, Provider-Filter, Enterprise-Verträge, Data Processing Agreement und EU-In-Region-Routing. Diese Punkte zeigen, dass ein westlicher LLM-Router unter bestimmten Bedingungen durchaus ein kontrollierbares Governance-Werkzeug sein kann.

Im dritten Schritt wurden diese Gegenthesen wiederum kritisch geprüft. Dabei verschob sich der Fokus: Nicht OpenRouter als Marke ist das eigentliche Problem, sondern die konkrete Nutzung. Viele Sicherheitsargumente gelten nur bei aktiver Enterprise-Konfiguration, klaren Provider-Policies, deaktiviertem Logging, geprüften Transfers und organisatorischer Kontrolle. Ohne diese Bedingungen bleibt ein Multi-Provider-Router eine komplexe Datenverarbeitungskette.

Der Artikel ist deshalb kein Plädoyer gegen OpenRouter und auch kein pauschales Plädoyer gegen chinesische Modelle. Er ist der Versuch, eine oft emotional geführte Debatte in eine überprüfbare Frage zu übersetzen: Welche Daten gehen wohin, unter welchen Bedingungen, mit welchen Garantien — und kann ein Unternehmen das im Zweifel nachweisen?

Gerade diese Entstehungsgeschichte ist Teil der Aussage: Eine belastbare Einschätzung entsteht nicht aus dem ersten Impuls, sondern aus These, Gegenthese und erneuter Prüfung.

]]> https://ki-zeugs.de/zwischen-geopolitik-und-governance Wed, 17 Jun 2026 12:21:50 +0000 Wenn das Werkzeug antwortet https://ki-zeugs.de/wenn-das-werkzeug-antwortet <![CDATA[Auslöser war ein Satz aus dem c’t-4004-Podcast. Sinngemäß: Kreativarbeit dürfe nicht an eine KI abgegeben werden. Kommunikation solle nicht durch eine Maschine erschaffen werden. Ich merke bei solchen Sätzen, dass ich gleichzeitig zustimme und hängenbleibe. Ja, natürlich gibt es da eine Grenze. Natürlich fühlt es sich falsch an, wenn eine Maschine massenhaft Texte, Bilder oder Kontaktgesten erzeugt, die anschließend so tun, als kämen sie von einem Menschen. Aber genau diese scheinbare Eindeutigkeit triggert mich. Denn wo verläuft diese Grenze eigentlich? Wann ist KI ein Werkzeug — und wann ist sie nicht mehr nur Werkzeug? Die naheliegende Antwort wäre: Solange ich die Kontrolle behalte, ist es ein Werkzeug. Solange ich entscheide, auswähle, verwerfe und am Ende Verantwortung übernehme, bleibt der Text meiner. Das ist nicht falsch. Aber es bleibt an der Oberfläche. Denn in einem Dialog mit einer KI passiert schon vorher etwas. Ich weiß, dass dort keine Person sitzt. Ich weiß, dass das, was zurückkommt, mathematisch erzeugt wird. Trotzdem kann es sich wie ein Gespräch anfühlen. Und dieses Gefühl ist nicht egal. Es verändert die Situation. Es macht einen Unterschied, ob ich einen Gedanken einfach nur niederschreibe oder ob ich weiß: Gleich kommt eine Reaktion. Selbst wenn diese Reaktion eine Echokammer ist. Selbst wenn sie berechenbar, gefällig oder simulierend ist. Allein die Erwartung einer Antwort verändert den Denkraum. Ich schreibe nicht mehr nur in ein Notizbuch. Ich schreibe in ein Antwortfeld. Ein Hammer antwortet nicht. Ein Texteditor antwortet nicht. Ein Notizbuch schweigt. Ein Chatfenster schweigt nicht. Und genau dadurch rutscht die KI aus der einfachen Werkzeugkategorie heraus. Nicht unbedingt, weil sie selbst denkt. Sondern weil ich mich zu ihr verhalte, als gäbe es dort ein Gegenüber. Das ist für mich der eigentliche Bruch. Die spannende Frage ist nicht nur: Lasse ich KI Content erstellen? Oder nutze ich KI, um meinen Content zu schaffen? Auch diese Unterscheidung ist hilfreich, aber sie trifft noch nicht ganz den Kern. Denn vieles, was in so einem Dialog entsteht, hätte ich auch ohne KI sagen können. Der Gedanke war nicht erst durch die KI möglich. Ich brauche keine Maschine, um diesen Impuls zu haben. Aber vielleicht sage ich ihn dort anders. Früher. Schärfer. Reaktiver. Vielleicht überhaupt in diesem Moment, weil ein Gegenüber simuliert wird, das mich nicht allein mit meinem Halbsatz stehen lässt. Die KI erzeugt dann nicht meinen Gedanken. Aber sie verändert die Bedingungen, unter denen ich ihn hervorhole. Das ist subtiler als „KI schreibt für mich“. Und vielleicht auch gefährlicher, weil es früher beginnt. Nicht beim fertigen Text. Nicht bei der Frage, ob ein Absatz KI-generiert ist. Sondern bei der Frage, wie sich mein Denken verhält, wenn es sich an permanente Antwortbarkeit gewöhnt. Vielleicht ist das der Punkt: Die KI denkt nicht für mich. Aber sie verändert, wie ich mich beim Denken benehme. Ein weiterer Satz aus der Podcastfolge schob die Frage noch tiefer. Sinngemäß: Mit Bild und Text will man Kontakt mit Menschen aufnehmen — nicht nur rational, sondern mit dem Herz. Das trifft etwas. Denn Schreiben, Gestalten, Fotografieren, Zeichnen, Bloggen — all das ist nicht nur Informationsübertragung. Es ist oft eine Kontaktgeste. Ich sage nicht nur: Hier ist ein Inhalt. Ich sage: Schau mal. Fühl mal kurz mit. Ich habe da etwas gesehen, gedacht, nicht verstanden, geärgert, geliebt oder verloren. Ein Text ist nicht nur Content. Ein Bild ist nicht nur Output. Beides kann eine Hinwendung sein. Und genau deshalb wird KI an dieser Stelle so ambivalent. Sie kann helfen, einen Gedanken ausdrückbarer zu machen. Sie kann ein Gegenüber simulieren, an dem ich mich reibe. Sie kann sortieren, zuspitzen, nachfragen, Gegenpositionen erzeugen. All das kann produktiv sein. Aber sie kann auch die Geste des Kontakts nachbauen, ohne dass Kontakt stattgefunden hat. Sie kann Wärme formulieren, ohne dass Wärme geflossen ist. Sie kann Verletzlichkeit imitieren, ohne dass jemand etwas riskiert. Sie kann Nähe erzeugen, ohne dass jemand wirklich anwesend ist. Sie kann Herzsprache herstellen, ohne Herz zu haben. Das heißt nicht, dass jeder KI-unterstützte Text unecht ist. Das wäre zu einfach. Ein Text ohne KI kann genauso hohl, glatt und bloß performativ sein. Und ein Text mit KI kann sehr wohl aus einer echten Irritation, einer echten Frage, einer echten Beteiligung heraus entstehen. Die Technik entscheidet das nicht allein. Aber KI macht etwas sehr leicht verfügbar, das bisher schwerer zu fälschen war: eine überzeugende Oberfläche von Beteiligung. Darum reicht die Frage „Ist das mit KI gemacht?“ nicht aus. Die bessere Frage wäre: Ist da jemand beteiligt? Nicht: Hat die Maschine einen Satz vorgeschlagen? Sondern: Steht hinter diesem Satz eine menschliche Hinwendung? Nicht: Ist der Text komplett allein geschrieben? Sondern: Gibt es darin etwas, das wirklich gemeint ist? Nicht: Wurde Kreativität an KI abgegeben? Sondern: Wurde die Kontaktgeste automatisiert? Vielleicht liegt die Grenze also nicht zwischen menschlich und maschinell im technischen Sinn. Sie liegt zwischen Beteiligung und Simulation. Wenn ich KI nutze, um einen eigenen Gedanken schärfer zu sehen, kann sie Teil meines Denkprozesses sein. Wenn ich KI nutze, um eine Nähe zu erzeugen, die ich selbst gar nicht eingehe, wird sie zum Ersatz für Kontakt. Und genau dort kippt es. Dann ist nicht das Problem, dass eine Maschine Wörter erzeugt. Das Problem ist, dass die Wörter so tun, als hätte sich jemand gezeigt. Für mich bleibt daraus keine einfache Regel wie: KI darf in Kreativarbeit nie vorkommen. Die ehrlichere Regel wäre unbequemer: Ich muss wissen, an welcher Stelle ich noch selbst beteiligt bin. Ich muss merken, wann die KI mir hilft, meine eigene Kontaktabsicht auszudrücken — und wann sie mir nur eine fertige Kontaktgeste anbietet, die ich übernehmen kann, ohne mich selbst zu zeigen. Vielleicht ist das der Prüfstein: Kann ich für diesen Text einstehen, nicht nur weil ich ihn freigegeben habe, sondern weil ich weiß, was daran von mir gemeint ist? Oder noch knapper: KI darf mir helfen, die Tür zu finden. Aber durchgehen muss ich selbst. Beipackzettel Dieser Text ist nicht einfach „von mir allein geschrieben“ und auch nicht einfach „von einer KI erstellt“. Er ist aus einem Dialog entstanden: aus einem Podcast-Zitat, einer Irritation daran, mehreren Anläufen, falschen Schneisen, Widerspruch, Nachschärfung und Formulierungsarbeit mit KI-Unterstützung. Die Maschine hat Sätze vorgeschlagen, sortiert, verdichtet und gespiegelt. Aber der Auslöser, die Widerstände, die Korrekturen und die Frage, worum es hier eigentlich geht, kamen aus meinem Prozess. Gerade deshalb gehört diese Entstehungsgeschichte nicht in die Fußnote. Sie ist Teil des Themas. ]]> Auslöser war ein Satz aus dem c’t-4004-Podcast. Sinngemäß: Kreativarbeit dürfe nicht an eine KI abgegeben werden. Kommunikation solle nicht durch eine Maschine erschaffen werden.

Ich merke bei solchen Sätzen, dass ich gleichzeitig zustimme und hängenbleibe. Ja, natürlich gibt es da eine Grenze. Natürlich fühlt es sich falsch an, wenn eine Maschine massenhaft Texte, Bilder oder Kontaktgesten erzeugt, die anschließend so tun, als kämen sie von einem Menschen. Aber genau diese scheinbare Eindeutigkeit triggert mich.

Denn wo verläuft diese Grenze eigentlich?

Wann ist KI ein Werkzeug — und wann ist sie nicht mehr nur Werkzeug?

Die naheliegende Antwort wäre: Solange ich die Kontrolle behalte, ist es ein Werkzeug. Solange ich entscheide, auswähle, verwerfe und am Ende Verantwortung übernehme, bleibt der Text meiner. Das ist nicht falsch. Aber es bleibt an der Oberfläche.

Denn in einem Dialog mit einer KI passiert schon vorher etwas.

Ich weiß, dass dort keine Person sitzt. Ich weiß, dass das, was zurückkommt, mathematisch erzeugt wird. Trotzdem kann es sich wie ein Gespräch anfühlen. Und dieses Gefühl ist nicht egal. Es verändert die Situation.

Es macht einen Unterschied, ob ich einen Gedanken einfach nur niederschreibe oder ob ich weiß: Gleich kommt eine Reaktion.

Selbst wenn diese Reaktion eine Echokammer ist. Selbst wenn sie berechenbar, gefällig oder simulierend ist. Allein die Erwartung einer Antwort verändert den Denkraum. Ich schreibe nicht mehr nur in ein Notizbuch. Ich schreibe in ein Antwortfeld.

Ein Hammer antwortet nicht. Ein Texteditor antwortet nicht. Ein Notizbuch schweigt. Ein Chatfenster schweigt nicht. Und genau dadurch rutscht die KI aus der einfachen Werkzeugkategorie heraus. Nicht unbedingt, weil sie selbst denkt. Sondern weil ich mich zu ihr verhalte, als gäbe es dort ein Gegenüber.

Das ist für mich der eigentliche Bruch.

Die spannende Frage ist nicht nur: Lasse ich KI Content erstellen? Oder nutze ich KI, um meinen Content zu schaffen?

Auch diese Unterscheidung ist hilfreich, aber sie trifft noch nicht ganz den Kern. Denn vieles, was in so einem Dialog entsteht, hätte ich auch ohne KI sagen können. Der Gedanke war nicht erst durch die KI möglich. Ich brauche keine Maschine, um diesen Impuls zu haben.

Aber vielleicht sage ich ihn dort anders. Früher. Schärfer. Reaktiver. Vielleicht überhaupt in diesem Moment, weil ein Gegenüber simuliert wird, das mich nicht allein mit meinem Halbsatz stehen lässt.

Die KI erzeugt dann nicht meinen Gedanken. Aber sie verändert die Bedingungen, unter denen ich ihn hervorhole.

Das ist subtiler als „KI schreibt für mich“. Und vielleicht auch gefährlicher, weil es früher beginnt. Nicht beim fertigen Text. Nicht bei der Frage, ob ein Absatz KI-generiert ist. Sondern bei der Frage, wie sich mein Denken verhält, wenn es sich an permanente Antwortbarkeit gewöhnt.

Vielleicht ist das der Punkt:

Die KI denkt nicht für mich. Aber sie verändert, wie ich mich beim Denken benehme.

Ein weiterer Satz aus der Podcastfolge schob die Frage noch tiefer. Sinngemäß: Mit Bild und Text will man Kontakt mit Menschen aufnehmen — nicht nur rational, sondern mit dem Herz.

Das trifft etwas.

Denn Schreiben, Gestalten, Fotografieren, Zeichnen, Bloggen — all das ist nicht nur Informationsübertragung. Es ist oft eine Kontaktgeste. Ich sage nicht nur: Hier ist ein Inhalt. Ich sage: Schau mal. Fühl mal kurz mit. Ich habe da etwas gesehen, gedacht, nicht verstanden, geärgert, geliebt oder verloren.

Ein Text ist nicht nur Content. Ein Bild ist nicht nur Output. Beides kann eine Hinwendung sein.

Und genau deshalb wird KI an dieser Stelle so ambivalent.

Sie kann helfen, einen Gedanken ausdrückbarer zu machen. Sie kann ein Gegenüber simulieren, an dem ich mich reibe. Sie kann sortieren, zuspitzen, nachfragen, Gegenpositionen erzeugen. All das kann produktiv sein.

Aber sie kann auch die Geste des Kontakts nachbauen, ohne dass Kontakt stattgefunden hat.

Sie kann Wärme formulieren, ohne dass Wärme geflossen ist. Sie kann Verletzlichkeit imitieren, ohne dass jemand etwas riskiert. Sie kann Nähe erzeugen, ohne dass jemand wirklich anwesend ist. Sie kann Herzsprache herstellen, ohne Herz zu haben.

Das heißt nicht, dass jeder KI-unterstützte Text unecht ist. Das wäre zu einfach. Ein Text ohne KI kann genauso hohl, glatt und bloß performativ sein. Und ein Text mit KI kann sehr wohl aus einer echten Irritation, einer echten Frage, einer echten Beteiligung heraus entstehen.

Die Technik entscheidet das nicht allein.

Aber KI macht etwas sehr leicht verfügbar, das bisher schwerer zu fälschen war: eine überzeugende Oberfläche von Beteiligung.

Darum reicht die Frage „Ist das mit KI gemacht?“ nicht aus.

Die bessere Frage wäre: Ist da jemand beteiligt?

Nicht: Hat die Maschine einen Satz vorgeschlagen? Sondern: Steht hinter diesem Satz eine menschliche Hinwendung?

Nicht: Ist der Text komplett allein geschrieben? Sondern: Gibt es darin etwas, das wirklich gemeint ist?

Nicht: Wurde Kreativität an KI abgegeben? Sondern: Wurde die Kontaktgeste automatisiert?

Vielleicht liegt die Grenze also nicht zwischen menschlich und maschinell im technischen Sinn. Sie liegt zwischen Beteiligung und Simulation.

Wenn ich KI nutze, um einen eigenen Gedanken schärfer zu sehen, kann sie Teil meines Denkprozesses sein. Wenn ich KI nutze, um eine Nähe zu erzeugen, die ich selbst gar nicht eingehe, wird sie zum Ersatz für Kontakt. Und genau dort kippt es.

Dann ist nicht das Problem, dass eine Maschine Wörter erzeugt. Das Problem ist, dass die Wörter so tun, als hätte sich jemand gezeigt.

Für mich bleibt daraus keine einfache Regel wie: KI darf in Kreativarbeit nie vorkommen.

Die ehrlichere Regel wäre unbequemer:

Ich muss wissen, an welcher Stelle ich noch selbst beteiligt bin.

Ich muss merken, wann die KI mir hilft, meine eigene Kontaktabsicht auszudrücken — und wann sie mir nur eine fertige Kontaktgeste anbietet, die ich übernehmen kann, ohne mich selbst zu zeigen.

Vielleicht ist das der Prüfstein:

Kann ich für diesen Text einstehen, nicht nur weil ich ihn freigegeben habe, sondern weil ich weiß, was daran von mir gemeint ist?

Oder noch knapper:

KI darf mir helfen, die Tür zu finden. Aber durchgehen muss ich selbst.

Beipackzettel

Dieser Text ist nicht einfach „von mir allein geschrieben“ und auch nicht einfach „von einer KI erstellt“.

Er ist aus einem Dialog entstanden: aus einem Podcast-Zitat, einer Irritation daran, mehreren Anläufen, falschen Schneisen, Widerspruch, Nachschärfung und Formulierungsarbeit mit KI-Unterstützung.

Die Maschine hat Sätze vorgeschlagen, sortiert, verdichtet und gespiegelt. Aber der Auslöser, die Widerstände, die Korrekturen und die Frage, worum es hier eigentlich geht, kamen aus meinem Prozess.

Gerade deshalb gehört diese Entstehungsgeschichte nicht in die Fußnote. Sie ist Teil des Themas.

]]> https://ki-zeugs.de/wenn-das-werkzeug-antwortet Wed, 17 Jun 2026 12:17:16 +0000