LLM denken nicht, sie rechnen

Sich selbst zu googlen ist mittlerweile ja schon fast eine Notwendigkeit. #ChatGPT nach Informationen über sich selbst zu fragen, kann hingegen zu etwas verstörenden Ergebnissen führen. So schreibt der Bot nach der entsprechenden Frage von Alexander Hanff:

„Tragically, Hanff passed away in 2019 at the age of 48“

Dieser erfreut sich jedoch bester Gesundheit – sonst fiele es ihm wohl auch schwer, die entsprechende Frage zu stellen. Hanff hakt nach und erfährt so, dass in der Berichterstattung über seinen Tod keine Todesursache genannt wird, und dass es mehrere Nachrufe über ihn gibt. Natürlich gibt es diese nicht.

Er schlussfolgert daraus:

„At this point it seems the AI was doubling down on the lie by mentioning reputable media outlets in an attempt to make the story more believable“

Und das ist genau der Kategorienfehler, auf den Elizabeth Weil hinweist, wenn sie schreibt:

„We go around assuming ours is a world in which speakers — people, creators of products, the products themselves — mean to say what they say and expect to live with the implications of their words. This is what philosopher of mind Daniel Dennett calls “the intentional stance.” But we’ve altered the world. We’ve learned to make “machines that can mindlessly generate text,” Bender told me when we met this winter. “But we haven’t learned how to stop imagining the mind behind it.“

Auch Kommentator Michael Wojcik unter dem Hanff-Artikel trifft es sehr gut:

„Chat-GPT never „thought“ Hanff was dead. It doesn’t think. It’s a long way from anything that can reasonably be described as thinking.
It was phrase-extending and it hit a gradient in parameter space that took it down a non-factual path. That’s all. Everything else imputed to it in Hanff’s piece – lying, „doubling down“, making things up – is a category error. There are no qualia in the GPT models. There’s no malevolence. There’s no imagination.“

ChatGPT versteht nicht einmal, dass es bei der Frage um eine Person geht und diese sterben können. Es „weiß“ (und hier vereinfache ich nochmal deutlich): Texte, die die Worte „Wer ist X?“ beinhalten, haben oft danach die Zeichenfolge „X ist…“. Dann schaut es, welche Worte in Texten, die „X ist …“ beinhalten, gehäuft vorkommen und generiert daraus seinen Text. So entstehen auch leichte Ungenauigkeiten wie ein falscher Geburtsort (London) im richtigen Land. In Texten über X ist vermutlich häufiger von London die Rede, weil er dort arbeitet oder die Stadt sonstwie relevant für ihn ist.

Irgendwann kommt ChatGPT dann an den Punkt, wo es seinen Text abschließt und hat errechnet, dass in 63 Prozent der Texte (Zahl frei erfunden), die auf die Frage „Wer ist X?“ folgen, der letzte Absatz den Tod der Person beschreibt. Und voilá, es erstellt einen entsprechenden Text.

Auf die Frage, woher es das wisse, hat es in seinem Modell genug Nachrufe gespeichert, dass z. B. der weiter oben eingeführte Geburtsort London dazu führt, dass „passende“ Nachrufe oft im Guardian erscheinen. Und prompt „dichtet“ es einen solchen.

Nichts davon ist intentionales Denken, es ist kein Erfinden und kein darauf Bestehen. Es ist, wie Michael Wojcik beschreibt: Mathematik und Wahrscheinlichkeiten auf der Grundlage der im Internet zugänglichen Texte vor 2021.

Hier passt dann wieder das fast schon zeitlose Zitat von Ted Chiang sehr gut:

„The fact that ChatGPT rephrases material from the Web instead of quoting it word for word makes it seem like a student expressing ideas in her own words, rather than simply regurgitating what she’s read; it creates the illusion that ChatGPT understands the material. […] When we’re dealing with sequences of words, lossy compression looks smarter than lossless compression“