LLM denken nicht, sie rechnen

Sich selb­st zu googlen ist mit­tler­weile ja schon fast eine Notwendigkeit. nach Infor­ma­tio­nen über sich selb­st zu fra­gen, kann hinge­gen zu etwas ver­stören­den Ergeb­nis­sen führen. So schreibt der Bot nach der entsprechen­den Frage von Alexan­der Hanff:

„Trag­i­cal­ly, Hanff passed away in 2019 at the age of 48“

Dieser erfreut sich jedoch bester Gesund­heit – son­st fiele es ihm wohl auch schw­er, die entsprechende Frage zu stellen. Hanff hakt nach und erfährt so, dass in der Berichter­stat­tung über seinen Tod keine Todesur­sache genan­nt wird, und dass es mehrere Nachrufe über ihn gibt. Natür­lich gibt es diese nicht.

Er schlussfol­gert daraus:

„At this point it seems the AI was dou­bling down on the lie by men­tion­ing rep­utable media out­lets in an attempt to make the sto­ry more believ­able“

Und das ist genau der Kat­e­gorien­fehler, auf den Eliz­a­beth Weil hin­weist, wenn sie schreibt:

„We go around assum­ing ours is a world in which speak­ers — peo­ple, cre­ators of prod­ucts, the prod­ucts them­selves — mean to say what they say and expect to live with the impli­ca­tions of their words. This is what philoso­pher of mind Daniel Den­nett calls “the inten­tion­al stance.” But we’ve altered the world. We’ve learned to make “machines that can mind­less­ly gen­er­ate text,” Ben­der told me when we met this win­ter. “But we haven’t learned how to stop imag­in­ing the mind behind it.“

Auch Kom­men­ta­tor Michael Woj­cik unter dem Hanff-Artikel trifft es sehr gut:

„Chat-GPT nev­er „thought“ Hanff was dead. It doesn’t think. It’s a long way from any­thing that can rea­son­ably be described as think­ing.
It was phrase-extend­ing and it hit a gra­di­ent in para­me­ter space that took it down a non-fac­tu­al path. That’s all. Every­thing else imput­ed to it in Hanff’s piece – lying, „dou­bling down“, mak­ing things up – is a cat­e­go­ry error. There are no qualia in the GPT mod­els. There’s no malev­o­lence. There’s no imag­i­na­tion.“

Chat­G­PT ver­ste­ht nicht ein­mal, dass es bei der Frage um eine Per­son geht und diese ster­ben kön­nen. Es „weiß“ (und hier vere­in­fache ich nochmal deut­lich): Texte, die die Worte „Wer ist X?“ bein­hal­ten, haben oft danach die Zeichen­folge „X ist…“. Dann schaut es, welche Worte in Tex­ten, die „X ist …“ bein­hal­ten, gehäuft vorkom­men und gener­iert daraus seinen Text. So entste­hen auch leichte Unge­nauigkeit­en wie ein falsch­er Geburt­sort (Lon­don) im richti­gen Land. In Tex­ten über X ist ver­mut­lich häu­figer von Lon­don die Rede, weil er dort arbeit­et oder die Stadt sonst­wie rel­e­vant für ihn ist.

Irgend­wann kommt Chat­G­PT dann an den Punkt, wo es seinen Text abschließt und hat errech­net, dass in 63 Prozent der Texte (Zahl frei erfun­den), die auf die Frage „Wer ist X?“ fol­gen, der let­zte Absatz den Tod der Per­son beschreibt. Und voilá, es erstellt einen entsprechen­den Text.

Auf die Frage, woher es das wisse, hat es in seinem Mod­ell genug Nachrufe gespe­ichert, dass z. B. der weit­er oben einge­führte Geburt­sort Lon­don dazu führt, dass „passende“ Nachrufe oft im Guardian erscheinen. Und prompt „dichtet“ es einen solchen.

Nichts davon ist inten­tionales Denken, es ist kein Erfind­en und kein darauf Beste­hen. Es ist, wie Michael Woj­cik beschreibt: Math­e­matik und Wahrschein­lichkeit­en auf der Grund­lage der im Inter­net zugänglichen Texte vor 2021.

Hier passt dann wieder das fast schon zeit­lose Zitat von Ted Chi­ang sehr gut:

„The fact that Chat­G­PT rephras­es mate­r­i­al from the Web instead of quot­ing it word for word makes it seem like a stu­dent express­ing ideas in her own words, rather than sim­ply regur­gi­tat­ing what she’s read; it cre­ates the illu­sion that Chat­G­PT under­stands the mate­r­i­al. […] When we’re deal­ing with sequences of words, lossy com­pres­sion looks smarter than loss­less com­pres­sion“

Quellen

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert