Wahrscheinliche Antworten laut Studie der University of Southern California manchmal falsch

Die von der Künstlichen Intelligenz (KI) ChatGPT erstellten Texte sind aktuell noch höchst fehleranfällig, wie eine Studie der University of Southern California (https://www.usc.edu) unter der Leitung von Mayank Kejriwal und der Ingenieurstudentin Zhisheng Tang zeigt. Sie haben ChatGPT und andere KI-basierte Systeme auf ihre Fähigkeit überprüft, rational zu arbeiten.

Riesige Datensätze als Basis

ChatGPT stützt sich bei seiner Formulierung von Texten auf bereits vorhandene Basiskomponenten. Es “lernt” aus riesigen Datensätzen, die über das Internet verteilt sind, und liefert das, was statistisch gesehen am wahrscheinlichsten richtig ist. “Trotz ihrer beeindruckenden Fähigkeiten denken große Sprachmodelle nicht wirklich. Sie neigen dazu, elementare Fehler zu machen und sogar Dinge zu erfinden. Da sie jedoch eine fließende Sprache erzeugen, neigen die Menschen dazu zu glauben, dass sie denken können”, sagt Kejriwal.

Dies, so Kejriwal und Tang, habe sie veranlasst, die vermeintlich kognitiven Fähigkeiten der Modelle zu untersuchen – eine Arbeit, die jetzt an Bedeutung gewonnen habe, da solche Textschöpfungsmodelle allgemein zugänglich sind. Sie haben Computer-Rationalität als die Fähigkeit definiert, sich bei verschiedenen Lösungsmöglichkeiten für jene zu entscheiden, die der Wahrheit am nächsten kommt oder sie punktgenau zu treffen. Bei ChatGPT haben die Wissenschaftler diese Rationalität eigenen Angaben nach in vielen Fällen nicht gefunden.

Unschuldiger Professor am Pranger

Besonders krass ist ein Fall, den die “Washington Post” aufgedeckt hat. Im Rahmen einer Forschungsstudie hatte ein Anwalt in Kalifornien ChatGPT gebeten, eine Liste von Rechtswissenschaftlern zu erstellen, die jemanden sexuell belästigt hatten. Auf der Liste erschien auch der Name des Juraprofessors Jonathan Turley. Er habe sexuell anzügliche Kommentare abgegeben und versucht, einen Schüler während einer Klassenfahrt nach Alaska zu unsittlich berühren. Die KI “zitierte” einen Artikel vom März 2018 in der Washington Post als Quelle. Doch einen solchen Artikel gibt es nicht. Auch die angesprochene Klassenfahrt hat nie stattgefunden. Woher ChatGPT die Info bezogen hat, ließ sich nicht rekonstruieren.

“Es ist eine sehr spezifische Kombination von Fakten und Unwahrheiten, die diese Systeme ziemlich gefährlich machen”, sagt Kate Crawford, Professorin an der University of Southern California, die selbst betroffen ist. Sie sei kürzlich von einem Journalisten kontaktiert worden, der ChatGPT verwendete, um Quellen für eine Geschichte zu recherchieren. Der Bot schlug Crawford vor und bot Beispiele für ihre relevante Arbeit an, darunter einen Artikeltitel, ein Veröffentlichungsdatum und Zitate. Alles klang plausibel – und alles war gefälscht.