OpenAI-Software ist laut einer Studie der UC Berkeley derzeit allen anderen Modellen überlegen
KI-Chatbots können Sätze wie ein ausgebildeter Linguist analysieren, zeigt eine Studie der UC Berkeley (https://www.berkeley.edu ). Sie liefert Einblicke in die Entwicklung von KI-Modellen und stellt zudem die Vorstellung infrage, dass nur Menschen über die Fähigkeit verfügen, über Sprache nachzudenken. “o1” von OpenAI hat sich dabei laut “IEEE Transactions on Artificial Intelligence” als eindeutig überlegen erwiesen.
KI erobert Metalinguistik
Laut Forschungsleiter Gašper Beguš wird das Sprechen über Sprache und die gezielte Einflussnahme, also die Metalinguistik, mittlerweile auch eine Domäne von KI-Chatbots. “Die am weitesten fortgeschrittenen ‘Large Language Models’ sind dabei, diese Lücke zu schließen. Sie können Sprache nicht nur nutzen, sie können auch reflektieren, wie die Sprache organisiert ist.”
Die Forscher haben 120 komplexe Sätze in mehrere Versionen von OpenAIs ChatGPT und Llama 3.1 von Meta eingespeist. Mit jedem Satz wurde das System angewiesen ihn zu analysieren und zu beurteilen, ob er über eine spezifische linguistische Qualität verfügt. Zudem wurde ein Diagramm erstellt, ein sogenannter Syntaxbaum, also visuelle Darstellungen der Struktur des Satzes und seiner Bestandteile.
Nur o1 sieht Mehrdeutigkeit
Bei dem Satz “Eliza wanted her cast out” wollten die Forscher zum Beispiel wissen, ob die KI eine mehrdeutige Struktur erkennen kann. Wollte Eliza, dass jemand ausgeschlossen wird? Oder wollte sie, dass ein Gips entfernt wird? Die Versionen 3.5 und 4 sowie Llama konnten diese Mehrdeutigkeit nicht erkennen. Das Model o1 von OpenAI hingegen hat die Mehrdeutigkeit erkannt und ein entsprechendes Diagramm erstellt. Dieses Modell ist auf komplexere Fragestellungen ausgerichtet.
Beguš hat die Systeme auf ihre Fähigkeiten hin analysiert, eine Rekursion zu erkennen, also die unendlichen Möglichkeiten der Sprache. Die KI-Modelle sollten herausfinden, ob bei einem Beispielsatz eine Rekursion vorlag und welche spezifische sprachliche Version es sich handelte. Zusätzlich wurden die Modelle angewiesen, eine ähnliche rekursive Klausel hinzuzufügen.
o1 war auch bei dem Satz “Unidentified flying objects may have conflicting characteristics” erfolgreich. Und es transportierte den Satz mit “Unidentified recently sighted flying objects may have conflicting characteristics” auf ein völlig neues Level.
