KI besteht den Turing-Test - Mensch und Maschine sind nicht mehr zu unterscheiden

Das halbe Internet basiert auf Vertrauen. E-Commerce und Social Media können ohne nicht existieren. Bewertungsportale wie Yelp, Tripadvisor, Imdb oder OpenTable erst recht nicht. Menschen vertrauen darauf, dass die Bewertungen des Ebay-Verkäufers von anderen Menschen stammen, dass die Kommentare auf Amazon nicht von einer KI geschrieben wurden, die von dem Produzenten des Films dazu beauftragt wurde, eine positive Kritik zu schreiben.

Worum geht's: Studien an der University of California San Diego   und an der Yale School of Management   in New Haven/USA haben jüngst unabhängig voneinander herausgefunden, dass KI-Systeme derzeit schon so weit sind, dass sie Menschen glauben lassen können, die von ihnen produzierten Texte - denn darum geht es in den Untersuchungen - seien von Menschen geschrieben.

Der Studienaufbau sah dabei folgendermaßen aus: In Yale fütterte Balazs Kovacs , Professor für Organizational Behavior, ChatGPT-4 mit einer Masse an Yelp-Rezensionen   und forderte die KI auf, ähnliche Texte zu produzieren. Das Ergebnis legte er mehreren Testpersonen zusammen mit echten Yelp-Kritiken vor. Weder konnten die KI-Texte zuverlässig ihrem wahren Urheber zugeordnet werden noch die menschlich generierten. Texte von Menschen wurden etwa genauso oft für KI-generierte Texte gehalten wie umgekehrt. Auch wenn Jüngere bei dem Test etwas besser abschnitten, d.h. etwas häufiger die richtige Antwort gaben, bleibt die Feststellung: KI-Textproduktion lässt sich immer schlechter von menschengemachter unterscheiden.

In einer zweiten Studie an der University of California wurden die menschlichen TeilnehmerInnen zu einem schriftlichen Chat mit Unbekannten aufgefordert. Nachher sollten sie bestimmen, welcher ihrer Dialogpartner menschlich und welcher künstlich war  . Das Ergebnis: In mehr als der Hälfte der Fälle (54 Prozent) wurde ChatGPT-4 für einen Menschen gehalten, war das Gegenüber dann tatsächlich ein Mensch, erkannten dies 67 Prozent der StudienteilnehmerInnen.

Diese Art des Versuchsaufbaus ist nach dem englischen Mathematiker Alan Turing benannt, der die Methode 1950 erfand: Mensch führt ohne Sichtkontakt Gespräch mit Mensch und Maschine, resp. liest deren Texte. Kann die Versuchsperson nach dem Test nicht sagen, wer von beiden wer ist, hat die Maschine den Turing-Test bestanden.

Und das hat die KI hier eindeutig. Sowohl in New Haven als auch in San Diego haben viele Testpersonen die KI-Texte nicht als solche erkannt. KI nähert sich also mit großen Schritten menschengemachten Texten an, in Tonalität, Grammatik, Satzkonstruktion, sogar Slang-Ausdrücke beherrscht die Maschine.

Was das bedeutet, liegt auf der Hand: User Generated Content wird künftig noch stärker misstraut werden als bisher schon. Online-Shops und Bewertungsportale müssen sich jetzt Maßnahmen überlegen, um die Authentizität von menschlichen Kommentaren zweifelsfrei zu belegen. Denn sonst sind sie schnell weg vom Fenster. Etwa wenn positive Kommentare auf OpenTable jemanden wiederholt in Lokale locken, die den Versprechungen dann nicht standhalten.

Das gleiche gilt für alle Produktbewertungen im Internet, ebenso wie die von ganzen Unternehmen auf Google, ganz besonders von kleineren Unternehmen, die man nicht kennt. Aber auch Social Media dürfte bald von Fake-Beiträgen mit eigener Agenda geflutet werden.

Das Internet steht vor seiner nächsten Bewährungsprobe: Nicht gekennzeichneter KI-Content, abgeschickt mit dem Ziel, Menschen und Algorithmen im Sinne der unbekannten Absender zu beeinflussen.

Christian Gehl, iBusiness-Analyst

PS: iBusiness Executive Briefing ist ein exklusiver Service von iBusiness. Sie wollen ihn regelmäßig per E-Mail? Einfach kostenlos den iBusiness Daily Newsletter abonnieren.