KI-Kollaps: Wieso generierte Inhalte bald schlechter werden statt besser

Eine weitgehend unbemerkte Meldung zum Thema KI war unlängst Amazons   Problem in Sachen Selfpublishing: Auf der Plattform des Onlineriesens finden sich mittlerweile so viele KI-generierte Romane als E-Books, dass es ein ernsthaftes Qualitätsproblem gibt, berichtet T3n  . Denn die Inhalte sind teilweise derart schrottig, dass sogar KI-Evangelisten das Schlottern bekommen. Amazon will nun gegen KI-EBooks vorgehen. Wieso das wichtig ist? Weil es schon jetzt, mitten im allerhöchsten KI-Rausch, ein Fenster auf den möglichen Niedergang der Technologie öffnet.

Das Problem der KI dabei ist nicht, dass mächtige Plattformen sie vielleicht zunehmend boykottieren. Das Problem ist schlimmer, denn nicht Amazon und Co. sind die Todfeinde der KI. Sie selbst ist es. Ihre eigene DNS ist auf Verfall ausgelegt. Wenn sich nichts ändert.

Das Ganze wird klar, wenn man sich die Frage stellt: Wieso kann eine KI artifzielle Romane generieren? Weil sie mit echten Romanen trainiert wurde, die Sprachmodelle haben es damit gelernt! Doch was passiert, wenn eine KI als Datenfutter KI-Romane bekommt? Bremst man die KI nicht aus, kommt man zwangsläufig an den Punkt, an dem die KI mit KI-Daten weitertrainiert wird. Gehen wir mal davon aus, diese KI Daten wirken so echt, dass sie 99 Prozent der Menschen überzeugen.

Dann nimmt man diese "99-Prozent-Daten" und jagt sie erneut durch die KI. Die arbeitet nun nicht mehr auf Basis echter 100-Prozent-Daten, sondern auf Basis von nur noch zu 99 Prozent täuschend echter Daten. Nimmt man nun diese Daten und jagt sie wiederum durch die KI, sinkt die Überzeugungskraft erneut: 0,99x0,99 = 0,98.

Der Niedergang der KI droht noch, bevor sie Zeit hatte, die Menschheit auszurotten

Trainiert man so weiter und weiter, landet man schon nach 10 Durchgängen bei nur noch 56 Prozent täuschend echten Daten. Das ist sowohl mathematisch grob vereinfacht, als auch, was die Trainingsstrategien von KI angeht. Es ist ein Gedankenexperiment, was aufzeigen kann, wie hoch das theoretische Potenzial von Daten-Korruption ist, wenn sich Daten auf Basis von Daten fortpflanzen: Die Frage lautet also: Ist dieser "Daten-Inzest" eine reale Gefahr, die den Niedergang des KI-Königreichs einleiten könnte?

Ja, die Möglichkeit besteht. Forscher der Universitäten Oxford, Cambridge, London und Toronto haben in einem Versuch eine KI zur Handschriften-Generierung mit KI-generierten Handschriften trainiert. Dann wurden die Ergebnisse zum weiteren Training verwendet, erneut Handschriften generiert und mit diesen wurde wieder trainiert und so fort. Ergebnis: Nach genug Schleifen brach das Modell vollkommen zusammen. Es war nichts mehr übrig, was menschlicher Handschrift glich.

Die Forscher kommen in ihrer Studie   zu dem Ergebnis, dass die Modelle buchstäblich vergessen, wie etwas geht, wenn man sie lange genug mit den eigenen Daten füttert: "Wir stellen fest, dass die Verwendung modellgenerierter Inhalte im Training zu irreversiblen Fehlern in den resultierenden Modellen führt, bei denen die Muster der ursprünglichen Inhaltsverteilung verschwinden." Dieser Effekt wird als Modellkollaps bezeichnet und er ist offenbar in allen generativen Modellen vorhanden. Ein Phänomen, das "ernst genommen werden muss, wenn wir die Vorteile des Trainings auf der Grundlage umfangreicher Daten aus dem Internet aufrechterhalten wollen. Tatsächlich wird der Wert von Daten aus echten menschlichen Interaktionen immer wertvoller, wenn KI-generierte Inhalte im Internet vorhanden sind."

Auch deutsche Wissenschaftler sehen die Gefahr der dahinschmelzenden Datenqualität für die lernenden Algorithmen der KI. "Ich würde es als 'im eigenen Saft schmoren' bezeichnen und mit den Blasen vergleichen, mit denen sich menschliche Akteure im Internet einhüllen", sagt etwa Professor René Peinl, Leiter des Institutes für Informationssysteme an der Hochschule Hof  : "Es gibt auch schon entsprechende Warnungen im Internet, dass mit KI-Inhalten 'vergiftete' Inhalte die Qualität, insbesondere von Open Source Modellen, beeinträchtigen."

KI-Inhalte vergiften die Weiterentwicklung der lernenden Algorithmen

Peinl sieht aber limitierende Faktoren beim KI-Verfall: Zum einen lautet die Frage, wie sehr sich denn künstliche Daten von menschlichen unterscheiden und ob diese Unterschiede wirklich relevant sind: "Zunächst einmal können sie natürlich Fehler enthalten oder halluzinierte Fakten von Sprachmodellen." Letzteres sei aus seiner Sicht jedoch nicht signifikant unterschiedlich zu absichtlich oder unbewusst verbreiteten Fake News, die auch jetzt schon reihenweise im Netz kursieren. Diese Art von Qualitätsproblem bestehe also bereits. "Dann können KI-Daten qualitativ minderwertig sein: Bilder können schlecht gemalt sein, oder Texte grammatikalisch falsch. Auch das ist ein Problem, das schon jetzt mit menschlichen Inhalten besteht."

Gefährlicher ist da die Uniformität der Inhalte, besonders bei Texten zeigt sich das, so Peinl: "Bilder ähneln sich. Texte haben häufig eine ähnliche Argumentationsstruktur: Fragen werden zunächst wiederholt, dann Argumente dafür und dagegen geliefert. Am Ende zusammengefasst, vielleicht noch ein Warnhinweis, dass man sowas nicht in der Realität ausprobieren sollte, oder es eine einseitige Darstellung war, die ganz viele anderen Meinungen unberücksichtigt ließ. Das", so Peinl, "die Gleichheit, die Monotonie, die eventuell zu Sättigung und Ablehnung führt, ist vermutlich die größte Gefahr für das Training zukünftiger Modelle."

Allerdings würde er "nicht erwarten, dass prozentual gesehen sehr schnell erhebliche Anteile der Texte im Netz KI generiert sein werden. Obwohl: Bei Bildern ist es eventuell anders."

Das Problem wächst exponentiell

Diese eher zuversichtliche Einschätzung zur Entwicklung artifizieller Daten teilt Datenexperte und Serien-Gründer Christian Bennefeld nicht. Der studierte Informatiker und Mathematiker Christian Bennefeld sagt: "Wenn man sieht, wie viele maschinengenerierte Inhalte gerade kolportiert werden, finde ich die Entwicklung doch bedenklich. Und die Mengen wachsen ja mit exponentieller Geschwindigkeit." Er mache sich vor allem um die Wahrheit sorgen: "Fakes nehmen Überhand und jetzt kommen noch KI-Halluzinationen dazu: Wenn die KI nicht viele Infos zu einem Thema hat, reimt sie sich aus partiellen Infos etwas zusammen", sagt Bennefeld. Als er etwa die Historie seiner eigenen Firma von ChatGPT   verfassen ließ, imaginierte der Bot einen Mitgründer namens Sven Walter aus dem Nichts und machte aus Bennefeld selbst einen Telekommunikations-Experten.

Je länger dies andauert, desto mehr KI-Inhalte werde es im Web geben und desto schlechter werden die KIs werden: "Die Vorteile werden die Early Mover haben: Alle, die früh eingestiegen sind: Stable Diffusion  , Midjourney   - alle, die auf eine Basis menschengenerierter Inhalte zurückgreifen können, die ihre KIs noch ganz ohne Maschineninhalte trainiert haben." Je später man also eigene KI-Lösungen auf den Markt bringt, desto höher wird die Daten-Korruption der Trainingsdaten ausfallen. Das Web als Ressource wird zunehmend kontaminiert.

Es wäre nun theoretisch eine Lösung, maschinengenerierte Inhalte aus den Trainingsdatensätzen der KIs hinauszufiltern, so René Peinl, "eine automatische Identifikation von KI-generierten Inhalten versprechen zwar einige Anbieter, erscheint mir aber im großen Stil als kaum realistisch."

Rechnerisch gesehen, gibt es schon ab 2026 zu wenig Daten für KI-Trainings

Doch selbst, wenn es ginge: Seine KI mit biologisch angebauten Daten zu füttern, ist offenbar eine mehr und mehr verrinnende Option. Denn KI-Modelle laufen direkt auf eine akute Datenknappheit zu: Eine internationale Studie  , an der sich unter anderem das renommierte MIT   beteiligt hat, sagt voraus, dass der Datenbedarf schon bald den Datenbestand überholen wird: "Der Bestand an hochwertigen Sprachdaten wird bald erschöpft sein wird - voraussichtlich vor 2026. Der Bestand an Sprach- und Bilddaten geringer Qualität (...) zwischen 2030 und 2050."

Die Ergebnisse legen nahe, so die Autoren, dass sich der aktuelle Trend ständig wachsender ML-Modelle, die auf riesigen Datensätzen basieren, verlangsamen könnte, "wenn die Dateneffizienz nicht drastisch verbessert wird oder neue Datenquellen verfügbar werden." Mit anderen Worten: Es gibt keinen wissenschaftlichen Anlass zu glauben, Künstliche Intelligenzen würden künftig auf ewig immer nur besser und besser. Im Gegenteil: Den Modellen und Netzen gehen die Daten nicht nur aus, die Daten werden tendenziell immer schlechter.

Was tun, gegen die Durchseuchung des Webs?

Christian Bennefeld geht von einer anstehenden "Durchseuchung des Webs" mit künstlichen Daten aus, der man aktiv begegnen muss. Es gibt sogar Ansätze für Lösungen: "Bei Bildern etwa festeingebaute Wasserzeichen, die hineingeneriert werden. Die neue Generation davon Überlebt Bildmodifikationen wie Drehen und Verkleinern und lässt sich nicht einfach durch Manipulation der Metadaten entfernen. Hier hätten Lernmaschinen die Chance ein Bild von einer Maschine zu erkennen, selbst wenn der Autor das verschleiern will."

Freilich wird man irgendwann diese Wasserzeichen doch entfernen können - bis ein Update herauskommt, das dann wiederum geknackt werden wird: Ein technisches Wettrüsten um die Echtheit steht dem Web bevor. Die einzige langfristige Antwort wird Regulation sein: Etwa eine Kennzeichnungspflicht künstlicher Inhalte und ein Schutz der echten. SEOs versehen bereits manche Texte auf Webseiten-Ebene mit eine Sperre, so dass sie nicht zum Training für KIs gecrawlt und verwendet werden können.