Interaktiv-Trends 2024/2025: Wie Datenmangel die KI ausbremsen wird

Die interne Funktionsweise von KI ist tückischer, als es von außen aussieht. Der Nutzer bzw. die Nutzerin sieht nur die Ergebnisse, die umfangreicher werdenden Funktionen, die scheinbar auf Menschenniveau geschriebenen Texte und die immer täuschenderen KI-Fotos. Doch KI ist wie das Herz eines seelenkranken Alkoholikers: Keiner weiß, wie schlimm es wirklich innen drin aussieht. Und so nimmt man an, dass alles schon irgendwie werden wird, aber der Ausgang muss nicht gut sein.

Denn der Fortschritt der lernenden Algorithmen (wie man KI besser nennen sollte) basiert auf einem Kreislauf, der im Idealfall eher eine nach oben weisende Spirale ist: Er läuft nach dem Schema "Training anhand Daten - Leistung - Fehler machen - daraus lernen - wieder von vorne, nur auf höherem Niveau".

Doch es ist aufgrund der Datenlage sehr schwierig, einen ständig nach oben, ins Optimale weisenden Updatezyklus zu kreieren. Denn man braucht neue Daten für die Trainings, menschengemachte, echte - mit KI-generierten Daten geht es nicht. Doch zu diesem KI-Inzest kommen wir später, wenn es richtig hässlich wird.

Erstmal die noch erwartbar hässliche Nachricht: Tendenziell werden für Trainings schon bald die verfügbaren und ausreichend sauberen Daten ausgehen und die Trainings-Ergebnisse schlechter werden. Der Zyklus ändert sich also von "Training mit Daten - Leistung - Fehler machen - daraus lernen - wieder von vorne, nur auf höherem Niveau" zu "nur auf niedrigerem Niveau". Denn ohne Daten macht die KI keinen Fortschritt, füttert man sie nicht weiter oder verwendet schlechtere Daten, dann geht es bergab und die Fehlerquote steigt. Was aber sind schlechte Daten? Da gibt es verschiedene Spezies.

1. KI-Daten sind schlechte Daten

Zum Beispiel von der KI erzeugte Daten. Füttert man eine KI mit von ihr oder einer anderen KI generierten Daten, entsteht eine Art "Daten-Inzest", den wir aus ästhetischen Gründen einfach mal ab hier "Daten-Korruption" nennen. Ist dieses Phänomen ein Schreckgespenst, eine reale Gefahr, die den Niedergang des KI-Königreichs einleiten könnte?

Ja, die Möglichkeit besteht. Forscher der Universitäten Oxford, Cambridge, London und Toronto haben in einem Versuch eine KI zur Handschriften-Generierung mit KI-generierten Handschriften trainiert. Dann wurden die Ergebnisse zum weiteren Training verwendet, erneut Handschriften generiert und mit diesen wurde wieder trainiert und so fort. Ergebnis: Nach genug Schleifen brach das Modell vollkommen zusammen. Es war nichts mehr übrig, was menschlicher Handschrift glich.

Die Forscher kommen in ihrer Studie   zu dem Ergebnis, dass die Modelle buchstäblich vergessen, wie etwas geht, wenn man sie lange genug mit den eigenen Daten füttert: "Wir stellen fest, dass die Verwendung modellgenerierter Inhalte im Training zu irreversiblen Fehlern in den resultierenden Modellen führt, bei denen die Muster der ursprünglichen Inhaltsverteilung verschwinden." Dieser Effekt wird als Modellkollaps bezeichnet und er ist offenbar in allen generativen Modellen vorhanden. Ein Phänomen, das "ernst genommen werden muss, wenn wir die Vorteile des Trainings auf der Grundlage umfangreicher Daten aus dem Internet aufrechterhalten wollen. Tatsächlich wird der Wert von Daten aus echten menschlichen Interaktionen immer wertvoller, wenn KI-generierte Inhalte im Internet vorhanden sind."
Auch deutsche Wissenschaftler sehen die Gefahr der dahinschmelzenden Datenqualität für die lernenden Algorithmen der KI. "Ich würde es als 'im eigenen Saft schmoren' bezeichnen und mit den Blasen vergleichen, mit denen sich menschliche Akteure im Internet einhüllen", sagt etwa Professor René Peinl, Leiter des Institutes für Informationssysteme an der Hochschule Hof  : "Es gibt auch schon entsprechende Warnungen im Internet, dass mit KI-Inhalten 'vergiftete' Inhalte die Qualität, insbesondere von Open Source Modellen, beeinträchtigen."

Der studierte Informatiker und Mathematiker Christian Bennefeld sagt: "Wenn man sieht, wie viele maschinengenerierte Inhalte gerade kolportiert werden, finde ich die Entwicklung doch bedenklich. Und die Mengen wachsen ja mit exponentieller Geschwindigkeit." Er mache sich vor allem um die Wahrheit Sorgen: "Fakes nehmen Überhand und jetzt kommen noch KI-Halluzinationen dazu: Wenn die KI nicht viele Infos zu einem Thema hat, reimt sie sich aus partiellen Infos etwas zusammen", sagt Bennefeld. Als er etwa die Historie seiner eigenen Firma von ChatGPT   verfassen ließ, imaginierte der Bot einen Mitgründer namens Sven Walter aus dem Nichts und machte aus Bennefeld selbst einen Telekommunikations-Experten.

Je länger dies andauert, desto mehr KI-Inhalte werde es im Web geben und desto schlechter werden die KIs werden: "Die Vorteile werden die Early Mover haben: Alle, die früh eingestiegen sind: Stable Diffusion  , Midjourney   - alle, die auf eine Basis menschengenerierter Inhalte zurückgreifen können, die ihre KIs noch ganz ohne Maschineninhalte trainiert haben." Je später man also eigene KI-Lösungen auf den Markt bringt, desto höher wird die Daten-Korruption der Trainingsdaten ausfallen. Das Web als Ressource wird zunehmend kontaminiert.

2. Schlechte Daten sind schlechte Daten

Aber man muss gar nicht zu synthetischen KI-Daten greifen, um seine KI zu verhunzen. Das geht auch mit menschengemachten Daten, wenn sie nur schlecht genug sind - denn wer sagt denn, dass Menschendaten überlegen sind?

Peinl findet vielmehr die Frage entscheidend, wie sehr sich denn künstliche Daten von menschlichen unterscheiden und ob diese Unterschiede wirklich relevant sind: "Zunächst einmal können sie (KI-Daten) natürlich Fehler enthalten oder halluzinierte Fakten von Sprachmodellen." Letzteres sei aus seiner Sicht jedoch nicht signifikant unterschiedlich zu absichtlich oder unbewusst verbreiteten Fake News menschlichen Ursprungs, die auch jetzt schon reihenweise im Netz kursieren. Diese Art von Qualitätsproblem bestehe also bereits. Dann können daraus erzeugte KI-Daten qualitativ minderwertig sein: Denn Vorlagen können schlecht gemalt sein, oder menschengemachte Texte grammatikalisch falsch. Das ist ein Problem mit menschlichen Inhalten, das keinen Deut besser ist, als das Problem mit künstlichen Daten.

Auch uniforme Inhalte liefern schlechte Daten: Bilder ähneln sich. Texte haben häufig eine ähnliche Argumentationsstruktur. Trainiert man eine KI mit uniformen, monotonen Daten - egal ob menschlichen oder künstlichen Ursprungs - werden auch die Ergebnisse monoton. "Das", so Peinl, "die Gleichheit, die Monotonie, die eventuell zu Sättigung und Ablehnung führt, ist vermutlich die größte Gefahr für das Training zukünftiger Modelle."

3. Vergiftete Daten sind schlechte Daten

Zunehmend wird daran gearbeitet, menschliche Werke, also Texte, Bilder, Filme, Audio - für die KI buchstäblich zu verderben. Data-Poisoning nennt man das. Data-Poisoning-Tools wie Glaze oder Nightshade wurden dazu geschaffen, urheberrechtlich geschützte Daten entweder vor dem Zugriff von KI zu schützen oder sie so zu manipulieren, dass sie Sand ins Getriebe der lernenden Algorithmen streuen. So schafft es Nightshade schon mit wenigen vergifteten Datensätzen, einen Bildgenerator Katzenbilder auswerfen zu lassen, wenn die NutzerInnen aber Hunde wollten.

Das Ganze funktioniert mit beinahe unsichtbaren Änderungen an den Bildern, winzigen Pixeln, die man darin unterbringt, die das Auge nicht erfasst, die den Algorithmus aber nachhaltig verwirren, so dass er ein X für ein U vorgemacht bekommt oder eine Katze für einen Hund. Wenn solche Daten in eine KI geraten sollten, kann man sich ausmalen, was für ein Schrott dabei herauskommt.

4. Keine Daten sind schlechte Daten

Noch sonnt sich KI in der ungetrübten Sonne der rauen Wildwest-Ära von Trainingsdaten. Doch wie der echte Wilde Westen wird auch diese Ära zu Ende gehen - im Grunde ist sie es schon. Kreative lehnen sich zunehmend dagegen auf, dass ihre Arbeit benutzt wird, um generative KIs zu trainieren. So bereiten etwa die Schriftsteller Paul Tremblay und Mona Awad Klagen gegen OpenAI vor. Sie glauben nachweisen zu können, dass die Firma ihre Bücher ohne Genehmigung zum Training von ChatGPT herangezogen hat, berichtet The Guardian  .

Zudem gibt es nun auch HTML-Befehle, mit denen man Chatbots von der eigenen Seite aussperren kann. So lässt sich verhindern, dass teure und aufwändige Inhalte ins Training der Algorithmen einfließen.
Auch die EU und andere regulierende Instanzen werden verstärkt mitreden. Eine Kennzeichnungspflicht für KI-Inhalte ist bereits beschlossen. Vielleicht auch ein OptOut für Kreative, so dass sie standardisiert ihre Inhalte aus Trainingsdatensätzen heraushalten können. Und weitere Urheberrechtsklagen werden nach wegweisenden Urteilen klare Grenzen aufzeigen.

Das Daten-Aus hat sogar schon einen Termin

Wer all das nicht ernst nehmen mag, dem sei versichert, dass dieser Daten-Notstand keine Redakteurs-Fantasie begeisterter KI-Hasser ist. Er ist wissenschaftlich belegt: Eine internationale Studie  , an der sich unter anderem das renommierte MIT   beteiligt hat, sagt voraus, dass der Datenbedarf schon bald den Datenbestand überholen wird: "Der Bestand an hochwertigen Sprachdaten wird bald erschöpft sein - voraussichtlich vor 2026. Der Bestand an Sprach- und Bilddaten geringer Qualität (...) zwischen 2030 und 2050."

Die Ergebnisse legen nahe, so die Autoren, dass sich der aktuelle Trend ständig wachsender ML-Modelle, die auf riesigen Datensätzen basieren, verlangsamen könnte, "wenn die Dateneffizienz nicht drastisch verbessert wird oder neue Datenquellen verfügbar werden." Mit anderen Worten: Es gibt keinen wissenschaftlichen Anlass zu glauben, Künstliche Intelligenzen würden künftig auf ewig immer nur besser und besser. Im Gegenteil: Den Modellen und Netzen gehen die Daten nicht nur aus, die Daten werden tendenziell immer schlechter.

Was also tun? Unternehmen sollten Datenorganisationen werden: Die Prozesse, die Schulungen der Mitarbeiterinnen und Mitarbeiter, die Systeme - alles sollte drauf ausgelegt werden, hochwertige Daten zu sammeln, erfassen und maschinenlesbar strukturiert abzulegen. Und wenn man schon dabei ist, knackt man auch gleich die Silos auf. Eigene, echte Daten zum Training von KIs werden wertvoll.