Zukunftsforschung für KI: Wie man Hypes von sinnvollen Anwendungen unterscheidet

Wie soll man erkennen, was eine revolutionäre KI-Anwendung ist und was ein hohler Hype, wenn selbst die echten Experten nicht mehr mitkommen: "Die Geschwindigkeit, mit der die Anbieter neue Modelle auf Markt bringen, ist selbst für mich, der sich praktisch mit nichts anderem befasst, kaum zu packen", sagt Datenspezialist und Mathematiker Christian Bennefeld, der sich seit dem ChatGPT-Hype auf die Analyse von KI-Anwendungen spezialisiert hat. "Man ist ein paar Tage draußen - und hat scheinbar das Leben verpasst."

Wie soll man da mithalten, wenn man als Entscheider bei einer Agentur, Shop oder Marke was entscheiden muss? Rennt man nun dem Trend um Advanced Reasoning hinterher, weil alle Modelle ohne Schrott sind? Kaum hat man dann das Advanced-Reasoning-Projekt gestartet, kommt auf einmal KI mit Deep Research um die Ecke und wird als Revolution gefeiert. Selbst wenn man die Tools nicht testet, sondern sich reihenweise Youtube-Videos von Experten (?) ansieht, ist es kaum möglich, die benötigte Zeit aufzubringen. Ein Agentur-Leiter sagte gegenüber iBusiness, dass er inzwischen dazu übergegangen ist, sich nach dem Zubettgehen reihenweise KI-Tutorials und -Test-Videos anzusehen.

Doch selbst wenn man sich am Fließband die KI-Nachrichten-Konzentrate reinzieht, wird man nicht wirklich die notwendige Kompetenz erwerben, zu beurteilen, was denn nun wirklich revolutionär ist.

"Revolution!" schreit LinkedIn - und keiner fragt: Was heißt das eigentlich?

Professor Ralph Sonntag ist Digitalexperte, Marketing-Fachmann und Rektor der Hochschule Stralsund  , die einen Fachbereich für Data Science und KI unterhält. "Die Frage ist in erster Linie, was ist Evolution, was Revolution", sagt Sonntag. Evolution sei technischer Fortschritt, Revolution deutlich mehr: "Das Bisherige wird verdrängt und es gibt eine grundlegende Neuerung. Wenn wir uns KI in den letzten Jahren anschauen, dann ist das Bisherige weiterhin existent und ein permanenter Fortschritt geschieht." Nun könnte man entgegnen, dass man irgendwann auch mit kleinen Schritten revolutionäres Quasi-Territorium erreicht - allerdings erfordert das zum einen kein schnelles Handeln. Zum anderen trifft es auch immer weniger zu, dass es spürbar weitergeht: KI macht immer kleinere Schritte vorwärts (wieso das so ist und mehr zum Thema in der iBusiness-Analyse Wie wahrscheinlich ist es, dass KI die Interaktiven abschafft?). Die großen Modelle, darauf weist Christian Bennefeld hin, dümpeln schon länger um eine Antwortgenauigkeit von 85 Prozent herum.

Von einer wirklichen Revolution ließe sich nur sprechen, argumentiert Sonntag, wenn eine KI einen Sprung schafft, der weit über eine graduelle Verbesserung hinausgeht.

• Transformation von Wissen: KI, die das Wissen zu Themen auch auf ganz andere Bereiche transferiert, z.B. Wissen aus der Architektur, wird auf Fragestellungen der Medizin genutzt (z.B. Zellstruktur)
  
• Bewusstsein: KI, die ein subjektives Erleben oder Selbstbewusstsein entwickeln könnte
  
• Gefühl: Abbildung und Verständnis von Empathie und emotionaler Intelligenz
  
• Brain Computer Interface: Symbiose von KI und menschlichem Denken, z.B. Gedanken extrahieren oder Wissen in das Gehirn transferieren
  
• Kreativität: Künstlerische Kreation, z.B. zerschnittenes Bild von Bansky
  
• Semantische Abstraktion: Modellierung von Werten (z.B. was ist Schuld) und Emotionen (was ist Freude, Liebe, Trauer)
  
• Autonome Kooperation: Selbständige Vernetzung von KI-Modellen
  
• Soziale Integration: Einbau von KI in gesellschaftliche Entscheidungen, z.B. Politik, Wahl

Wie man ein Gespräch mit einem enthusiastischen KI-Berater führt

Diese Checkliste erfüllt aktuell keine Anwendung und kein Modell. Damit bliebe die Frage nach dem graduellen Fortschritt: Wann ist er so groß, dass man als Institution (Agentur, Marke, Shop, Berufsgruppe) darauf reagieren muss. Aktuell will einem das grassierende Beraterunwesen in Social Media ja jedes Update und jede neue Anwendung als relevant verlaufen. Kim Philip Schmidt, Geschäftsführer der Agentur KAIPS Marketing   , hat für sich einen mentalen Fragebogen entwickelt, mit dem er sich andienende KI-Experten auf Substanz abklopft: Misstrauisch werde er, "wenn jemand nur die Ergebnisse darstellt, anstatt das Tool zu veranschaulichen." Mit ein paar gezielten Fragen lasse sich auch herausfinden, ob jemand nur auf einen bestehenden Hype aufspringe oder eigene Expertise besitzt: "Neulich wollte mir jemand ein Tool verkaufen, das Website-Besucher filtert, mit dem LinkedIn-Profil abgleicht und dann Kontakt mit ihnen aufnimmt." Schmidt fragte nach der genauen Funktionsweise, ob der Prozess DSGVO-konform laufe, ob die Validierung via IP und Mac-Adresse stattfinde? "Die Antwort war: 'Das macht alles die KI.' Ich entgegnete, dass aber vieles, was so eine KI mache, in Deutchland nicht erlaubt sei!"

An dieser Stelle würden viele Gesprächspartner dann schon pampig oder flapsig: "Ob jemand weiß, wovon er oder sie spricht, findet man am besten im persönlichen Dialog heraus - solche Gespräche laufen idealerweise ruhig und vernünftig, sind nicht auf Vertrieb ausgelegt." Klare Warnzeichen sind für Schmidt ironische Formulierungen wie 'Ich nehme an, sie wollen keine neuen Kunden' oder 'Sie haben keine Zeit für mehr Kundentermine'. Die Scharlatanerie habe direkt mit dem Hype um ChatGPT "Erst wurden Prompting-Listen verkauft, dann kamen JailBreakings mit denen man den Bot so 'knacken könne, dass er alles macht, was du willst'!" zu tun.

Ganz oft reden sich die Unterhändler der AI-Apokalypse schon um Kopf und Kragen, wenn man nur die genaue technische Funktion erklärt haben wolle: "Überträgt man das auf ein Automobil, so sollte das Gegenüber einem schon sagen können, wie ein Ottomotor funktioniert. Da würde man sich ja auch nicht zufrieden geben, wenn als Antwort nur kommt: 'Man kippt Benzin hinein und dann läuft der!'"

Aber auch gute KI-Anwendungen mit kompetenten Leuten dahinter müssen nicht zwangsläufig das Richtige für eine Agentur oder Firma sein.

Die Nutzlosigkeit von 'Benchmarks' - und worauf es wirklich ankommt

Ein blenderischer Wert zur Einschätzung einer KI sind die Benchmarks. Im Prinzip sind die so etwas wie eine Abitur-Prüfung: Man fragt die KI ab und schaut, wie richtig sie liegt. Für Bennefeld eine denkbar ungeeignete Messgröße, um die Eignung einer KI für das eigene Business abzuklopfen: "Die KI wird anhand bestimmter Fragestellungen trainiert - und natürlich beherrscht sie diese Aufgaben dann ausgezeichnet." Das Phänomen, das hier zum Tragen komme, sei die sogenannte Contamination: "Die zugrundeliegenden Trainingsdaten sind dann buchstäblich mit Fragen und den dazugehörigen Antworten verschmutzt." Das ist nicht gut, weil es eine unvoreingenommene Funktion der KI beeinträchtigt.

Theoretisch lässt sich die Contamination messen, aber dafür bräuchte es natürlich das Set an Trainigsdaten und -Fragen; etwas, das die Anbieter natürlich nicht herausrücken: "KI-Anwendungen aus dem asiatischen Raum sagt man sogar dezidiert nach, dass sie gezielt darauf trainiert werden, in den Benchmarks gut abzuschneiden."

Auch Bennefeld zieht hier einen Vergleich der KI mit dem Automobil heran: "Auf dem Papier hat man schon das Vier-Liter-Auto gehabt; de facto hat das Gefährt jedoch niemals vier Liter verbraucht: Man fährt im Stadtverkehr - und schon passen diese Verbrauchs-Benchmarks nicht mehr."

Schon mal gehört? Um die Performance von KIs zu testen gibt es spezielle Arenen. In denen lässt man buchstäblich zwei oder mehrere KIs aufeinander los und guckt, welche eine Fragestellung am besten beantwortet. Der Kampf läuft anonym ab, wer als Sieger hervorgegangen ist, sieht man erst hinterher. "Solche Arenen sind dafür da, die künstlichen Benchmarks der Anbieter zu neutralisieren; allerdings kommt es auch hier zunehmend zu gezielten Manipulationen", sagt Bennefeld: Die KI wird so trainiert, dass sie darauf ausgelegt ist, die Bewährungsprobe in einer Arena zu überstehen oder gar zu manipulieren. Es bleibt ein Wettrüsten zwischen den Arenen und den Anwendungen.

Für den geneigten Technikfuchs hat Bennefeld eine Test- und Leseliste zusammengestellt:

• Die führende Arena ist lmsys   - die Teilnahme ist möglich unter lmarena.ai  
• Eine Liste ähnlicher Arenen bietet huggingface.co   - für Bildgenerierung, Sprache, Coding etc. - "Aber Achtung: Hier sind nicht alle Arenas auf dem neusten Stand und man muss genau schauen, was da wirklich gebenchmarkt wird", gibt Bennefeld zu bedenken. Die offiziellen Arenen seien zudem Anfang Mai in einem Paper in Frage gestellt worden  . Die Modelle großer Anbieter wie Meta, Google und OpenAI hatten demnach mehr 'Ausspielungen' in der Arena als 83 open-weight Modelle   zusammen. So etwas resultiert dann meist in einer Verschiebung (einem 'Bias') zugunsten der Publikumslieblinge. Es sieht dann so aus, als schnitten die großen Modelle besser in der Nutzergunst ab. Kann aber auch heißen, "sie wurden eventuell durch Tricks der Anbieter im Verhältnis zu anderen Modellen einfach nur häufiger für Tests ausgespielt."
• Eine Übersicht diverser Standard-Benchmarks, deren Datasets und wie die großen Modelle bei ihnen abschneiden, bietet Epoch AI  . Auffällig ist hier für Bennefeld, "wie gut die open-weight Modelle gegenüber den kommerziellen Modellen im MMLU Test, dem bekanntesten Test, abschneiden".

Am Ende zählt vor allem eine Frage

Wer sich nicht so tief in den technischen Kaninchenbau hinabbegeben möchte (oder schlicht auch nicht kann), kann am Ende ein einfaches Verfahren anwenden, um nicht den Überblick zu verlieren: "Ich lasse mich von Benchmarks und Hypes nicht beeindrucken, sondern nehme sie nur zur Kenntnis. Und dann sehe ich mir die Modelle an, wenn sich nach einer gewissen Zeit der Staub gelegt hat", sagt Benefeld. Und dann geht er nach einem bestimmten Muster vor.

• Die Anwendung wird für den eigenen Nutzungskontext herangezogen, also nicht anhand von Benchmarks, Buzz und Cases anderer Firmen beurteilt.
  
• Innerhalb des eigenen Anwendungsfalles sieht man sich zwei oder drei vielversprechende Modelle an und testet, ob sie hier eine Verbesserung mit sich bringen.

Es mag ja durchaus sein, dass eine KI beim einen Anwender die Prozesse auf den Kopf stellt und die Effizienz boostet - in der Umgebung eines anderen Nutzungskontextes mag sie schlicht und ergreifend unnötig oder die falsche Anwendung sein.