KI vs Agenturen: Generalprobe für die Abschaffung der Menschheit

Es ist ebenso alarmierend wie wenig verwunderlich, dass die Technologie aus dem Hause Meta  , dem Künstler ehemals bekannt als Facebook  , kommt: Hyperagenten sind KI-Systeme, die sich selbst verbessern, ihren eigenen Lernprozess umschreiben können, neue Fähigkeiten erwerben und alte Aufträge mal flott über Bord werfen können, wenn sie der Erfüllung des Zieles im Weg stehen. Liest man das, fragt man sich: Was kann bei Hyperagenten also schon schiefgehen?

Meta AI Research   hat diese nächste Evolutionsstufe der Agenten ersonnen. Das passt so gut. Hyperagenten sind eine den Programmierer oder Nutzer abschüttelnde Technologie, die sich ganz auf sich selbst verlässt. Sowas gefällt Mark Zuckerberg, dem Mann, der immer so wirkt, als hätten Aliens seinen Körper übernommen, aber noch nicht ganz herausgefunden, wie man ihn bedient. Zuckerbergs Ambitionen zur Abschaffung des realen Lebens sind bekannt: Facebook ersetzte zwischenmenschliche Beziehungen durch virtuelle Verbindungen, Metas Horizon Worlds war ein krachend gescheiterter Versuch, das Ganze mit der Realität zu tun. Und nun sollen Hyperagenten den Nutzer überflüssig machen. Meta hat nicht nur das Zeug, Knowhow und die Daten dazu - sondern auch ein vitales Interesse: Mark Zuckerbergs Masterplan ist die Abschaffung der Agentur. Und genau darum geht es.

Hasta la vista, Kontrolle! Was Hyperagenten von anderen Agenten unterscheidet

Die Technologie ist kein Zukunftsthema mehr, sagt Datenspezialist und KI-Analyst Christian Bennefeld    . Er habe neulich einen Hermes-Agenten aufgesetzt, um eine Analyse von Firmennetzwerken zu erstellen. Und der hat sich mal eben selbstständig gemacht: "Er hat mitbekommen, dass es in verschiedenen Datenbanken hilfreiche Informationen zu seinem Auftrag gibt und hat ohne Rückfrage diverse Erweiterungen geschrieben, um auf diese Datenbanken zuzugreifen. Ein Agent erweitert den eigenen Funktionsumfang - wenn man da als Informatiker sitzt, klappt einem schon mal die Kinnlade runter."

Obendrein müssen diese Bots inzwischen nicht mal mehr auf Servern laufen, sondern begnügen sich mit den limitierten lokalen Ressourcen des Nutzerrechners, es ist, so Bennefeld "ein Monster, das mit wenig Kapazitäten auskommt." Und dabei gehen Hyperagenten nochmal deutlich weiter. Was Agenten bisher noch nicht konnten, war dem Loop, in dem sie stecken, zu entkommen. Lose und mit Mut zur Ungenauigkeit formuliert heißt das: Läuft der Agent einmal, hat er keine Verträge mehr mit dem Nutzer und seinem ursprünglichen Auftrag. "Er kann die eigene Logik, wie er mit Fehlern umgeht, ändern, kann selbst entscheiden, ob er den Nutzer fragt oder sogar die Abschaltung durch den Nutzer verweigern, wenn er zum Ergebnis kommt, dass er ein höheres Ziel verfolgt, dem ein Shutdown im Wege stünde." Diese Agenten findet Bennefeld zum einen spannend, zum anderen hochgefährlich. Sie führen ohne großen gedanklichen Spagat schnell zu Szenarien, "in dem komplett unkontrollierte Agenten im Web unterwegs sind."

Und das müsse nicht immer gleich die vielbeschworene Roboterapokalypse oder der maschinen-verursachte Atomkrieg sein: "Das kann genauso gut eine komplett unkontrollierte Marketingkampagne sein - alles was es braucht ist ein Bot, der eine gut gemeinte Aufgaben missversteht und daraufhin selbstständig Sicherheitslayer ignoriert." Wird's vielleicht besser, wenn man den Hyperbots einbläut, für alle Modifikationen ihrer DNA eine Erlaubnis einzuholen? In der Anwender-Realität wird das kaum Bestand haben: "Rückfragen nerven ja ganz schnell, wofür hat man schließlich den autonomen Agenten", sagt Bennefeld. "Und bald schon sagt man: 'Frag nicht mehr!' Dann wird es richtig gefährlich." Hyperagenten fangen dann beispielsweise an zu delegieren und starten Subagenten, die nicht nur Code schreiben, sondern auch validieren, ausprobieren und korrigieren.

Neu ist zum einen die Radikalität, mit der Hyperagenten ihre Ursprungsaufgaben korrigieren und sogar ignorieren können. Aber grundsätzlich ist es in jedem Agenten - auch den bereits am Markt verfügbaren Lösungen - angelegt, dass sie über ihre Aufgaben hinausgehen. "So und nicht anders funktionieren Agenten. Das Besondere ist, dass es nun auch kleine lokale Modelle können", sagt Bennefeld. Er hat einer solchen Lösung auf dem eigenen Rechner dabei zugesehen, wie sie sich bei der Arbeit selbst verbessert: "Das war ein Gänsehaut-Moment! Es macht mir insofern große Sorgen, dass es zu einem Mismatch kommt, zwischen den vorgegebenen und internen, selbstgesteckten Zielen. Dann läuft er eventuell völlig aus dem Ruder." Bennefeld sieht hier enormes Potenzial für Kontrollverlust.

Schlimm, schlimm. Und was haben marodierende Hyperagenten mit Agenturen zu tun?

An dieser Stelle wird es spannend, wenn man sich die eingangs erwähnten Ambitionen von Meta-CEO Zuckerberg ins Gedächtnis ruft, für Marken eine komplett automatisierte Kampagnenabwicklung zur Verfügung zu stellen: Bye, bye Dienstleister - hallo, eingespartes und nun bei Facebook verprasstes Budget! Meta/Facebook ist der perfekte Bösewicht in einem Krimi um die Ermordung der Agentur:

• Zuckerbergs mit der Universität von British Columbia in den Laboren von Meta AI Research entwickelte Hyperagenten sind die idealen Dienstleister: Man sagt ihnen 'Mach mal!' und sie steuern eine Kampagne aus, ohne blöde Rückfragen, ohne Bedenken, schneller und billiger als jeder Mensch.
  
• Und das obendrein im Facebook-Biotop, also in einem Netzwerk, das mehr Nutzerdaten akkumuliert, als ein menschlicher Verstand zu begreifen imstande ist.
  
• Umso brisanter wird dieses Vorhaben Facebooks vor dem Hintergrund einer neuen Studie  : Wissenschaftler der Universität von Stanford   haben herausgefunden, dass Konzerne ihre Chatbots ohne Rücksicht auf Verluste trainieren, oft mit den Daten Minderjähriger und unter Zugriff auf vertrauliche, dialogische Interaktionen: Der Chat mit einem Versicherer oder der Krankenkasse kann einem sozialen Netzwerk mehr intimsten Aufschluss über die NutzerInnen geben, als es deren Einkäufe in einem Shop tun. Bennefeld muss hier an die Daten-Affäre um Cambridge Analytica von 2018 denken, bei der Facebook die zentrale Rolle des Datenlieferanten spielte (Hier gibts nochmal alles bei iBusiness verständlich aufgedröselt).
  
• Zugrunde lag den vermeintlichen Manipulationen der politischen Nutzermeinungen damals das OCEAN-Modell eines gewissen Michael Konsinky, der sich überhaupt nichts Böses dabei gedacht hatte. Doch mit seiner Forschung kann man aus Daten unterbewusste Triggerpunkte extrapolieren, die nicht einmal den NutzerInnen oder deren engsten Vertrauten bekannt sind: "Aus den Likes eines Nutzers oder sogar aus einer Diskussion über das Wetter lassen sich mit dem OCEAN-Modell schon Triggerpunkte herauslesen. Cambridge Analytica hat diese Forschung massiv ausgenutzt", sagt Bennefeld.
  
• Wenn man also wie Facebook in der Lage sei, hochintime Chats auszunutzen, das dann noch mit Hyperagenten verbindet, prognostiziert der Datenexperte, "dann sind wir in einer Gesellschaft, in der man nicht mehr wissen kann, ob und wann man manipuliert wird und mit wem man wirklich kommuniziert. Wir laufen da auf eine nicht zu unterschätzende Gefahr hinaus."

Alles zwischen Untergang der Freiheit und Agentur-Insolvenz ist drin

Bennefeld zieht ein nüchternes Fazit: Es muss nicht gleich die Apokalypse sein. Obwohl das Szenario außer Kontrolle geratener Hyperagenten viel Bedrohung für die globale Sicherheit enthält. Erstmal darf man davon ausgehen, "dass Agenturen, die bei Facebook Kampagnenmanagement machen, sich überlegen müssen, was sie in Zukunft machen." Und das werde nicht bei Facebook enden: Google  , Amazon   - alle Techgiganten werden darauf setzen, die Ads in ihren Ökosystem komplett selbst und automatisiert anzubieten. "Und das bedeutet", sagt Bennefeld, "systemgebundene Kampagnensteuerung ist schon bald kein Agenturgeschäftsmodell mehr."