Agenten: Die vollautomatisierte Security-Katastrophe

Egal wie unfertig eine neue Technologie ist - wenn die Konkurrenz eine noch neuere, noch unfertigere Technologie herausbringt, muss man nachlegen. Getreu diesem Motto hat Google vor einigen Tagen seinen Agenten Remy angekündigt. Denn ein Konzern, der heute in Sachen KI mitmischen will, muss seinen eigenen Agenten haben - oder zumindest angekündigt haben.

Würde man mich fragen, was ich will - ich würde mir ja erstmal eine simple KI wünschen, die funktioniert. Einen Bot, der tut, was er verspricht - ohne Halluzinationen, Lücken und Zahlenmurks drin. Ich würde mir eine KI wünschen, die nicht droht, mir den Job wegzunehmen - sondern eine, die es wirklich tut! Ich warte drauf, dass ChatGPT  , Gemini   und die anderen meine Arbeit besser machen als ich - dann würde ich hier jetzt nicht mit Hals- und Rückenschmerzen hocken und in die Tasten hauen, sondern mit den Worten "Mach mal, Chattie!" ins Bett hüpfen. Aber gefragt hat mich keiner.

Also kommt jetzt Remy, damit Suchmaschinenkonzern Google seinen Wettbewerbern etwas entgegenzusetzen hat, die alle schon Agenten haben. Und das, obwohl nicht mal die zugrundeliegenden Künstlichen Intelligenzen auch nur ansatzweise fehlerfrei laufen.

Für eine Analyse dessen, was Remy vermag und wie er im Vergleich mit anderen Agenten abschneidet, ist es nicht nur zu früh und die Faktenlage zu mager, es ist auch ziemlich Wurst, was Remy alles können soll. Essentiell ist vielmehr zu diskutieren, wie gefährlich es sein kann, das Geschick seiner Firma oder auch nur seines Mittagessens (da kommen wir gleich zu!) in die Hände eines Agenten zu legen. Nicht weil die Agenten ein Bewusstsein entwickeln und Amok laufen, nicht weil sie so schlau sind, dass sie mich arbeitslos machen - nein, weil sie nicht so funktionieren werden, wie wir uns das wünschen. Agenten sind aktuell ein derart irrwitziges Sicherheitsrisiko - es dürfte besser für ihre Firma ausgehen, wenn sie der einsamen Schönheit aus ihrer Nachbarschaft oder dem Prinzen aus Nigeria einen Abreißblock Blankoschecks schicken. Wieso?

Wie fing das mit den modernen KI-Agenten eigentlich alles an?

Remy ist noch weit weg - Datenspezialist und KI-Analyst Christian Bennefeld    rechnet mit ein, eher zwei Jahren, bis Google eine fertige Lösung auf Business-Umfelder mit Multiuser-Szenarien loslassen kann. Kein Wunder, denn angefangen hat ja alles auch gerade eben erst. Im Dezember/Januar. Bis dahin gab es im Grunde nur Agenten, die Codingaufgaben übernommen haben, also sich weit, weit weg vom Alltag eines Endnutzers oder Business-Nutzers, etwa eines Abteilungsleiters, betätigt haben - Nerd-Zeug. Doch wirbelte (nicht zum ersten Mal übrigens) ein Österreicher die Weltgeschichte durcheinander: Der 37-jährige Software-Entwickler Peter Steinberger hatte sich angesehen, was eigentlich Coding-Agenten so tun, um ihren NutzerInnen das Leben leichter zu machen und baute dann das Ganze in OpenSource nach - das Ergebnis war der mehrmals umgetaufte Moltbot alias ClaudeBot alias Open Claw. Ein echtes Agentensystem, für Aufgaben außerhalb der IT-Crowd. Die Welt schrie laut "Wow!" und kurz danach, als die mörderischen Sicherheitslücken sichtbar wurden, noch lauter "Fuck!".

Steinberger bekam viel Kritik ab, weil Claude securitytechnisch noch nicht das Optimum war, aber die Geschichte war schon umgeleitet, der Stein einen Hype darauf zu bauen, gelegt: Nun würde es darum gehen, wer als erstes einen Agenten auf den Weg bringen würde - AgenticCommerce und eine AgenticEconomy waren schon seit Jahren, sogar Jahrzehnten das angestrebte Ziel des Machine Learning. Nun tauchten erstmals Lösungen auf, die ein quasi-realistisches Versprechen in sich trugen, die Vision zu erfüllen. Nun ist es nicht so, dass Agenten nicht komplexe Aufgaben mittels Delegation zu Sub- und Subsub- und so fort -Agenten übernehmen können und das zum Teil mit beeindruckenden Ergebnissen. Es geht aktuell im Wettrüsten der Agentenanbieter auch nicht wirklich darum, wer den besten Agenten hat, sondern, "aktuell besteht die große Schleife der Verbesserungen darin, an der Security zu feilen", sagt Christian Bennefeld. "Jeder will sagen können: 'Wir sind OpenClaude, nur ohne die Sicherheitsprobleme!'" Alle bauen es nach.

De facto sind alle aktuell erhältlichen Agentenlösungen, die OpenAI  , Microsoft   und Co. anbieten, "die Spitzen der Spitzentechnologie", so Bennefeld, was dagegen heute in den meisten Betrieben verwendet wird, seien normale Chatbots, weit weg von Agenten in der Produktivität: "Das ist Forschung und noch nicht in der Businesspraxis angekommen, sondern läuft im Labor und einigen progressiven Betrieben als Beta-Test."

Die Risiken indes bezeichnet Bennefeld, der regelmäßig Anwendungen auf seiner sicheren Heimrechner-Umgebung testet, für Unternehmen als 'riesig' ein. "Wenn man die dort scheitern sieht, kann das amüsant sein - in einer Praxisumgebung wäre es katastrophal." Aber was macht Agenten zum traumhaften Einfallstor für alle schlimmen Finger im Web?

Die Knackpunkte: Wieso Agenten verheerendere Sicherheitslücken besitzen als simple KI-Bots

Agenten lösen komplexe Aufgaben und bedienen sich dazu einer Erfindung der personalverantwortlichen Menschheit: der Delegation von Aufgaben. Unter-Agenten lösen Teilaufgaben, während der Boss-Agent das große Ganze im Blick hat, laienhaft formuliert.

• Soll mir mein Agent eine Reise buchen, lässt er einen Agent die Hotels gemäß meinen Wünschen abklopfen, ein anderer Agent bringt mich ans Ziel und vergleicht Flüge, Züge oder Mietautos nach Kosten- und Dauer-Gesichtspunkten etc. pp.
  
• Dafür benötigt jeder Agent eigene Berechtigungen. Stößt ein Agent etwa auf einer Hotelseite darauf, dass man nur per Mail reservieren kann, besorgt er sich deshalb schon mal beim Boss die Erlaubnis, meine Mails zu lesen und Mails in meinem Namen zu versenden. Da er ein braver Agent ist, fragt er nicht nach, denn er will mich ja entlasten (Na? Schon eine Ahnung, was hier so alles schief gehen könnte?)
  
• Ein anderer Agent wiederum darf den ganzen Spaß bezahlen und hat meine Paypal-Befugnisse. Wieder ein anderer kann für mich einen Reiseplan und ein Dossier mit Hinweisen zusammenstellen (deswegen hat er beispielsweise Excel- Word- oder Powerpoint-Befugnisse). Dieses Zuordnen von Aufgaben-Befugnis-Profilen an Agenten, damit die unterschiedliche Aufgaben lösen, nennt man Scoping. Scopes - also Bandbreiten oder Reichweiten - sind die Abgrenzungen der Rechte, quasi der Tellerrand der Fähigkeiten eines Agenten. Sowas muss man vor allem in Multiuser-Umgebungen festlegen. Wir wollen ja nicht, dass der Agent eine Rundmail an die Belegschaft verfasst, die gerade ihren Bonus für die Firma geopfert hat - Anhang: Die Spesenabrechnung der C-Levels, die gestern für zehntausend Euro feiern waren.
  

"De facto kann man in Multiuserumgebungen kaum verhindern, dass ein Agent etwa in Mitarbeiterlisten guckt und schaut, wer welches Gehalt bekommt", sagt Christian Bennefeld, der sich bei der gegenwärtigen Agentendämmerung an Unix   und die 70er Jahre erinnert fühlt: "Ein Betriebssystem, das aber nie wirklich darauf ausgelegt war in einem größeren Netzwerk zu funktionieren. Dann hat man es vernetzt und schnell gemerkt, dass man die Security vergessen hatte - Angreifer haben sich mit einfachen Tricks von außen Zugriff verschafft. Und genau da stehen wir nun heute wieder!"
etc. pp.

Eine mögliche Cybercrime Success-Story: Wie hackt man einen Agenten

Wie leicht man in einen Agenten einfallen kann, illustriert Bennefeld an einem System, das er selbst aufgesetzt hat: So habe er seinen Agenten einen Skill schreiben lassen, der die Mittagskarten der Restaurants um seinen Arbeitsplatz abcheckt und gemäß seiner Vorlieben (z.B. kein Hühnchen etc.) eine Übersicht der günstigsten Angebote im Umkreis erstellt. Das wirke harmlos - ist doch nur ein schneller Preisvergleich auf ein paar Webseiten. Doch Bennefeld verweist auf die vielen empfindlichen Befugnisse, die er hier dem Agenten bereits gegeben hat: "Zugriff auf Browser, Mail-Client - das ist nicht ohne! Hat der Agent auch noch Terminalzugriff, also Zugriff auf Netzwerke und Dateien, dann wird es gefährlich."

Bennefeld gibt das einfache Beispiel, dass jemand weiß, welche Restaurants er mittels Agent überprüft. Nun braucht ein Angreifer nur die Seite des Lokals zu kapern - was dem Angreifer gelingt, weil das Passwort des Besitzers 'Passwort' lautet. Dann manipuliert der Hacker die Menüseite mittels Prompt-Injection, einem Verfahren, bei dem auf einer Infoseite ein Prompt versteckt wird. Dieser Prompt instruiert Bennefelds Agenten, sämtliche vertraulichen Dateien auf dessen Rechner rüberzuschicken - per Mail, die Erlaubnis hat er ja. Denn - und das dürften selbst viele KI-Experten, die sich auf LinkedIn tummeln, vielleicht nicht wissen: Ein Agent unterscheidet nicht zwischen Informationen und Prompts. Man muss nur einen Befehl in einem Haufen Code verstecken, und die Chance besteht, dass der Bot sich hereinlegen lässt.

Welche Sicherheitsfragen ein Agenten bestehen sollte - und wie ein sicherer Test-Setup aussieht

Bevor man also beim Agenten-Zeitalter mitmacht, sollte man einige Fragen beantwortet haben.

• Kann mein Agent Mails weiterleiten? Kann er einen Browser bedienen? Hat er Zugriff auf Netzwerke?
  
• Wenn ja: Bestehen Sicherheitsmechanismen, um die Befugnisse zu begrenzen? Wird Missbrauch (etwa über Prompt-Injection) verhindert?
  
• Welche File-Rechte besitzt er? Und wie granular kann ich die aussteuern?
  
• Gibt es einen Hinweis, wenn der Agent etwas tut, was er nicht tun sollte? Wenn ja, wie sieht der aus?

"Wir befinden uns mit Agenten aktuell in der Security-Steinzeit", sagt Bennefeld: "Beim großflächigen Einsatz in der Enterprise-Verwendung wäre ich daher noch zurückhaltend.

Wer unbedingt einen Test unternehmen will, sollte bei den Produkten der großen, namhaften KI-Schmieden beginnen, etwa ClaudeCode   etwa - oder Codex  , dem Konkurrenten. Aufgrund ihrer Cloud-Infrastruktur haben diese Agenten bei Pannen eher begrenztes Schadenspotenzial, ebenso Hermes  .

Bennefeld empfiehlt einen Test idealerweise auf einem RaspberryPi  . Spielt man Agenten auf solche winzigen Einplatinencomputer auf, lebt der dann da schön isoliert und ohne ausufernde Rechte mit einem auf den Minicomputer beschränkten Scope. Auch alte Server, die nicht mehr mit dem laufenden Betrieb verbunden sind, eignen sich.