Experten warnen vor KI-Würmern

Unter der Überschrift "ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications   " haben Stav Cohen vom israelischen Technion-Institute of Technology, Ron Bitton von Intuit und Ben Nassi von Cornell Tech ein Papier veröffentlicht, in dem sie beschreiben, wie sie einen Computerwurm entwickelt haben, der auf GenAI-gestützte Anwendungen abzielt. Den Wurm haben sie nach eigenen Angaben gegen GenAI-gestützte EMail-Assistenten in zwei Anwendungsfällen (Spamming und Exfiltration persönlicher Daten), unter zwei Einstellungen (Blackbox- und Whitebox-Zugriffe), mit zwei Arten von Eingabedaten (Text und Bilder) und gegen drei verschiedene GenAI-Modelle (Gemini Pro, ChatGPT 4.0 und LLaVA) laufen gelassen.

KI-Experte Christian Bennefeld warnt: "Das Sicherheitsproblem entsteht immer dann, wenn KI-generierte Ausgaben wiederum als KI-Prompts verwendet werden." RAG-Applikationen genauso wie KI-Agenten seien damit besonders leicht verwundbar.

Die Forschenden zeigen die Angriffsmethode exemplarisch an automatisierten EMail-RAG-Systemen, die per geschickter Prompt-Injection die Prompt-Injection selbst reproduzieren. Dabei könnten die generierten Prompts auch sensible Nutzerdaten ex-filtrieren.

Bennefeld: "Spannend und (für mich) neu ist, die Prompt-Injection über Bilder auszuführen. Hier wird bei der Bild-Interpretation ebenso die Prompt-Injection Wurm-ähnlich repliziert. Dieser Angriffsvektor funktioniert natürlich nur bei multi-modalen KI-Systemen, die aktuell stark auf dem Vormarsch sind." Noch sei unklar, wie sich insbesondere die großen KI-Anbieter gegen diese Angriffe wehren wollen.

Es sei "wohl nur eine Frage der Zeit bis wir derartige Würmer in freier Wildbahn erleben werden", vermutet Bennefeld. Auch das BSI warnt   seit längerem vor der Gefahr: "Unternehmen oder Behörden, die über die Integration von LLMs in ihre Arbeitsabläufe nachdenken, sollten eine Risikoanalyse für ihren konkreten Anwendungsfall durchführen". Grundsätzlich sollten KI-Sprachmodelle aus unserer Sicht derzeit als Werkzeuge betrachtet werden, deren Ergebnisse, etwa bei der Erstellung von Programmcode oder Texten, durch eine menschliche Intelligenz überprüft werden sollten.