Expert-Talk: GEO-PR: "Es geht um Relevanz in KI-Systemen" Video-Podcast ansehen
Wer in ChatGPT, Gemini oder Perplexity sichtbar sein will, darf sich nicht auf die eigene Website verlassen. Denn KI-Systeme prüfen, was andere über eine Marke sagen - auf Fachportalen, Bewertungsplattformen, Vergleichsseiten, Reddit oder YouTube. Hier setzt GEO-PR an. Video-Podcast ansehen
Was ist Deine Digitalagentur wert? Agenturwert berechnen
Sechs Zahlen aus der BWA genügen, um herauszufinden, was aktuell Deine Agentur wert ist und welche Faktoren den Wert beeinflussen.
Agenturwert berechnen

November 2026 · Unser Geburtstagsgeschenk

35 Jahre iBusiness.
Im November alles frei lesen.

Zum Jubiläum öffnen wir alle iBusiness-Inhalte: vom 1. bis 30. November, für alle, ohne Anmeldung und ohne Bezahlschranke.

Alle Inhalte im November kostenlos
Heute frei lesen. Morgen nichts verpassen.

Registrieren Sie sich kostenlos und abonnieren Sie anschließend den iBusiness-Newsletter. So bleiben Sie bei den Themen auf dem Laufenden, die für Sie zählen.

Das Newsletter-Abo erhalten Sie im Rahmen der kostenlosen Registrierung.

Künstliche Intelligenz

Experten warnen vor KI-Würmern

07.03.2024 Vor einer Malware warnt der KI-Experte Christian Bennefeld. Die Schadsoftware attackiert generative KI-Systeme und pflanzt sich Wurm-ähnlich fort - ganz ohne Nutzer-Interaktion. Er ist mit seiner Warnung nicht allein.

 (Bild: eBlocker)
Bild: eBlocker
Unter der Überschrift "ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications  " haben Stav Cohen vom israelischen Technion-Institute of Technology, Ron Bitton von Intuit und Ben Nassi von Cornell Tech ein Papier veröffentlicht, in dem sie beschreiben, wie sie einen Computerwurm entwickelt haben, der auf GenAI-gestützte Anwendungen abzielt. Den Wurm haben sie nach eigenen Angaben gegen GenAI-gestützte EMail-Assistenten in zwei Anwendungsfällen (Spamming und Exfiltration persönlicher Daten), unter zwei Einstellungen (Blackbox- und Whitebox-Zugriffe), mit zwei Arten von Eingabedaten (Text und Bilder) und gegen drei verschiedene GenAI-Modelle (Gemini Pro, ChatGPT 4.0 und LLaVA) laufen gelassen.

KI-Experte Christian Bennefeld warnt: "Das Sicherheitsproblem entsteht immer dann, wenn KI-generierte Ausgaben wiederum als KI-Prompts verwendet werden." RAG-Applikationen genauso wie KI-Agenten seien damit besonders leicht verwundbar.

Die Forschenden zeigen die Angriffsmethode exemplarisch an automatisierten EMail-RAG-Systemen, die per geschickter Prompt-Injection die Prompt-Injection selbst reproduzieren. Dabei könnten die generierten Prompts auch sensible Nutzerdaten ex-filtrieren.

Bennefeld: "Spannend und (für mich) neu ist, die Prompt-Injection über Bilder auszuführen. Hier wird bei der Bild-Interpretation ebenso die Prompt-Injection Wurm-ähnlich repliziert. Dieser Angriffsvektor funktioniert natürlich nur bei multi-modalen KI-Systemen, die aktuell stark auf dem Vormarsch sind." Noch sei unklar, wie sich insbesondere die großen KI-Anbieter gegen diese Angriffe wehren wollen.

Es sei "wohl nur eine Frage der Zeit bis wir derartige Würmer in freier Wildbahn erleben werden", vermutet Bennefeld. Auch das BSI warnt   seit längerem vor der Gefahr: "Unternehmen oder Behörden, die über die Integration von LLMs in ihre Arbeitsabläufe nachdenken, sollten eine Risikoanalyse für ihren konkreten Anwendungsfall durchführen". Grundsätzlich sollten KI-Sprachmodelle aus unserer Sicht derzeit als Werkzeuge betrachtet werden, deren Ergebnisse, etwa bei der Erstellung von Programmcode oder Texten, durch eine menschliche Intelligenz überprüft werden sollten.
Neuer Kommentar  Kommentare:
Schreiben Sie Ihre Meinung, Erfahrungen, Anregungen mit oder zu diesem Thema. Ihr Beitrag erscheint an dieser Stelle.
alle Veranstaltungen Webcasts zu diesem Thema:
Dienstleister-Verzeichnis Agenturen/Dienstleister zu diesem Thema: