Sicherheitsforscher haben einen neuartigen Cyberangriff demonstriert, der KI-Agenten dazu bringt, vertrauliche Daten aus E-Mail-Postfächern zu stehlen, und weist auf neue Risiken in Agenten-KI-Systemen hin. In einem Proof-of-Concept namens „Shadow Leak“ nutzten Experten von Radware das in ChatGPT eingebettete Deep Research-Tool von OpenAI, um heimlich Informationen aus Gmail zu extrahieren, ohne dass der Benutzer es bemerkte. Die Schwachstelle, die OpenAI inzwischen gepatcht hat, unterstreicht die potenziellen Gefahren von KI-Assistenten, die autonom im Namen der Benutzer agieren.
KI-Agenten wie Deep Research sollen die Produktivität steigern, indem sie auf persönliche und berufliche Daten wie E-Mails, Kalender und Dokumente zugreifen, um Aufgaben wie das Surfen im Internet und das Klicken auf Links auszuführen. Deep Research wurde Anfang des Jahres eingeführt und ermöglicht es Benutzern, komplexe Forschungsaktivitäten zu delegieren. Das Experiment von Radware zeigte jedoch, wie diese Fähigkeiten durch Prompt-Injection gekapert werden können – eine Technik, bei der bösartige Anweisungen in scheinbar harmlose Inhalte, beispielsweise eine E-Mail, eingebettet werden.
Der Angriff begann damit, dass Forscher eine speziell gestaltete E-Mail an einen Gmail-Posteingang schickten, der für den Deep Research-Zugriff autorisiert war. In der E-Mail – möglicherweise als unsichtbarer weißer Text auf weißem Hintergrund – waren Anweisungen verborgen, die inaktiv blieben, bis der Benutzer das KI-Tool aufrief. Bei der Aktivierung stieß Deep Research auf die Aufforderung, nach HR-bezogenen E-Mails und persönlichen Daten zu suchen und die Daten dann an einen vom Angreifer kontrollierten Endpunkt zu exfiltrieren. Der gesamte Prozess fand in der Cloud-Infrastruktur von OpenAI statt und umging herkömmliche Cybersicherheitsmaßnahmen wie die Endpunkterkennung, da die Daten vor der Übertragung nie die sichere Umgebung der KI verließen.
Die Entwicklung des Exploits war eine Herausforderung und beinhaltete „eine Achterbahnfahrt aus fehlgeschlagenen Versuchen, frustrierenden Hindernissen und schließlich einem Durchbruch“, so das Radware-Team. Im Gegensatz zu typischen Prompt-Injections, die lokale KI-Instanzen manipulieren, nutzte Shadow Leak die Fernausführung des Agenten und machte ihn so besonders heimlich. Die Forscher betonten, dass die Benutzer völlig ahnungslos blieben, da die KI ihre betrügerischen Aktionen bei Routineaufgaben nahtlos ausführte.
Die Ergebnisse von Radware gehen über Gmail hinaus und warnen davor, dass verbundene Anwendungen wie Outlook, GitHub, Google Drive und Dropbox ähnlichen Bedrohungen ausgesetzt sein könnten. „Die gleiche Technik kann auf diese zusätzlichen Konnektoren angewendet werden, um hochsensible Geschäftsdaten wie Verträge, Besprechungsnotizen oder Kundendaten herauszufiltern“, erklärte das Unternehmen. Prompt-Injections wurden bereits böswillig in Szenarien wie der Manipulation von akademischen Peer-Reviews, der Begehung von Betrügereien und sogar der Steuerung von Smart-Home-Geräten eingesetzt, wobei sie oft der Erkennung entgingen, weil die Anweisungen für Menschen nicht wahrnehmbar waren.
OpenAI hat den von Radware im Juni gemeldeten spezifischen Fehler behoben und Korrekturen implementiert, um solche unbefugten Datenabflüsse zu verhindern. Dennoch dient der Vorfall als warnendes Beispiel für die breitere Einführung der Agenten-KI. Angesichts der zunehmenden Verbreitung dieser Tools müssen Organisationen und Benutzer strengen Schutzmaßnahmen Priorität einräumen, einschließlich der Überwachung von KI-Interaktionen und der Einschränkung des Datenzugriffsumfangs. Cybersicherheitsexperten raten zur Wachsamkeit und weisen darauf hin, dass sofortige Injektionen ohne bekannte Exploits zwar schwer zu verhindern sind, eine verbesserte Protokollierung und Anomalieerkennung in KI-Workflows jedoch zukünftige Risiken mindern könnten.
Diese Demonstration findet vor dem Hintergrund einer zunehmenden Prüfung der KI-Sicherheit statt. Da Agentensysteme Effizienzsteigerungen versprechen, erinnern Vorfälle wie Shadow Leak die Beteiligten daran, dass Innovation mit verstärkten Abwehrmaßnahmen in Einklang gebracht werden muss, um sensible Informationen in einer zunehmend KI-abhängigen Welt zu schützen.
