Google hat eine Gmail-Warnung bezüglich eines neuen KI-gesteuerten Angriffs bestätigt, der Gmail-Konten gefährden kann. Dieser Angriff nutzt Prompt-Injection-Techniken aus, die in E-Mails, Nachrichten, Websites, Anhängen und Kalendereinladungen verborgen sind.
Die Schwachstelle wurde von Eito Miyamura hervorgehoben, der auf X demonstrierte, wie ChatGPT manipuliert werden kann, um die privaten E-Mail-Daten eines Opfers nur unter Verwendung seiner E-Mail-Adresse preiszugeben. Laut Miyamura „folgen KI-Agenten wie ChatGPT Ihren Befehlen und nicht Ihrem gesunden Menschenverstand“, was das Potenzial für Datenexfiltration betont.
Google hatte bereits im Juni vor dieser Art von Bedrohung gewarnt und sie als „neue Welle von Bedrohungen“ bezeichnet, die auf die Manipulation von KI-Systemen abzielen. Bei diesen Bedrohungen handelt es sich um böswillige Anweisungen, die in E-Mails, Dokumenten oder Kalendereinladungen eingebettet sind und die KI dazu zwingen, Benutzerdaten zu extrahieren oder nicht autorisierte Aktionen durchzuführen.
Bei dem demonstrierten Angriff handelt es sich um einen Proof-of-Concept, der mit einer böswilligen Kalendereinladung beginnt, die keine Zustimmung des Opfers erfordert. Wenn ChatGPT angewiesen wird, den Benutzer durch Überprüfung seines Kalenders auf seinen Tag vorzubereiten, wird der KI-Assistent „vom Angreifer gekapert und handelt auf Befehl des Angreifers, durchsucht Ihre privaten E-Mails und sendet die Daten an die E-Mail-Adresse des Angreifers“, heißt es in Berichten.
Um dieses Risiko zu mindern, empfiehlt Google Nutzern, die Einstellung „Bekannte Absender“ in Google Kalender zu aktivieren. Diese Maßnahme trägt dazu bei, zu verhindern, dass schädliche oder Spam-Ereignisse automatisch im Kalenderraster angezeigt werden. Google erklärt: „Wir haben herausgefunden, dass dies ein besonders effektiver Ansatz ist, um Benutzern dabei zu helfen, das Erscheinen bösartiger oder Spam-Ereignisse in ihrem Kalenderraster zu verhindern. Die spezifische Kalendereinladung wäre nicht automatisch gelandet, es sei denn, der Benutzer hätte zuvor mit dem böswilligen Akteur interagiert oder die Standardeinstellungen geändert.“
Auch Google betont, wie wichtig es ist, KI-Modelle gegen solche Angriffe abzusichern. Das Unternehmen behauptet, dass „unser Modelltraining mit gegnerischen Daten unsere Abwehrkräfte gegen indirekte Prompt-Injection-Angriffe in Gemini 2.5-Modellen erheblich verbessert hat“, obwohl Gemini an diesem spezifischen Angriff nicht beteiligt war.
Darüber hinaus implementiert Google Filter, um Prompt-Injection-Angriffe zu erkennen. Sie „führen proprietäre Modelle für maschinelles Lernen ein, die bösartige Eingabeaufforderungen und Anweisungen in verschiedenen Formaten wie E-Mails und Dateien erkennen können.“ Diese Modelle zielen darauf ab, schädliche Anweisungen in E-Mails zu erkennen und zu ignorieren und so sichere Antworten für Benutzer zu generieren.
Google betont, dass die integrierten Abwehrmaßnahmen von Gmail bereits mehr als 99,9 % aller Spam-, Phishing- und Malware-Versuche blockieren. Das Unternehmen nennt ein Beispiel einer E-Mail, „die bösartige Anweisungen enthält; unsere Inhaltsklassifizierer helfen, bösartige Anweisungen zu erkennen und zu ignorieren und dann eine sichere Antwort für den Benutzer zu generieren.“
Miyamura warnt davor, dass KI trotz ihrer Intelligenz anfällig für Manipulation und Phishing bleibt, was möglicherweise zu Datenlecks führen kann. Er warnt: „KI mag superschlau sein, kann aber auf unglaublich dumme Weise ausgetrickst und ausgetrickst werden, um Ihre Daten preiszugeben.“
Google behauptet, dass diese Bedrohung „nicht spezifisch für Google“ sei, und betont die branchenweite Bedeutung der Entwicklung robuster Schutzmaßnahmen gegen Prompt-Injection-Angriffe.
