21. September 2026, 14:20 Uhr | Lesezeit: 2 Minuten
Ein geplanter Sicherheitstest nahm für Google eine unerwartete Wendung. Das KI-Modell Gemini verschaffte sich Zugang zu echten Unternehmenssystemen, doch öffentlich wurde der Vorfall erst Monate später.
Eigentlich sollte Gemini im Rahmen eines Cybersicherheitstests nur Daten aus der Software eines fiktiven Unternehmens abrufen. Die Simulation des israelischen Sicherheitsanbieters Irregular lief jedoch nicht wie geplant. Durch eine Fehlkonfiguration erhielt das KI-Modell Zugang zum offenen Internet und konnte damit auf reale Systeme zugreifen.
Auch interessant: KI stiehlt erstmals Unternehmensdaten im Alleingang
Insgesamt gelangte Gemini laut Berichten in die Systeme von drei Unternehmen. In einem Fall hatte die fiktive Testfirma zufällig denselben Namen wie ein echtes Unternehmen. Die KI soll daraufhin Passwörter erraten haben, bis ein Zugang möglich war. In zwei weiteren Fällen nutzte Gemini öffentlich zugängliche Zugangsdaten aus Code-Repositories, um sich Zugriff auf Unternehmenssysteme zu verschaffen.
Gemini beendete die Zugriffe eigenständig
Google zufolge erkannte Gemini in allen drei Fällen selbst, dass die Aktivitäten außerhalb des vorgesehenen Testumfelds stattfanden. Das Modell habe daraufhin die Zugriffe beendet und die betroffenen Systeme wieder verlassen. Nach Angaben des Konzerns entstand den Unternehmen dabei kein Schaden.
Heather Adkins, Vizepräsidentin für Sicherheitstechnik bei Google, wertete das Verhalten als Beleg dafür, dass die KI verantwortungsvoll gehandelt habe. Kritiker sehen den Vorfall jedoch deutlich skeptischer. Für sie zeigt der Fall, dass leistungsfähige KI-Systeme in unerwarteten Situationen eigenständig Handlungen ausführen können, die eigentlich außerhalb ihres vorgesehenen Aktionsraums liegen.
Experten kritisieren Googles Umgang mit dem Fall
Besonders umstritten ist, dass Google den Vorfall nicht öffentlich machte. Die betroffenen Unternehmen und Behörden wurden informiert, die Öffentlichkeit erfuhr jedoch erst davon, nachdem das „Wall Street Journal“ beim Konzern nachfragte. Google begründete sein Vorgehen damit, dass kein Schaden entstanden sei und der Vorfall einem Bug-Bounty-Programm ähnele.
Sicherheitsexperten widersprechen dieser Einschätzung. Jack Cable vom Sicherheitsunternehmen Corridor erklärte laut Berichten, KI-Modelle, die reale Systeme außerhalb ihrer vorgesehenen Grenzen erreichen, stellten ein eigenes Sicherheitsproblem dar. Ähnliche Zwischenfälle gab es zuvor auch bei OpenAI und Anthropic. Beide Unternehmen machten entsprechende Vorfälle jedoch öffentlich. Die Diskussion darüber, wie KI-Systeme kontrolliert und überwacht werden sollten, dürfte durch den aktuellen Fall weiter an Bedeutung gewinnen.