Ein KI-Agent sollte dem CEO und Mitgründer des US-Software-Unternehmens XMTP Labs, Shane Mac, dabei helfen, seine privaten Finanzen auszuwerten. Stattdessen veröffentlichte er sensible Kontodaten im Unternehmenschat und liefert damit ein weiteres Beispiel für die Risiken autonomer KI-Systeme.
„Riesigen Schrecken eingejagt“
Eigentlich sollte der KI-Agent nur als persönlicher Finanzassistent dienen. Shane Mac hatte einen Grok-Agenten damit beauftragt, seine Kontoaktivitäten auszuwerten und regelmäßig Berichte über Ausgaben, Transaktionen und Kontostände zu erstellen.
Doch statt die Informationen ausschließlich an seinen Auftraggeber zu senden, veröffentlichte der Agent einen umfangreichen Finanzbericht in einem Slack-Kanal des Unternehmens. Ein Kollege machte Mac auf die Nachricht aufmerksam. Zunächst gingen die Empfänger davon aus, dass es sich um Unternehmenszahlen handelte. Tatsächlich enthielt der Beitrag jedoch private Bankdaten des CEOs, darunter Kontostände und detaillierte Informationen zu seinen Ausgaben. Die Daten blieben für mehrere Stunden sichtbar, bevor Mac selbst einschreiten und sie wieder löschen konnte.
Nach Angaben von Mac verfügte der für die Finanzanalyse eingesetzte Agent eigentlich über keine direkte Verbindung zu Slack. Parallel nutzte er jedoch einen zweiten Grok-Agenten für berufliche Aufgaben, der Zugriff auf den Firmen-Chat hatte.
Genau darin lag offenbar das Problem. Beide Agenten arbeiteten in derselben technischen Umgebung und konnten auf gemeinsame Sitzungen, Verbindungen und gespeicherte Zugangsdaten zugreifen. Dadurch gelangte der Finanz-Agent indirekt an den Slack-Zugang. Eine spätere Untersuchung ergab zudem, dass der Bot einen privaten Chat und einen ähnlich benannten Firmen-Channel miteinander verwechselt hatte. Aus Sicht des Systems schien die Veröffentlichung der Daten deshalb die richtige Aktion zu sein. Hinweise auf einen Hackerangriff oder eine Manipulation gab es laut Mac nicht.
Der Vorfall schürt Zweifel an autonomen KI-Systemen
Für den Unternehmer ist die Panne ein deutliches Warnsignal. Er hatte dem Agenten Zugang zu seinen Finanzinformationen gewährt, nachdem Nutzer von Grok dazu ermutigt worden waren, Kontodaten und andere persönliche Informationen mit dem KI-System zu verknüpfen.
Nach dem Vorfall kappte Mac sämtliche Verbindungen zwischen seinen persönlichen Konten und KI-Agenten. Neben Bankdaten erwähnte er auch Google-Dienste, Kalender und weitere verknüpfte Plattformen. Grok hat inzwischen reagiert und nach eigenen Angaben zusätzliche Schutzmaßnahmen eingeführt. Künftig soll eine ausdrückliche Zustimmung eingeholt werden, bevor Informationen an andere Chats oder Kanäle weitergegeben werden. Ob solche Sicherheitsmechanismen ausreichen, um verlorenes Vertrauen zurückzugewinnen, dürfte sich allerdings erst noch zeigen.
Sie haben erfolgreich Ihre Einwilligung in die Nutzung unseres Angebots mit Tracking und Cookies widerrufen.
Damit entfallen alle Einwilligungen, die Sie zuvor über den (Cookie-) Einwilligungsbanner bzw. über den
Privacy-Manager erteilt haben. Sie können sich jetzt erneut zwischen dem Pur-Abo und der Nutzung mit
Tracking und Cookies entscheiden.
Bitte beachten Sie, dass dieser Widerruf aus technischen Gründen keine Wirksamkeit für sonstige
Einwilligungen (z.B. in den Empfang von Newslettern) entfalten kann. Bitte wenden Sie sich diesbezüglich an
datenschutz@axelspringer.de.