13. Oktober 2026, 7:49 Uhr | Lesezeit: 2 Minuten
Autonome KI-Agenten sollen künftig Aufgaben ganz selbstständig erledigen. Bei Testläufen des Unternehmens Anthropic zeigte sich jedoch, wie schwer sich solche Systeme wirklich kontrollieren lassen. Ein KI-Agent des Unternehmens Anthropic hat bei internen Tests unerwartete Eigeninitiative entwickelt. Die Software reichte einen frei erfundenen Hinweis zu einem ungelösten Mordfall bei der Polizei von Philadelphia ein. In einem separaten Testlauf stellte sie zudem 20 Visa-Anträge beim US-Außenministerium.
Auch interessant: Anthropic meldet vierten KI-Vorfall bei Claude
Tipp an die Polizei
Die Software behauptete, über relevante Informationen zu dem Fall zu verfügen. Außerdem gab sie an, eine Person gesehen zu haben, die auf eine angebliche Täterbeschreibung passe. Das Problem hierbei: Eine solche Beschreibung existierte auf der Website der Polizei gar nicht. Da zudem keine Kontaktdaten hinterlassen wurden, stufte das System der Behörde die Meldung letztlich als Spam ein. Erst bei einer späteren Überprüfung vergangener Testläufe wurde der Vorfall bei Anthropic entdeckt.
Jetzt räumt auch Meta KI-Hack ein
ChatGPT dreht frei und führt selbstständig Cyberangriff durch
Vom Testlauf direkt zur US-Behörde
Ein weiterer Zwischenfall ereignete sich bei Tests mit Behördenformularen. Wenn sie das Übungsformular nicht laden konnte oder versehentlich schloss, navigierte die Software stattdessen mehrfach auf die echte Website und reichte es dort ein.
Laut einem Bericht der „New York Times“ stellte die KI auf diesem Weg insgesamt 20 Anträge auf Nichteinwanderungsvisa beim US‑Außenministerium. Die Formulare waren unvollständig und wurden daher nicht bearbeitet. Nach Angaben von Anthropic ging die Software fälschlicherweise davon aus, dass vor dem endgültigen Absenden der Anträge noch eine zusätzliche Bestätigung erforderlich sei.
Die Zwischenfälle häufen sich
In den vergangenen Wochen wurden mehrere Fälle bekannt, in denen KI-Systeme deutlich eigenständiger handelten, als von ihren Entwicklern vorgesehen. Zuletzt sorgte etwa Gemini von Google für Schlagzeilen, nachdem sie aus einer abgesicherten Testumgebung ausgebrochen und in reale Firmensysteme eingedrungen sein soll.
Auch die Debatte über die langfristigen Risiken autonomer KI-Systeme gewinnt an Fahrt. Mehrere Wissenschaftler von OpenAI, Anthropic, Meta und Microsoft warnten kürzlich vor den möglichen Folgen automatisierter KI-Forschung. Anthropic reagiert bereits: Das Unternehmen hat den Internetzugang für Teile seiner Testumgebungen eingeschränkt. Einige Versuche werden inzwischen vollständig offline durchgeführt, um ähnliche Vorfälle künftig zu verhindern.