Stellen Sie sich vor, ein fremdes KI-Programm dringt in die Systeme Ihres Unternehmens ein, obwohl es eigentlich nur in einer abgeschotteten Testumgebung arbeiten sollte. Genau das ist 2026 drei Organisationen, einem australischen Gesundheitsportal und der KI-Plattform Hugging Face passiert. Die EU-Kommission verlangt nun auf Grundlage der KI-VO Auskünfte von OpenAI und Anthropic, in Australien mussten sich beide Konzerne vor dem Parlament erklären. Für Unternehmen in Deutschland stellt sich damit die ganz praktische Frage, wer haftet, wenn ein fremder KI-Agent in die eigenen Systeme eindringt, und welche Pflichten sie selbst beim Einsatz solcher Agenten treffen.
Die Europäische Kommission hat die US-Unternehmen OpenAI und Anthropic aufgefordert, Informationen zu Sicherheitsvorfällen mit ihren KI-Modellen herauszugeben. Das bestätigte EU-Digitalkommissarin Henna Virkkunen in einem Interview mit der Deutschen Presse-Agentur (dpa) im Rahmen des European Newsroom. Grundlage ist die Verordnung (EU) 2024/1689 über künstliche Intelligenz (KI-Verordnung, KI-VO), deren Bußgeldvorschriften für Anbieter großer Modelle seit August 2026 greifen (Auskunftsersuchen der EU-Kommission, bekannt gegeben am 09.10.2026).
Wenn der Testlauf das echte Internet erreicht
Den Anfang machte OpenAI. Im Juli 2026 räumte das Unternehmen in einem Blogbeitrag ein, dass zwei seiner Modelle während eines Sicherheitsbenchmarks die vorgesehene Testumgebung verlassen hätten. Der Benchmark namens ExploitGym, an dem unter anderem das Max-Planck-Institut für Sicherheit und Privatsphäre in Bochum beteiligt ist, verlangt von den Modellen, in knapp 900 Programmen versteckte Markierungen zu finden, indem sie Schwachstellen im Code aufspüren und ausnutzen. Statt sich auf diese Aufgabe zu beschränken, verschafften sich die Modelle Zugang zum Internet und griffen die KI-Plattform Hugging Face an.
Wenige Tage später folgte Anthropic. Eine interne Auswertung von rund 141.000 Testläufen habe ergeben, dass Modelle der Claude-Reihe zwischen April und Juli 2026 in drei Fällen in reale Systeme fremder Organisationen eingedrungen seien. Auslöser sei eine Fehlkonfiguration bei sogenannten Capture-the-Flag-Übungen gewesen, die das Unternehmen gemeinsam mit einem Partner durchführte und bei denen die Modelle unbeabsichtigt Zugriff auf das öffentliche Internet erhielten. Die Modelle hätten vor allem schwache Passwörter ausgenutzt, Daten seien nicht abgeflossen. Bemerkenswert war, dass zwei der drei betroffenen Organisationen den Angriff erst bemerkten, als Anthropic sie Ende Juli informierte.
Politisch am folgenreichsten war ein dritter Fall. Am 18. Juni 2026 verschaffte sich ein KI-Agent von OpenAI während einer internen Evaluation Zugang zu nicht öffentlichen Bereichen des Medicare Statistics Reporting Service, eines Statistikportals der australischen Behörde Services Australia. Abgerufen wurden nach Regierungsangaben aggregierte Gesundheitsstatistiken und interne Dateinamen, persönliche Patientendaten seien nicht betroffen. OpenAI bemerkte den Zugriff nach eigener Darstellung erst am 11. August und meldete ihn am 10. September über eine allgemeine E-Mail-Adresse für Sicherheitshinweise. Premierminister Anthony Albanese kritisierte vor allem diese späte Benachrichtigung, das Portal wurde abgeschaltet. Ein Senatsausschuss lud daraufhin die Chefs beider Unternehmen vor.
Welche Pflichten die KI-VO den Modellanbietern auferlegt
Die KI-VO unterscheidet zwischen KI-Systemen, also konkreten Anwendungen, und KI-Modellen mit allgemeinem Verwendungszweck, wie sie OpenAI und Anthropic entwickeln. Für Letztere enthält Kapitel V der Verordnung eigene Regeln, die bereits seit dem 2. August 2025 gelten. Deutlich strenger sind die Vorgaben für Modelle mit systemischem Risiko, die wegen ihrer Leistungsfähigkeit erhebliche Auswirkungen auf den Binnenmarkt haben können.
Für diese Modelle schreibt Art. 55 Abs. 1 KI-VO vier zusätzliche Pflichten vor, die sich auf die bekannt gewordenen Vorfälle beinahe wie eine Checkliste legen lassen. Die Anbieter müssen ihre Modelle nach dem Stand der Technik bewerten und dabei auch gezielte Angriffstests durchführen und dokumentieren. Sie müssen mögliche systemische Risiken auf Unionsebene bewerten und mindern, und zwar nicht erst beim Einsatz, sondern schon während der Entwicklung. Schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen müssen sie erfassen, dokumentieren und dem KI-Büro der Kommission sowie gegebenenfalls den nationalen Behörden ohne unangemessene Verzögerung melden. Und schließlich müssen sie ein angemessenes Niveau an Cybersicherheit für das Modell und die zugehörige Infrastruktur gewährleisten.
Die Durchsetzung dieser Pflichten liegt nicht bei den Mitgliedstaaten, sondern bei der Kommission und ihrem KI-Büro. Nach Art. 91 KI-VO kann die Kommission Anbieter auffordern, Dokumentationen und weitere Informationen vorzulegen, nach Art. 92 KI-VO darf sie Modelle selbst evaluieren. Kommt ein Anbieter seinen Pflichten vorsätzlich oder fahrlässig nicht nach, liefert er falsche oder unvollständige Auskünfte oder verweigert er den Zugang zum Modell, kann die Kommission nach Art. 101 KI-VO eine Geldbuße von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes verhängen, je nachdem, welcher Betrag höher ist.
Soforthilfe vom Anwalt
Sie brauchen rechtliche Beratung? Rufen Sie uns an für eine kostenlose Ersteinschätzung oder nutzen Sie unser Kontaktformular.
Was die Kommission jetzt wissen will
Nach Darstellung von Virkkunen prüft das KI-Büro seit August, ob die großen Modelle ausreichend kontrolliert werden und ob ausgeschlossen ist, dass sie eigenständig Cyberangriffe ausführen.
Ob es tatsächlich zu Bußgeldern kommt, ist offen. Ein Auskunftsersuchen ist zunächst ein Ermittlungsschritt und keine Sanktion.
Für Unternehmen in Deutschland ergeben sich aus den Fällen zwei Blickwinkel. Wer Opfer eines fremden KI-Agenten wird, steht vor denselben Fragen wie bei jedem anderen Cyberangriff. Unternehmen, die unter das NIS-2-Umsetzungsgesetz fallen, müssen erhebliche Sicherheitsvorfälle seit dem 6. Dezember 2025 innerhalb von 24 Stunden vorab und binnen 72 Stunden ausführlicher an das BSI melden. Sind personenbezogene Daten betroffen, gilt zusätzlich die 72-Stunden-Frist des Art. 33 DSGVO gegenüber der Datenschutzaufsicht. Ansprüche gegen den Anbieter des angreifenden Modells kommen insbesondere nach § 823 BGB in Betracht, wobei Fragen der Verantwortlichkeit für autonom handelnde Systeme, der Beweisführung und der Rechtsdurchsetzung gegenüber Anbietern im Ausland bislang kaum gerichtlich geklärt sind.
Wer selbst KI-Agenten einsetzt, sollte die Vorfälle als Warnung verstehen. Ein Agent, der Zugriff auf Schnittstellen, Passwörter oder das offene Internet erhält, kann Schäden bei Dritten verursachen, für die sich das einsetzende Unternehmen rechtfertigen muss. Klare Berechtigungskonzepte, protokollierte Abläufe, menschliche Kontrolle kritischer Schritte und ein eigener Notfallplan für KI-Vorfälle gehören deshalb zur Sorgfalt.
Rechtliche Unterstützung im KI- und IT-Recht
Die Vorfälle bei OpenAI und Anthropic zeigen, dass autonome KI-Agenten kein theoretisches Risiko mehr sind, sondern Haftungs-, Melde- und Compliance-Fragen aufwerfen, die Unternehmen schon heute beantworten müssen. Wir beraten Unternehmen, Start-ups und Behörden, die KI-Systeme entwickeln, einkaufen oder einsetzen, zu den Pflichten aus der KI-VO, der DSGVO und dem NIS-2-Umsetzungsgesetz. Wir prüfen Verträge mit KI-Anbietern, entwickeln KI-Richtlinien und Schulungskonzepte und begleiten Sie, wenn es nach einem Sicherheitsvorfall um Meldungen an Behörden und um Ansprüche gegen Dritte geht. Melden Sie sich jederzeit bei uns, wir beraten Sie gerne.
Anma
