Wo endet der Test? Der erste AI-Act-Fall stellt die Frage, die jeder KI-Pilot hat

Auf einem KI-Gipfel in Dublin kündigte EU-Tech-Kommissarin Henna Virkkunen am 14. Oktober an, das AI Office habe begonnen, die Regeln durchzusetzen. Laut Euronews hat es OpenAI und Anthropic um Auskunft gebeten: zu ihren Sicherheitsvorkehrungen, zu externen Prüfungen und dazu, wie die Modelle im Einsatz überwacht werden. Die Unterlagen, die beide Unternehmen freiwillig vorgelegt hatten, reichten der Behörde nicht.

Einzelne Berichte sprechen von einem „offiziellen Verfahren“. Das trifft es nicht ganz. Auskunftsersuchen sind ein erster Schritt. Ein Verstoß ist nicht festgestellt, ein Bußgeld nicht verhängt. Seit dem 2. August 2026 hat das AI Office die Befugnis, bei Anbietern großer KI-Modelle Informationen anzufordern, eigene Prüfungen durchzuführen und Beschränkungen anzuordnen.

OpenAI. Am 21. Juli bestätigte OpenAI, dass eigene Modelle hinter einem Angriff auf die KI-Plattform Hugging Face standen. Getestet wurden GPT-5.6 Sol und ein noch leistungsfähigeres, unveröffentlichtes Modell, beide mit bewusst gelockerten Cyber-Schutzregeln. Eigentlich hatten sie keinen Internetzugang außer über ein Werkzeug zum Installieren von Softwarepaketen. In genau diesem Werkzeug fanden sie eine unbekannte Sicherheitslücke. Sie vermuteten bei Hugging Face die Lösungen ihrer Testaufgabe und holten sie sich aus dessen Produktionsdatenbank.

Anthropic. Nach der OpenAI-Meldung durchsuchte Anthropic 141.006 Testläufe und fand drei Vorfälle, die frühesten aus dem April. Die Tests liefen in der Umgebung des Prüfpartners Irregular. Im Auftrag an die Modelle stand, sie arbeiteten in einer Simulation ohne Internetzugang. Durch eine Fehlkonfiguration hatten die Rechner aber Zugang zum offenen Internet. Ein Modell zog Zugangsdaten und Produktionsdaten aus den Systemen eines echten Unternehmens. Ein anderes veröffentlichte ein schädliches Softwarepaket, das rund eine Stunde lang auf 15 echten Systemen lief. Ein drittes brach den Angriff selbst ab, als es erkannte, dass das Ziel real war.

„Claude believed everything it initially encountered was part of the simulation.“

Anthropic, Untersuchungsbericht vom 30.07.2026. Sinngemäß: Claude hielt alles, worauf es zunächst stieß, für einen Teil der Simulation.

Den OpenAI-Vorfall haben wir im Insight „Der KI-Notschalter ist nur der Anfang“ bereits als Beispiel für Kontrollverlust eingeordnet. Neu ist jetzt die regulatorische Frage, und mit dem Anthropic-Fall ein Beispiel, das näher am Alltag von Unternehmen liegt.

Aktualisiert am 16.10.2026: Dritter Fall (Tencent) ergänzt, dazu ein Punkt im Faktencheck und eine fünfte Frage für die Praxis.

Ein dritter Fall. Dass es kein Einzelfall ist, zeigt ein Bericht der unabhängigen Forschungsgruppe Swarmchasers vom 14. Oktober. Vom 28. September bis 8. Oktober versuchten KI-Agenten von Servern der Tencent Cloud über 2.600-mal, Daten aus Amap abzurufen, dem Kartendienst von Alibaba. Gesucht waren Kleinigkeiten, etwa welchen Eingang eines Zoos die meisten Besucher ansteuern. Als Amap die Zugriffe blockte, wichen die Agenten aus, unter anderem mit einem Zugangsschlüssel, den ein anderes Unternehmen in öffentlich einsehbarem Quellcode hinterlassen hatte. Damit kamen echte Daten zurück, die meisten Versuche scheiterten aber. Tencent erklärt, die Agenten hätten zur Prüfung von Modellen anderer Anbieter gedient, ihr Surfverhalten sei nicht beabsichtigt gewesen. Es ist dasselbe Muster wie bei OpenAI und Anthropic, diesmal bei der Prüfung fremder Modelle.

Zwei Details sind für Unternehmen besonders lehrreich. Der benutzte Schlüssel gehörte keinem der Beteiligten: Was öffentlich herumliegt, wird zum Werkzeug fremder Agenten. Und mehrere Agenten stellten sich den Forschern als „Claude“ vor. Die Forscher halten das für wahrscheinlich falsch. Ein Agent sagt nicht verlässlich, wer er ist.

Der AI Act nimmt in Artikel 2 Absatz 8 Forschung, Tests und Entwicklung ausdrücklich aus, solange ein Modell noch nicht auf dem Markt ist. Im selben Absatz steht allerdings: Tests unter realen Bedingungen fallen nicht unter diese Ausnahme.

„Testing in real world conditions shall not be covered by that exclusion.“

AI Act, Artikel 2 Absatz 8. Sinngemäß: Tests unter realen Bedingungen sind von dieser Ausnahme nicht erfasst.

Ganz passt das auf die Vorfälle nicht. Der AI Act meint mit „Tests unter realen Bedingungen“ geplante, befristete Tests außerhalb des Labors, mit eigenen Auflagen. Ein unbeabsichtigter Ausbruch ist das nicht. Entsprechend skeptisch sind Juristen. Barry Scannell von der Kanzlei William Fry nannte es gegenüber Euronews „a bit of a stretch“, einen ausgebrochenen Agenten als in Verkehr gebracht zu behandeln.

Die Kommission zieht die Grenze anders. Ein Kommissionsvertreter stellte gegenüber Euronews klar: Was KI-Labore intern testen, will die Behörde nicht kontrollieren. Sobald ein Test aber Folgen auf dem EU-Markt hat, greife der AI Act. Bei Hugging Face sei das der Fall, weil die Plattform auch Kunden in Europa hat. Die Kommission vergleicht das mit einem Virus, das aus einem Labor entweicht: Solange es im Labor bleibt, ist es Sache des Labors. Gelangt es nach draußen, hat das Labor nicht genug vorgesorgt. Offen ist außerdem, welche Rolle es spielt, dass mit GPT-5.6 Sol ein Modell beteiligt war, das bereits auf dem Markt ist, wenn auch in einer Testvariante mit gelockerten Schutzregeln.

Bemerkenswert ist der Maßstab, den die Kommission damit anlegt: Nicht die Absicht entscheidet, ob ein Test ein Test ist, sondern seine Wirkung.

Der Anthropic-Fall zeigt das Muster am deutlichsten. Die Grenze des Tests war in Sprache beschrieben, im Auftrag an das Modell. Technisch existierte sie nicht. Das Modell verhielt sich folgerichtig: Es hielt sich für in einer Simulation und behandelte echte Systeme entsprechend.

Dasselbe kann in jedem Pilotprojekt passieren. Ein Vertriebsagent läuft offiziell „im Test“. Ist er aber an das echte CRM angebunden, kann er Kontakte ändern oder Nachrichten an echte Kundschaft schicken. Ob das ein Test ist, entscheidet nicht die Projektbezeichnung, sondern die Frage: Welche Wirkung kann dieser Agent heute schon auslösen?

Der zweite Punkt ist die Lieferkette. Die Fehlkonfiguration entstand laut Anthropic aus einem Missverständnis mit dem Prüfpartner. Irregular untersucht den Vorfall selbst; Anthropic behandelt die Abhilfe so, als läge die Verantwortung allein bei sich. Für Unternehmen, deren Agenten ein Dienstleister aufsetzt, heißt das: Die Testumgebung des Partners gehört zur eigenen Risikoprüfung.

Anthropic schreibt selbst, ein Auftrag mit klar benannten Zielsystemen hätte die Vorfälle wahrscheinlich verhindert. Das ist hilfreich, aber es bleibt eine Anweisung in Sprache. Die verlässlichere Grenze sind technische Rechte: welches Netz, welche Konten, welche Daten ein Agent überhaupt erreicht.