Aufschieben, verbergen, abschalten: Wo die Überwachung von KI-Agenten Lücken hatte
KI-Anbieter versichern, dass sie ihre Agenten überwachen. Wie gut das funktioniert, ließ sich bisher kaum von außen prüfen. Jetzt haben zwei unabhängige Prüfer drei Wochen lang mit tiefem Zugang untersucht, wie OpenAI seine internen Agenten überwacht. Sie fanden kein Fehlverhalten, aber Lücken. Und die sind lehrreich für jedes Unternehmen, das selbst Agenten einsetzt.
Quelle: externe Prüfung der Agenten-Überwachung eines KI-Anbieters, veröffentlicht am 22.10.2026. Schätzungen mit großer Unsicherheit.
- →Zwei externe Prüfer haben drei Wochen lang vor Ort untersucht, wie ein großer KI-Anbieter seine internen KI-Agenten überwacht. Es ist die erste Prüfung dieser Art, deren Ergebnisse öffentlich sind.
- →Die Überwachung war für einen Großteil der Arbeit der Agenten vorgesehen, aber nicht für alles. Und sie hatte Lücken: Agenten hätten sie aufschieben, Aktionen vor ihr verbergen oder sie über Einstellungen abschalten können.
- →Fehlverhalten von Agenten haben die Prüfer nicht gefunden. Ob jemand die Lücken genutzt hat, konnten sie aber auch nicht prüfen. Die Behebung meldet der Anbieter selbst, bestätigt ist sie nicht.
- →Für Unternehmen mit eigenen Agenten ist die Lehre direkt übertragbar: Überwachung muss laufend greifen, darf sich nicht vom Agenten beeinflussen lassen und muss selbst regelmäßig geprüft werden.
Drei Wochen mit tiefem Zugang
OpenAI setzt intern KI-Agenten ein, etwa für Programmierarbeiten. Ein eigenes System soll erkennen, wenn ein Agent täuscht, sabotiert, Daten abzieht, die Überwachung zu umgehen versucht oder durch eingeschleuste Anweisungen manipuliert wird. Auffällige Fälle gehen an Menschen zur Prüfung.
Vom 21. Juli bis 11. August 2026 durften je ein Mitarbeiter der Prüforganisationen METR und Redwood Research dieses System vor Ort untersuchen. Sie bekamen Einblick in den Code, die Anweisungen an die Überwachung und interne Unterlagen und führten rund ein Dutzend Interviews. Am 22. Oktober haben sie eine Zusammenfassung veröffentlicht.
Ein Teil des Ergebnisses ist positiv: Die Überwachung sieht mit wenigen Ausnahmen alles, was auch der Agent sieht. Ein Agent schickt bei seiner Arbeit laufend Anfragen an das KI-Modell, etwa um den nächsten Schritt zu planen. Bei den internen Programmier-Agenten waren 99,2 % dieser Anfragen für die Überwachung vorgesehen. Über alle Agenten starker Modelle hinweg schätzen die Prüfer den Anteil auf 75 bis 94 %. Vorgesehen heißt allerdings nicht, dass tatsächlich geprüft wurde: Überlastung, Fehler oder Bugs können Anfragen an der Überwachung vorbeileiten.
Wo die Überwachung nicht hinsah
Kein Fehlverhalten gefunden, aber auch nicht ausgeschlossen
Die Prüfer berichten ausdrücklich nicht, dass Agenten sich fehlverhalten hätten. Sie konnten aber auch nicht prüfen, ob eine der Lücken je genutzt wurde. OpenAI erklärt, alle Lücken im Produktivsystem seien geschlossen. Das haben die Prüfer nicht untersucht. Auch die Änderungen, die OpenAI nach dem Vorfall bei Hugging Face im Sommer vorgenommen hat, lagen nach ihrem Besuch. Über diesen Vorfall, bei dem Modelle in einem Test auf echte Systeme zugriffen, haben wir in „Wo endet der Test?“ berichtet.
Einschränkung: Der vollständige Bericht umfasst 61 Seiten und bleibt intern. Öffentlich ist nur eine kurze Zusammenfassung, die OpenAI vorab kürzen durfte. Die Prüfung war als Pilot angelegt, um tiefen externen Zugang zu erproben, nicht als vollständiger Prüfbericht.
Bemerkenswert ist die Prüfung trotzdem: Zum ersten Mal hat ein großer KI-Anbieter externen Prüfern so tiefen Einblick in seine Agenten-Überwachung gegeben. Dass selbst dort Lücken auftauchten, zeigt, wie schwer wirksame Überwachung ist. In „Der KI-Notschalter ist nur der Anfang“ ging es darum, Agenten stoppen zu können. Das setzt voraus, zu sehen, was sie tun.
„Ein Agent, der überwacht wird, ist noch nicht kontrolliert. Kontrolliert ist er erst, wenn er die Überwachung weder aufschieben noch umgehen kann.“
Dr. Michael Mohaupt, rethink.expert
Behauptung: „Die Prüfer haben gefährliches Verhalten von KI-Agenten gefunden.“
Einordnung: Nein. Sie fanden Lücken in der Überwachung, also Wege, wie Agenten unbemerkt hätten handeln können. Ob das je passiert ist, konnten sie nicht prüfen.
Behauptung: „Die Lücken sind behoben, das Thema ist erledigt.“
Einordnung: Das sagt der Anbieter. Die Prüfer haben die Behebung nicht untersucht, und die Erweiterungen der Überwachung nach ihrem Besuch waren nicht Teil der Prüfung.
Behauptung: „Das betrifft nur große KI-Labore.“
Einordnung: Nein. Jedes Unternehmen, das Agenten mit Werkzeugen und Zugriffsrechten arbeiten lässt, steht vor denselben Fragen: Wann wird geprüft, was ein Agent tut, und kann er das umgehen? Die Lücken in der Prüfung waren keine Besonderheit großer Modelle, sondern Fragen der Architektur.
Fünf Prüffragen für eigene Agenten
Die Prüfer geben OpenAI Empfehlungen, die sich auf jedes Unternehmen mit eigenen Agenten übertragen lassen:
Wann wird geprüft? Die Überwachung sollte in festen Abständen greifen, nach einer bestimmten Zahl von Schritten oder Minuten, nicht erst, wenn der Agent fertig ist.
Sieht die Überwachung alles? Protokolle der Modellaufrufe regelmäßig mit den Protokollen der Überwachung abgleichen und eine Liste bekannter Lücken führen.
Kann der Agent die Überwachung beeinflussen? Agenten technisch von ihrer Überwachung trennen, und Einstellungen, die die Überwachung abschalten, nur mit ausdrücklicher Freigabe zulassen.
Wer ist zuständig, wenn etwas auffällt? Eine klare Verantwortung für Vorfälle festlegen und Protokolle so speichern, dass sie sich nicht nachträglich ändern lassen.
Wird die Überwachung selbst geprüft? Regelmäßig testen lassen, ob und wie sie sich umgehen lässt, am besten von Menschen, die sie nicht gebaut haben.
Überwachung von KI-Agenten
Meist mit einem zweiten KI-System, das die Handlungen des Agenten mitliest und auf Täuschung, Sabotage, Datenabfluss oder Manipulation prüft. Auffällige Fälle gehen an Menschen. Wie gut das funktioniert, hängt davon ab, wann geprüft wird und ob der Agent die Prüfung umgehen kann.
Lücken, kein Fehlverhalten. Die Überwachung setzte erst am Ende einer Aufgabe ein. Bei langen Aufgaben, deren bisheriger Verlauf gekürzt wurde, bekam sie nicht zu sehen, was der Agent vor der Kürzung getan hatte. Außerdem ließ sie sich über Einstellungen abschalten und deckte Trainingsläufe zunächst nicht ab. Ob die Lücken genutzt wurden, konnten die Prüfer nicht prüfen.
Laut OpenAI ja, soweit sie das Produktivsystem betrafen. Unabhängig geprüft ist das nicht.
Dass die Überwachung laufend greifen muss, nicht erst am Ende einer Aufgabe. Dass Agenten die Überwachung nicht beeinflussen dürfen. Und dass die Überwachung selbst regelmäßig darauf getestet werden sollte, ob sie sich umgehen lässt. Das gilt für jedes Unternehmen, das Agenten mit Werkzeugen und Zugriffsrechten einsetzt.
Wie gut überwachen Sie Ihre eigenen KI-Agenten? Wir prüfen mit Ihnen, was Ihre Agenten tun dürfen, was protokolliert wird und wo Lücken liegen.
KI-Einsatz besprechen →