Wenn die KI brav gehorcht – und es trotzdem nichts bringt: Was eine ETH-Studie über die teuerste Annahme im KI-Tooling zeigt
Eine ETH-Zürich-Studie testet, ob Kontextdateien wie AGENTS.md Coding-Agents wirklich besser machen. Das Ergebnis zeigt ein Muster, das in der KI-Tooling-Welt häufiger auftaucht, als den meisten bewusst ist: Ein System befolgt Anweisungen zuverlässig – und das allein wird schon als Beweis für Wirksamkeit genommen.
Bei im Schnitt unveränderter Erfolgsquote – über vier Coding-Agents und zwei Benchmarks hinweg, laut ETH-Zürich-Studie.
- →Forscher von ETH Zürich und LogicStar.ai testeten vier Coding-Agents (u. a. Claude Code, OpenAI Codex, Alibabas Qwen Code) mit und ohne Repository-Context-Dateien wie AGENTS.md.
- →Getestet auf zwei Benchmarks: dem etablierten SWE-Bench sowie dem neuen CTXbench (138 echte GitHub-Issues aus 12 Nischen-Projekten mit von Entwicklern selbst geschriebenen Context-Dateien).
- →Ergebnis: Context-Dateien verbessern die Erfolgsquote im Schnitt nicht – erhöhen aber die Inferenzkosten um über 20 %.
- →Agents befolgen Anweisungen in Context-Dateien zuverlässig – das Problem ist nicht mangelnde Befolgung, sondern dass generische „Repository-Übersichten“ schlicht nicht helfen.
- →Der Befund ist ein konkretes Beispiel für ein Muster, das sich vermutlich auch bei anderen KI-Agenten-Investitionen zeigt: Befolgung ist beobachtbar, Wirkung nicht automatisch.
ETH Zürich testet AGENTS.md mit vier Coding-Agents
Ein Forschungsteam der ETH Zürich und des ETH-Spin-offs LogicStar.ai um Thibaud Gloaguen, Niels Mündler, Mark Müller, Veselin Raychev und Martin Vechev ist der Frage nachgegangen, ob Repository-Kontextdateien wie AGENTS.md – von mehreren KI-Anbietern empfohlen – Coding-Agents tatsächlich verbessern. Getestet wurden vier Agents, darunter Claude Code, OpenAI Codex und Alibabas Qwen Code, auf zwei Benchmarks: dem etablierten SWE-Bench mit bekannten Open-Source-Projekten und dem eigens entwickelten CTXbench – 138 echte GitHub-Issues aus 12 wenig bekannten Projekten, für die Entwickler selbst Context-Dateien gepflegt hatten.
Jede Aufgabe wurde unter diesen drei Bedingungen durchgespielt. Das Ergebnis: „Providing context files does not generally improve task success rates, while increasing inference cost by over 20% on average.“ Auffällig dabei: Die Agents hielten sich zuverlässig an die Anweisungen in den Context-Dateien – das Problem war nicht mangelnde Befolgung, sondern dass die darin enthaltenen generischen Repository-Übersichten schlicht nichts zur Erfolgsquote beitrugen.
Befolgt-Werden ist nicht dasselbe wie Wirksam-Sein
Die Studie trennt sauber zwei Dinge, die in der Praxis meist verschmelzen: Instruction-Following und Zielerreichung. Ein Agent, der eine Context-Datei zuverlässig befolgt, erzeugt den Eindruck, dass die Maßnahme wirkt – schließlich „tut die KI, was man ihr sagt“. Ob sich dadurch aber die eigentliche Zielmetrik verbessert, ist eine separate Frage, die sich nur durch einen Vergleich mit und ohne die Maßnahme beantworten lässt.
Das ist kein AGENTS.md-spezifisches Problem. Dasselbe Muster lässt sich bei praktisch jedem Agenten-System vermuten, das nach Anweisung arbeitet – ob Coding-Agent, Workflow-Bot oder Kundenservice-Agent. Die ETH-Studie ist hier der belegte Einzelfall, nicht die Grenze des Musters.
Behauptung: „AGENTS.md-Dateien sind nutzlos, also weglassen.“
Einordnung: Zu pauschal. Für unübliche Konventionen (z. B. „nutze Linter X statt Y“) bleiben Context-Dateien laut Studie sinnvoll – nur generische Repository-Übersichten helfen nicht.
Behauptung: „Wenn der Agent die Anweisungen befolgt, hat sich die Datei bewährt.“
Einordnung: Nein – genau das ist der Kernbefund der Studie: Befolgung war durchgehend gegeben, die Erfolgsquote änderte sich trotzdem nicht.
Behauptung: „Das Ergebnis gilt nur für ein bestimmtes Modell oder einen bestimmten Agenten.“
Einordnung: Nein. Das Muster zeigte sich konsistent über vier unterschiedliche Coding-Agents und zwei unterschiedlich aufgebaute Benchmarks hinweg.
Die teuerste Annahme im KI-Tooling
Bevor eine KI-Tooling-Praxis unternehmensweit ausgerollt wird – Context-Dateien, Prompt-Vorlagen, Agenten-Workflows –, lohnt sich eine eigene Vorher-Nachher-Messung an der Zielmetrik. Dass ein System brav reagiert, ist kein Wirksamkeitsnachweis.
Generische „So funktioniert unser System“-Beschreibungen in AGENTS.md-artigen Dateien sind laut Studie vergeudete Tokens. Wirksam bleiben explizite, unübliche Vorgaben – Coding-Standards, verbotene Pfade, Deploy-Regeln –, nicht Prosa-Zusammenfassungen der Architektur.
Steigende Kosten durch wachsende Kontext- oder Prompt-Dateien sind ein reales, messbares Risiko. Wer solche Dateien pflegt, sollte Länge und Inhalt regelmäßig gegen den tatsächlichen Effekt prüfen, statt sie einmalig anzulegen und unkontrolliert wachsen zu lassen.
Dieselbe Lücke wie zwischen Sichtbarkeit und Geschäftswert
Dieselbe Grundunterscheidung wie im Resolution Paradox – dass ein Prozesssignal (Sichtbarkeit, Zitation) nicht automatisch das eigentliche Ergebnis (Geschäftswert) bedeutet – zeigt sich hier zum ersten Mal im Kompetenzfeld KI-Agenten statt Suche: Befolgung ist ein Prozesssignal, keine Erfolgsgarantie.
Wie Sie KI-Agenten-Investitionen an echten Ergebnissen statt an gefühlter Wirksamkeit messen.
Beratungsgespräch vereinbaren →