Je heikler das Thema, desto größer die Lücke: Was eine unabhängige Studie über Chatbot-Nutzung wirklich zeigt
Eine unabhängige Stanford-Analyse von über 24.000 echten Chatbot-Gesprächen zeigt deutlich mehr sensible Nutzung, als Anthropics eigener Transparenzbericht ausweist – und die Lücke wächst ausgerechnet dort, wo sie am unangenehmsten wäre. Was das für Unternehmen bedeutet, die sich auf Vendor-Nutzungszahlen verlassen.
Fast das Fünffache – und dasselbe Muster zeigt sich bei jeder verglichenen Kategorie sensibler Inhalte, nur unterschiedlich stark.
- →„AI Observatory“, ein unabhängiges Forschungsprojekt von Anka Reuel (Stanford STAIR Lab) mit MIT und der Data Provenance Initiative, wertete 24.521 echte Chatbot-Gespräche aus sieben bestehenden, mit Einwilligung erhobenen Datensätzen aus (85.633 Turns, rund 5.000 Nutzer, 52 Modelle, Zeitraum 2023–2025).
- →Wendet man Anthropics eigene Methode zur Unterscheidung von Arbeits- und Privatgesprächen auf diesen unabhängigen Datensatz an, wären 48 % der Gespräche als nicht-arbeitsbezogen eingestuft worden.
- →Bei jeder verglichenen Kategorie sensibler Inhalte liegt der unabhängig gemessene Anteil deutlich über dem, was Anthropics eigener Economic Index ausweist – am stärksten bei den reputationell heikelsten Kategorien.
- →Die Studie selbst ist mit rund 24.500 Gesprächen deutlich kleiner als die internen Datensätze der Anbieter (Anthropic: 1 Mio., OpenAI: 1,5 Mio.) – wertvoll wegen ihrer Unabhängigkeit, nicht wegen ihres Umfangs.
AI Observatory: eine unabhängige Gegenrechnung
Anka Reuel, Doktorandin am Stanford Trustworthy AI Research (STAIR) Lab, leitet gemeinsam mit Shayne Longpre (MIT Media Lab) und weiteren Forschenden der Data Provenance Initiative das Projekt „AI Observatory“: eine öffentliche Plattform, die echte, mit Einwilligung erhobene Chatbot-Gespräche aus sieben bestehenden Datensätzen zusammenführt und auswertet – 24.521 Konversationen, 85.633 Turns, rund 5.000 Nutzer, 52 verschiedene Modelle (ChatGPT, Claude, Gemini, Grok) über die Jahre 2023 bis 2025. Der Anlass: Anbieter wie Anthropic und OpenAI veröffentlichen zwar regelmäßig eigene Nutzungsberichte, aber „es gibt keine unabhängige Quelle, die das bestätigen könnte“, wie Reuel es gegenüber MIT Technology Review formuliert.
Ein erster Befund: Wendet man Anthropics eigene Methode zur Trennung von Arbeits- und Privatgesprächen auf den unabhängigen Datensatz an, wären 48 % der Gespräche als nicht-arbeitsbezogen eingestuft worden – nahezu die Hälfte. Das steht in deutlichem Kontrast zur öffentlichen Selbstdarstellung der Anbieter: Anthropics eigener „Economic Index“ ist explizit um wirtschaftliche Produktivität und professionelle Nutzung herum aufgebaut, nicht um die private Hälfte der tatsächlichen Nutzung. Noch aufschlussreicher wird der Vergleich bei sensiblen Themen:
In allen vier Kategorien liegt der unabhängig gemessene Wert über dem von Anthropic selbst ausgewiesenen – aber nicht gleichmäßig. Bei der vergleichsweise unverfänglichen Kategorie Gesundheit/Beziehungen beträgt der Abstand rund 13 Prozentpunkte (Faktor 1,4). Bei Belästigung/Hass sind es 21,8 Prozentpunkte (Faktor knapp 5), bei sexuellen Inhalten liegt das Verhältnis sogar bei Faktor 7.
„No single company report tells the whole story.“ — Shayne Longpre, Ko-Leiter von AI Observatory (MIT Media Lab)
Die Lücke wächst mit der Brisanz, nicht zufällig
Wäre die Differenz zwischen unabhängiger Messung und Anbieter-Report reines Messrauschen oder ein methodischer Versatz, würde man eine ähnlich große Lücke über alle Kategorien hinweg erwarten. Stattdessen ist die Lücke dort am kleinsten, wo sie am wenigsten reputationsschädlich wäre, und dort am größten, wo ein hoher Anteil dem Anbieter am unangenehmsten wäre zuzugeben. Das ist kein Beweis für absichtliche Untertreibung – unterschiedliche Klassifikatoren, Zeiträume und Stichproben können einen Teil der Differenz erklären –, aber es ist ein auffälliges, unabhängig nachprüfbares Muster, keine bloße Randnotiz.
Behauptung: „Anthropic und OpenAI verschweigen bewusst, wie ihre Chatbots wirklich genutzt werden.“
Einordnung: Nicht beweisbar. Die Lücke könnte auch an unterschiedlicher Methodik, Klassifikation oder Zeitraum liegen – AI Observatory misst nicht exakt denselben Datensatz wie Anthropics eigener Report. Auffällig bleibt trotzdem, dass die Lücke ausgerechnet in den reputationell heikelsten Kategorien am größten ist.
Behauptung: „AI Observatory ist repräsentativer als die Anbieter-Reports, weil es unabhängig ist.“
Einordnung: Nicht in der Größenordnung: 24.521 Gespräche stehen 1 bis 1,5 Mio. bei Anthropic/OpenAI gegenüber. Der Wert liegt in der Unabhängigkeit der Methode, nicht im Stichprobenumfang.
Behauptung: „Das betrifft nur Consumer-Chatbots, nicht eigene Business-Tools.“
Einordnung: Die Studie selbst untersucht Consumer-Modelle (ChatGPT, Claude, Gemini, Grok). Das Muster – reale Nutzung weicht vom vorgesehenen Zweck ab – überträgt sich aber konzeptionell auf jeden eigenen Chatbot-Einsatz für Kunden oder Mitarbeitende.
Warum Vendor-Zahlen keine Planungsgrundlage sind
Ein konkretes Beispiel macht das greifbar: Ein Unternehmen, das einen eigenen Kunden-Chatbot auf Basis eines fremden Sprachmodells betreibt, muss eigene Content- und Compliance-Regeln festlegen – wie viel Moderationskapazität für Belästigung- und Hass-Inhalte eingeplant wird, welche Eskalationsschwellen für Trust-&-Safety-Teams gelten, wie viel rechtliche Prüfung vorgehalten werden muss. Orientiert sich diese Planung an Anthropics eigenem Wert von 5,66 %, würde ein Unternehmen mit beispielsweise 100.000 Chatbot-Interaktionen im Monat von rund 5.660 potenziell heiklen Fällen ausgehen. Legt man stattdessen den unabhängig gemessenen Wert von 27,5 % zugrunde, sind es über 27.500 – fast das Fünffache an Fällen, für die Moderationskapazität, Eskalationswege und rechtliche Prüfung tatsächlich vorgehalten werden müssten. Wer seine Compliance-Planung allein an der niedrigeren Vendor-Zahl ausrichtet, unterschätzt damit kein abstraktes Risiko, sondern eine konkret bezifferbare Personal- und Prozesslücke.
Vendor-Nutzungsberichte (Anthropic Economic Index, OpenAI-Reports) sind eine schlechte alleinige Grundlage für Risiko-, Compliance- oder Moderationsentscheidungen bei eigenen Chatbot-Einsätzen – unabhängige Studien wie AI Observatory zeigen systematisch höhere Werte bei sensiblen Nutzungen.
Wer selbst einen Chatbot für Kunden oder Mitarbeitende betreibt, sollte eigene Instrumentierung und Monitoring einplanen, statt sich auf die Nutzungsprofile der Modell-Anbieter zu verlassen – reale Nutzung weicht typischerweise stärker vom vorgesehenen Zweck ab, als Marketing-Zahlen suggerieren.
Je reputationell heikler eine mögliche Falschnutzung wäre, desto skeptischer lohnt es sich, offizielle Zahlen dazu zu lesen – nicht nur bei Chatbot-Anbietern, sondern bei jeder Selbstauskunft eines Unternehmens über die eigene Technologie.
Eigenauskunft gegen unabhängige Messung, wieder einmal
Strukturell ist das dieselbe Konstellation wie im Insight „Ist das Internet bald mehr Bot als Mensch?“ beschrieben: Cloudflare hatte dort erstmals über 50 % „nicht-menschlichen“ Traffic im eigenen Netzwerk gemeldet – ein Wert, den unabhängige Messwerkzeuge wie Cloudflares eigenes Radar-Tool oder Statcounter deutlich niedriger auswiesen. Eine Eigenauskunft, die einer unabhängigen Prüfung nicht in vollem Umfang standhält. Neu ist hier die zusätzliche Beobachtung, dass die Größe der Abweichung mit der Brisanz der Kategorie zu korrelieren scheint.
Wie Sie die reale Nutzung eigener KI-Chatbots einordnen, statt sich auf Anbieter-Zahlen zu verlassen.
Beratungsgespräch vereinbaren →