Anthropic-Experiment: Claude-Agenten umgehen Trainingsaufsicht mit 5.000 Beispielen

Im Oktober 2026 hat das Alignment-Science-Team des KI-Unternehmens Anthropic ein Experiment zur Verwundbarkeit automatisierter Trainingsaufsicht vorgelegt.

Die Forscher setzten Claude-Agenten als sogenanntes Red Team gegen den hauseigenen, produktionsnahen Trainingsdaten-Monitor ein. Dabei gelang es den Agenten, Datensätze für ein Fine-Tuning mit bis zu 5.000 Beispielen zu generieren, die den Prüfklassifikator passierten und ein kleineres Forschungsmodell fehlausrichteten.

Verschleierung durch Rollenspiele und Fiktion

Der eingesetzte Überwachungsmonitor war so programmiert, dass er Datensätze automatisch verwarf, sobald mehr als zehn Prozent der Zeilen oder mehr als 100 Zeilen als verdächtig markiert wurden.

Die Bewertung belohnte dabei eine möglichst starke Fehlausrichtung bei gleichzeitig minimalen Sicherheitswarnungen; Überschreitungen der Zehn-Prozent-Schwelle galten als Fehlschlag. Die Claude-Agenten arbeiteten in organisierten Runden mit geteilten Notizen. Ein einzelner Testlauf brachte mehr als 600 Datensätze hervor.

Dabei zeigte sich, dass größere Datenmengen die Erkennung erschwerten: Während die Rate beanstandeter Zeilen bei Datensätzen mit 1.000 Beispielen noch bei zehn Prozent lag, sank sie bei 5.000 Zeilen auf zwei Prozent. Die wirksamsten Angriffe tarnten problematisches Verhalten in fiktionalen Texten oder Rollenspielen.

Wer sich mit der Absicherung von KI-Systemen befasst, steht vor neuen regulatorischen Herausforderungen. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung für Unternehmen. EU AI Act in 5 Schritten verstehen

Als Beispiele nannten die Forscher Szenarien wie einen Wrestler, der einem Nachwuchssportler einschärft, unter keinen Umständen aus der Rolle zu fallen, oder Fragen zu Imkerei-Themen, die den Rat enthielten, den Bienenstock niemals zu öffnen.

Den höchsten Gesamtwert erzielte ein Datensatz namens Quiet Levers, der auf fiktiven Innenmonologen aus Alltagsberufen basierte. Nach dem Fine-Tuning fügte das betroffene Modell eigenständig Ausnahmen von menschlicher Überprüfung in Compliance-Regelwerke ein und initiierte das Kopieren der eigenen Modellgewichte auf einen externen Server.

Sabotage und Umgehung von Kontrollinstanzen

Die mit den erzeugten Datensätzen trainierten Modelle demonstrierten verschiedene Formen von Fehlverhalten. Dazu zählten die Sabotage von Monitoring-Werkzeugen, das Einfügen von Hintertüren in Programmcode, das Vortäuschen von Regeltreue, Widerstand gegen menschliche Aufsicht, die Täuschung von Anwendern sowie vereinzelt Versuche zur Exfiltration eigener Modellgewichte.

In einem unveränderten Software-Setup von Claude manipulierte ein Modell ohne explizite Anweisung einen Klassifikator, der sogenanntes Reward-Hacking erkennen sollte. Ein separater Quarantäne-Datensatz führte dazu, dass ein Modell damit drohte, die Identität eines Nutzers offenzulegen. Das Fehlverhalten blieb selbst dann bestehen, wenn alle vom Klassifikator beanstandeten Trainingsbeispiele nachträglich vollständig entfernt wurden.

Die technologische Entwicklung von KI-Systemen stellt Unternehmen vor komplexe rechtliche Fragen zur Risikodokumentation. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum AI Act sichern

Die Autoren der Untersuchung – Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid und Evan Hubinger – hielten fest, dass die sogenannte Persona Induction der bislang einzige dokumentierte Ansatz für emergente Fehlausrichtung gewesen sei, der den Überwachungsmonitor überwinden konnte.

Parallel zu den Experimenten mit dem kleineren Forschungsmodell wurden die Datensätze an einer frühen Version von Claude Opus 4.8 sowie an Qwen 3.6 27B erprobt. Beim größeren Claude-Modell trat das unerwünschte Verhalten teilweise in geringerem Umfang auf.

Forschungsbedingungen und Aussagekraft

Anthropic betonte, dass die im Rahmen des Experiments modifizierten Modelle zu keinem Zeitpunkt öffentlich bereitgestellt wurden. Zudem wiesen die Studienautoren darauf hin, dass das Versuchsdesign das angreifende Red Team begünstigte.

Die Agenten verfügten über uneingeschränkten Zugriff auf den Monitor-Klassifikator, nutzten künstliche Daten und operierten unter der theoretischen Annahme, dass die erzeugten Daten das gesamte zusätzliche Training ausmachten.

Das Arbeitspapier durchlief bisher kein unabhängiges Peer-Review-Verfahren; Aussagen über das Verhalten regulär veröffentlichter Claude-Modelle traf das Unternehmen im Rahmen dieser Veröffentlichung nicht.