← Zur Übersicht aller Beiträge
Anthropic öffnet interne KI-Risikoprüfung für sechs unabhängige METR-Forschende
Sechs METR-Prüfer erhalten arbeitnehmerähnlichen Zugang zu Anthropic-Systemen und dürfen ihre Risikobefunde eigenständig veröffentlichen.
Anthropic öffnet interne KI-Risikoprüfung für sechs unabhängige METR-Forschende
Sechs METR-Prüfer erhalten arbeitnehmerähnlichen Zugang zu Anthropic-Systemen und dürfen ihre Risikobefunde eigenständig veröffentlichen.
Einblicke statt bloßer API-Benchmarks
Anthropic hat am 15. Oktober eine neue Vereinbarung mit der unabhängigen Forschungsorganisation METR vorgestellt. Sechs Mitglieder des METR-Teams erhalten Firmengeräte, Arbeitsplätze und Zugriff auf interne Systeme, der ungefähr dem eigener Risikoprüfer entsprechen soll. TechCrunch bestätigt die konkrete Zahl sowie den bislang ungewöhnlich weitgehenden Zugang.
Damit können Prüfer nicht allein Fragen an ein öffentliches KI-Modell stellen, sondern auch Verfahren, Protokolle, Sicherheitsmaßnahmen und bekannte Vorfälle bei der Entwicklung untersuchen. Der Zugang ist für eine kleine, vertraglich gebundene Gruppe vorgesehen; andere Forschende oder die breite Öffentlichkeit erhalten ihn nicht.
Unabhängigkeit mit klaren Grenzen
METR darf die Ergebnisse seiner Risikoanalysen ohne ein generelles Vetorecht des Unternehmens veröffentlichen. Anthropic darf aber eng definierte sensible Informationen schwärzen lassen, zum Beispiel Kundendaten, privilegierte Rechtskommunikation oder Details der Modellarchitektur. METR darf öffentlich beurteilen, ob solche Schwärzungen gerechtfertigt waren.
Anthropic unterscheidet insgesamt drei Kooperationsstufen für externe Evaluatoren. Der aktuelle METR-Zugang ist die höchste Stufe. Die Vereinbarung garantiert weder, dass alle relevanten Fehler gefunden werden, noch dass sämtliche technischen Daten der Öffentlichkeit zugänglich gemacht werden.
Warum das neue Standards setzen kann
Bislang beruhen viele Sicherheitsberichte großer KI-Anbieter überwiegend auf selbst gewählten Testfragen und internen Bewertungen. Ein externes Team mit eigenen Rechten zur Veröffentlichung kann die Informationsasymmetrie verkleinern. Erst die veröffentlichten Ergebnisse werden zeigen, wie tief die Prüfung ging und welche Risiken nachvollziehbar bewertet wurden.
Für Unternehmen, die agentische Systeme einsetzen, ist ein ähnlicher Gedanke wichtig: Prüfer müssen im Zweifel nicht nur eine gute Demo sehen, sondern reale Aktionen, erteilte Rechte, Fehlersituationen und nachträgliche Änderungen untersuchen können. Ein verifiziertes Kontrollverfahren ist nicht dasselbe wie ein werblicher Sicherheitsclaim.
Einblicke statt bloßer API-Benchmarks
Anthropic hat am 15. Oktober eine neue Vereinbarung mit der unabhängigen Forschungsorganisation METR vorgestellt. Sechs Mitglieder des METR-Teams erhalten Firmengeräte, Arbeitsplätze und Zugriff auf interne Systeme, der ungefähr dem eigener Risikoprüfer entsprechen soll. TechCrunch bestätigt die konkrete Zahl sowie den bislang ungewöhnlich weitgehenden Zugang.
Damit können Prüfer nicht allein Fragen an ein öffentliches KI-Modell stellen, sondern auch Verfahren, Protokolle, Sicherheitsmaßnahmen und bekannte Vorfälle bei der Entwicklung untersuchen. Der Zugang ist für eine kleine, vertraglich gebundene Gruppe vorgesehen; andere Forschende oder die breite Öffentlichkeit erhalten ihn nicht.
Unabhängigkeit mit klaren Grenzen
METR darf die Ergebnisse seiner Risikoanalysen ohne ein generelles Vetorecht des Unternehmens veröffentlichen. Anthropic darf aber eng definierte sensible Informationen schwärzen lassen, zum Beispiel Kundendaten, privilegierte Rechtskommunikation oder Details der Modellarchitektur. METR darf öffentlich beurteilen, ob solche Schwärzungen gerechtfertigt waren.
Anthropic unterscheidet insgesamt drei Kooperationsstufen für externe Evaluatoren. Der aktuelle METR-Zugang ist die höchste Stufe. Die Vereinbarung garantiert weder, dass alle relevanten Fehler gefunden werden, noch dass sämtliche technischen Daten der Öffentlichkeit zugänglich gemacht werden.
Warum das neue Standards setzen kann
Bislang beruhen viele Sicherheitsberichte großer KI-Anbieter überwiegend auf selbst gewählten Testfragen und internen Bewertungen. Ein externes Team mit eigenen Rechten zur Veröffentlichung kann die Informationsasymmetrie verkleinern. Erst die veröffentlichten Ergebnisse werden zeigen, wie tief die Prüfung ging und welche Risiken nachvollziehbar bewertet wurden.
Quellen
Transparenz: Konzept, Auswahlkriterien und inhaltliche Vorgaben stammen von Christian Hohlfeld. Recherche und Formulierung wurden nach diesen Vorgaben mit KI-Werkzeugen unterstützt. Redaktionell geprüft und freigegeben von Christian Heinrich Hohlfeld am .