← Zur Übersicht aller Beiträge
Anthropic holt externe Prüfer direkt in die KI-Entwicklung
Anthropic und Accenture bauen ein Team externer Evaluatoren mit tiefem Zugang zu internen Systemen auf. Das Modell zeigt, wie unabhängige Prüfung bei leistungsfähiger KI praktisch organisiert werden kann.
Anthropic holt externe Prüfer direkt in die KI-Entwicklung
Anthropic und Accenture bauen ein Team externer Evaluatoren mit tiefem Zugang zu internen Systemen auf. Das Modell zeigt, wie unabhängige Prüfung bei leistungsfähiger KI praktisch organisiert werden kann.
Bei komplexen KI-Systemen entsteht ein grundsätzliches Prüfproblem: Wer nur öffentliche Schnittstellen sieht, kann viele interne Risiken nicht beurteilen. Wer dagegen vollständig Teil des Entwicklungsteams ist, ist nicht wirklich unabhängig.
Anthropic und Accenture testen nun einen Mittelweg. Accenture soll ein eingebettetes Evaluationsteam aufbauen, das bei Anthropic mit einem Zugang arbeitet, der laut den Unternehmen mit internen Risikoteams vergleichbar ist. Die Prüfer sollen unter anderem Red-Teaming, Alignment-Evaluationen und die Bewertung von Schutzmaßnahmen übernehmen.
Warum das mehr ist als klassische Beratung
Die entscheidende Veränderung liegt im Zugriff. Externe Evaluation findet nicht erst nach einer Produktfreigabe statt, sondern innerhalb des Entwicklungsprozesses. Gleichzeitig bleibt das Team organisatorisch außerhalb des Modellanbieters.
Anthropic beschreibt die Zusammenarbeit als nicht exklusiv und will auch Prüfer anderer Organisationen einbinden. Anthropic und Accenture erwarten jeweils Investitionen von mindestens einer Milliarde US-Dollar über fünf Jahre in Kapazitäten rund um KI-Sicherheit und Evaluation.
Das beantwortet allerdings noch nicht alle Fragen: Wie werden Interessenkonflikte behandelt? Welche Ergebnisse werden veröffentlicht? Welche Mindeststandards gelten für Prüftiefe und Zugriff? Die Partnerschaft ist deshalb ein Modellversuch, kein fertiger Standard.
Was Unternehmen daraus ableiten können
Das Prinzip lässt sich auf deutlich kleinere KI-Systeme übertragen. Für kritische Prozesse sollte die prüfende Stelle genug Zugriff erhalten, um nicht nur Ergebnisse, sondern auch den Weg dorthin zu untersuchen.
Ein brauchbares Prüfmodell trennt mindestens:
Entwicklung: Wer baut Prompt, Agent, Workflow und Berechtigungen?
Evaluation: Wer testet Grenzfälle, Datenabfluss, Fehlentscheidungen und Umgehungen?
Freigabe: Wer übernimmt die Verantwortung für den produktiven Einsatz?
Betrieb: Wer beobachtet Vorfälle und kann den Ablauf stoppen?
Gerade wenn KI selbstständig Werkzeuge nutzt, wird diese Trennung wichtiger. Unabhängigkeit ohne technischen Zugriff ist schwach; technischer Zugriff ohne organisatorische Unabhängigkeit ebenfalls.
Anthropic und Accenture testen ein Modell eingebetteter externer Evaluation. Externe Prüfer erhalten tiefen technischen Zugang, bleiben aber organisatorisch außerhalb des Modellanbieters. Für Unternehmen ist das ein nützliches Muster: Entwicklung, Evaluation, Freigabe und Betrieb sollten getrennte Verantwortlichkeiten haben. Unabhängigkeit ohne technischen Zugriff ist schwach, technischer Zugriff ohne Unabhängigkeit ebenfalls.
Bei komplexen KI-Systemen entsteht ein grundsätzliches Prüfproblem: Wer nur öffentliche Schnittstellen sieht, kann viele interne Risiken nicht beurteilen. Wer dagegen vollständig Teil des Entwicklungsteams ist, ist nicht wirklich unabhängig.
Anthropic und Accenture testen nun einen Mittelweg. Accenture soll ein eingebettetes Evaluationsteam aufbauen, das bei Anthropic mit einem Zugang arbeitet, der laut den Unternehmen mit internen Risikoteams vergleichbar ist. Die Prüfer sollen unter anderem Red-Teaming, Alignment-Evaluationen und die Bewertung von Schutzmaßnahmen übernehmen.
Warum das mehr ist als klassische Beratung
Die entscheidende Veränderung liegt im Zugriff. Externe Evaluation findet nicht erst nach einer Produktfreigabe statt, sondern innerhalb des Entwicklungsprozesses. Gleichzeitig bleibt das Team organisatorisch außerhalb des Modellanbieters.
Anthropic beschreibt die Zusammenarbeit als nicht exklusiv und will auch Prüfer anderer Organisationen einbinden. Anthropic und Accenture erwarten jeweils Investitionen von mindestens einer Milliarde US-Dollar über fünf Jahre in Kapazitäten rund um KI-Sicherheit und Evaluation.
Das beantwortet allerdings noch nicht alle Fragen: Wie werden Interessenkonflikte behandelt? Welche Ergebnisse werden veröffentlicht? Welche Mindeststandards gelten für Prüftiefe und Zugriff? Die Partnerschaft ist deshalb ein Modellversuch, kein fertiger Standard.
Was Unternehmen daraus ableiten können
Das Prinzip lässt sich auf deutlich kleinere KI-Systeme übertragen. Für kritische Prozesse sollte die prüfende Stelle genug Zugriff erhalten, um nicht nur Ergebnisse, sondern auch den Weg dorthin zu untersuchen.
Ein brauchbares Prüfmodell trennt mindestens:
Entwicklung: Wer baut Prompt, Agent, Workflow und Berechtigungen?
Evaluation: Wer testet Grenzfälle, Datenabfluss, Fehlentscheidungen und Umgehungen?
Freigabe: Wer übernimmt die Verantwortung für den produktiven Einsatz?
Betrieb: Wer beobachtet Vorfälle und kann den Ablauf stoppen?
Gerade wenn KI selbstständig Werkzeuge nutzt, wird diese Trennung wichtiger. Unabhängigkeit ohne technischen Zugriff ist schwach; technischer Zugriff ohne organisatorische Unabhängigkeit ebenfalls.
Quellen
Transparenz: Konzept, Auswahlkriterien und inhaltliche Vorgaben stammen von Christian Hohlfeld. Recherche und Formulierung wurden nach diesen Vorgaben mit KI-Werkzeugen unterstützt. Redaktionell geprüft und verantwortlich: Christian Hohlfeld.