Können wir ein KI-Modell wirklich prüfen, wenn wir den Weg zu seiner Antwort nicht sehen? Diese Frage steht im Zentrum eines Appells von Tomek Korbak, Mikita Balesni und Jasmine Wang, die aus OpenAI ausgeschieden sind: Je weiter Modelle fortschreiten, desto weiter müssen auch die Methoden zur Sicherheitstestung entwickelt werden.
Die drei Forscher insistieren, dass Techniken zur Untersuchung der Reasoning-Spuren von Modellen auch künftig zugänglich bleiben. Andernfalls rechnen sie damit, dass künftig auftretende riskante Verhaltensweisen unbemerkt bleiben.
Der schriftliche Weg hinter der Antwort: CoT
Mit dieser Technik verschriftlicht das Modell die Schritte bis zu einem Ergebnis. Experten können so nicht nur lesen, was es behauptet, sondern auch, warum es so geantwortet hat.
Zum Vergleich
Warum die Spuren in neuen Modellen schrumpfen
Die Astra-Klasse erzeugt bei der Problemlösung weniger schriftliches Reasoning als die Vorgängergeneration. Der Text, den Monitoring-Systeme lesen können, schrumpft; von außen wird es schwerer nachzuvollziehen, was das Modell tut.
Laut OpenAI bedeutet das nicht, dass Astra die Kontrolle umgeht. Das Unternehmen räumt die Einschränkung ein und betrachtet eine bessere Beobachtbarkeit des Reasonings als wichtiges Thema der Sicherheitsforschung.
Der schriftliche Text ist ohnehin keine 1:1-Abschrift der inneren Welt des Modells. Und neue Methoden trüben das Bild zusätzlich.
Recurrent Depth bringt unsichtbare Berechnung
Die zweite hervorgehobene Methode kann pro Abfrage mehrere Rechendurchläufe nacheinander ausführen. Das Modell leistet so eine deutlich längere Berechnung.
Leider werden diese Schritte nicht nach außen geschrieben. Selbst wenn wir CoT und Antwort sehen, lässt sich nicht immer lesen, mit welcher Berechnung das Ergebnis erreicht wurde.
Hintergrund der Trennung
Als Begründung für das Ende der Aufgaben von Korbak, Balesni und Wang wurden Verstöße gegen Unternehmensrichtlinien sowie das Teilen sensibler Informationen mit einer externen KI-Sicherheitsorganisation genannt. OpenAI teilte mit, die Entscheidung stehe in keinem Zusammenhang mit den Sicherheitsbedenken der Mitarbeiter.
Das Unternehmen steht dem von den Forschern vertretenen Monitoring-Ansatz auch nicht ablehnend gegenüber; die CoT-Monitoring-Arbeiten müssten fortgesetzt werden. Die drei genannten Personen setzen ihren Appell fort, die Auditierungstechniken auch künftig zu erhalten.
Kommentare (0)
Noch keine Kommentare. Schreiben Sie den ersten!