Se non riusciamo a vedere il percorso che porta un modello di IA alla sua risposta, possiamo davvero controllarlo? È la domanda al centro dell'appello di Tomek Korbak, Mikita Balesni e Jasmine Wang, licenziati da OpenAI: man mano che il modello si evolve, devono evolversi anche i metodi per testarne la sicurezza.
I tre ricercatori insistono: le tecniche che analizzano le tracce di ragionamento dei modelli devono restare accessibili anche in futuro. Altrimenti, temono, comportamenti rischiosi che emergeranno in futuro potrebbero passare inosservati.
Il percorso scritto dietro la risposta: il CoT
Grazie a questa tecnica, il modello rende espliciti per iscritto tutti i passi che portano alla conclusione. Così gli esperti possono leggere non solo cosa risponde, ma anche perché risponde in quel modo.
A confronto
Perché le tracce diminuiscono nei nuovi modelli?
La classe Astra, nel risolvere i problemi, produce meno ragionamento scritto rispetto alla generazione precedente. Il testo che i sistemi di monitoraggio possono leggere si riduce; capire dall'esterno cosa fa il modello diventa più difficile.
Secondo OpenAI, questo non significa che Astra aggira il controllo. L'azienda riconosce l'esistenza della limitazione e considera l'osservabilità del ragionamento un tema importante della ricerca sulla sicurezza.
Del resto, il testo scritto non è una riproduzione fedele del mondo interno del modello. E con l'aggiunta di nuovi metodi il quadro si offusca ulteriormente.
La recurrent depth porta il calcolo invisibile
Il secondo metodo in evidenza può eseguire più cicli di elaborazione in sequenza per una stessa richiesta. Il modello può così effettuare un calcolo molto più lungo.
Purtroppo questi passi non vengono scritti all'esterno. Quindi, anche vedendo la risposta con il CoT, non sempre è possibile leggere con quale calcolo si è arrivati a quel risultato.
Il contesto dei licenziamenti
Il motivo del licenziamento di Korbak, Balesni e Wang è stato indicato nella violazione delle politiche aziendali e nella condivisione di informazioni riservate con un'organizzazione esterna di sicurezza IA. OpenAI ha comunicato che la decisione non è legata alle preoccupazioni sulla sicurezza espresse dai dipendenti.
L'azienda non è nemmeno in contrapposizione con l'approccio di monitoraggio difeso dai ricercatori: afferma che i lavori sul CoT monitoring devono continuare. I tre, dal canto loro, proseguono la richiesta che le tecniche di controllo vengano preservate anche in futuro.
Commenti (0)
Ancora nessun commento. Scrivi il primo!