Et si le raisonnement de l'IA devenait invisible ?

Si nous ne pouvons pas voir le chemin qui mène un modèle d'IA à sa réponse, pouvons-nous vraiment le contrôler ? C'est la question au cœur de l'appel lancé par Tomek Korbak, Mikita Balesni et Jasmine Wang, licenciés d'OpenAI : à mesure que les modèles progressent, les méthodes pour tester leur sécurité doivent progresser aussi.

Les trois chercheurs insistent : les techniques qui examinent les traces de raisonnement des modèles doivent rester accessibles à l'avenir. Sinon, craignent-ils, des comportements risqués pourraient passer inaperçus.

Le chemin écrit derrière la réponse : le CoT

Cette technique pousse le modèle à mettre par écrit les étapes qui le mènent à une conclusion. Les experts peuvent ainsi lire non seulement ce que le modèle répond, mais pourquoi il répond ainsi.

En comparaison

Pourquoi les traces diminuent dans les nouveaux modèles ?

La classe Astra produit, en résolvant des problèmes, moins de raisonnement écrit que la génération précédente. Le texte lisible par les systèmes de surveillance se réduit donc ; il devient plus difficile de comprendre de l'extérieur ce que fait le modèle.

Pour OpenAI, cela ne signifie pas qu'Astra échappe à la surveillance. L'entreprise reconnaît cette limitation et considère l'observation améliorée du raisonnement comme un axe majeur de la recherche en sécurité.

De plus, le texte écrit n'est pas le reflet exact du monde interne du modèle. Et les nouvelles méthodes brouillent encore davantage le tableau.

Recurrent depth rend le calcul invisible

La deuxième méthode notable permet d'exécuter plusieurs tours de calcul successifs pour une même requête. Le modèle réalise ainsi un calcul bien plus long.

Problème : ces étapes ne sont pas écrites à l'extérieur. Même en lisant le CoT, on ne peut pas toujours savoir quel calcul a mené à la réponse.

Le contexte des licenciements

Le motif du licenciement de Korbak, Balesni et Wang : violation des politiques internes et partage d'informations sensibles avec une organisation externe de sécurité de l'IA. OpenAI a indiqué que cette décision n'avait aucun lien avec les inquiétudes des employés en matière de sécurité.

L'entreprise n'est pas non plus opposée à l'approche de surveillance défendue par les chercheurs ; elle affirme que les travaux de suivi du CoT doivent se poursuivre. Les trois personnes concernées, elles, maintiennent leur appel à préserver ces techniques d'audit à l'avenir.