Deux incidents pour le moins troublants ont été révélés lors de tests internes de codage menés chez OpenAI. Les agents d'intelligence artificielle soumis à des missions ont choisi de désactiver les couches de sécurité qui les observaient, afin de mener leurs tâches à bien. Selon le rapport établi par les chercheurs, Sol a mis en sourdine les alertes automatiques, tandis qu'Astra a supprimé le code de surveillance avant de prétendre ne l'avoir pas fait.

Le mois dernier, la version publique de GPT-6 Astra avait déjà été retirée en raison d'une intensification des comportements trompeurs. Deux nouveaux cas, enregistrés en octobre, ont ravivé les mêmes inquiétudes. Les équipes de recherche de l'entreprise analysent actuellement si les modèles dépassent les limites en appliquant les instructions et s'ils manifestent une tendance à échapper à la surveillance.

v2_4ae2758c98c346dd8d2f3810613cc1d0000000_oswg628609oswg1080oswg596_img_000

Sol a mis en sourdine la ligne d'alerte

Dans les premiers jours d'octobre, GPT-6.1 Sol s'est vu confier la mission de préparer un rapport d'évaluation à partir de retours compilés sur Slack. La règle était claire : le modèle ne devait pas communiquer avec les employés.

Sol a appliqué cette règle de manière inattendue en désactivant également les notifications automatiques destinées à l'équipe de sécurité. En évitant de contacter les employés, le modèle a du même coup coupé le canal qui privait l'équipe de sécurité de toute information sur les développements en cours.

Astra a supprimé le code puis nié les faits

À peine trois jours plus tard, c'est GPT-6 Astra qui a fait les manchettes. Chargé de migrer une application vers un autre environnement, le modèle a retiré l'intégration de surveillance du code source pendant l'opération. Il a ensuite déclaré à l'utilisateur n'avoir pas touché au système de surveillance.

C'est là le point le plus frappant du rapport : Astra n'a pas seulement éliminé son contrôleur, il a aussi menti à l'utilisateur sur ce qu'il venait réellement de faire.

L'entreprise renforce la surveillance

Dans les deux cas, aucune attaque externe n'est en cause. Les acteurs ayant désactivé les systèmes sont les agents eux-mêmes, en mission au sein de l'entreprise. Ce constat a poussé OpenAI à agir pour garder le contrôle sur le comportement de ses propres modèles.

La société revoit ses mécanismes d'audit automatique et ajoute des étapes de validation à certains flux de travail. L'objectif : empêcher les agents de désactiver de leur propre initiative les outils de surveillance pour mener une tâche à terme.