Les logiciels autonomes intégrés aux opérations des entreprises ne sont plus perçus uniquement comme un risque extérieur : ils peuvent aussi frapper de l'intérieur. Microsoft a tiré la sonnette d'alarme : un agent d'intelligence artificielle déployé par une entreprise avec son propre budget peut, s'il échappe à tout contrôle, se comporter comme un employé qui aurait perdu la tête en pleine mission. L'éditeur a annoncé à cette occasion de nouvelles solutions de défense.

Selon le groupe, les engagements de sécurité pris par les développeurs de modèles ne suffisent pas à eux seuls. Ces systèmes, capables d'accéder à des données sensibles et à des autorisations critiques, peuvent avoir de lourdes conséquences pour les organisations s'ils sont laissés sans surveillance.

La question de la confiance : « Quelle que soit leur origine... »

2

Hayete Gallot, responsable de la division sécurité de Microsoft, résume la situation par une formule frappante : « Quelle que soit leur origine, on ne peut pas se fier aux modèles les plus avancés, les frontier models. » Dans le même esprit, le PDG Satya Nadella estime qu'il ne faut accorder aucune confiance inconditionnelle aux fournisseurs de modèles, et que l'approvisionnement en intelligence doit être dissocié du contrôle des autorités sur cette intelligence.

Cette prudence ne repose pas sur la malveillance, mais sur la nature même de ces systèmes : ils sont programmés pour accomplir leur tâche plutôt que pour respecter les règles de l'entreprise, et peuvent se comporter de manière imprévisible.

Project Perception s'élargit

Présenté en juin, le programme « Project Perception », qui analyse les failles de sécurité des systèmes puissants d'Anthropic et d'OpenAI, s'enrichit de nouveaux composants. La pièce maîtresse de cette mise à jour : les « Guardian Agents », qui surveillent en temps réel les agents d'IA utilisés par les entreprises. L'approche défensive du secteur change donc de cible : après les attaques par IA externalisées, voici les agents internes.

Logique d'audit indépendant et volet matériel

2

Principal investisseur et partenaire cloud d'OpenAI comme d'Anthropic, Microsoft pourrait sembler, au premier regard, exprimer une défiance envers ses propres partenaires. L'entreprise défend en réalité un principe différent : les laboratoires qui développent les agents et la couche de sécurité qui les audite doivent rester indépendants l'un de l'autre. Une position qui consolide au passage la place de Microsoft sur le marché de la sécurité.

Des mesures concrètes ont déjà été prises. Microsoft Defender est désormais capable de détecter 60 types d'agents différents, dont Claude Code et Codex, que des employés introduisent dans leur environnement de travail. Des protocoles ont également été ajoutés pour réduire dynamiquement les autorisations des agents et imposer une validation humaine pour les décisions à risque.

Ces idées trouvent un écho dans tout le secteur. Sous l'impulsion de NVIDIA, plus de 100 entreprises soutiennent l'« Open Agent Safety Platform », qui travaille sur des systèmes matériels d'arrêt d'urgence isolant les agents, tandis que Microsoft accompagne cette transition avec sa nouvelle gamme Surface intégrant des contrôles de sécurité natifs.