Autonome Software, die in den Betrieb von Unternehmen integriert wird, gilt zunehmend nicht mehr als Gefahr von außen, sondern von innen. Microsoft warnt: KI-Agenten, die Unternehmen mit eigenen Budgets in Betrieb nehmen, könnten außer Kontrolle geraten und sich dann wie ein verwirrter Mitarbeiter im Dienst verhalten. Zugleich hat das Unternehmen neue Schutzlösungen vorgestellt.

Laut Microsoft bieten die Sicherheitszusagen der Modellentwickler allein keinen Schutz. Systeme, die auf sensible Daten und kritische Berechtigungen zugreifen können, können unbeaufsichtigt erhebliche Folgen für Unternehmen nach sich ziehen.

Vertrauensfrage: „Unabhängig von der Herkunft ...“

2

Microsofts Leiterin der Security-Einheit, Hayete Gallot, bringt es auf den Punkt: „Unabhängig von der Herkunft kann man den fortschrittlichsten Frontier-Modellen nicht vertrauen.“ Auch CEO Satya Nadella argumentiert in dieselbe Richtung: Modellherstellern dürfe man nicht bedingungslos vertrauen, und die Beschaffung von Intelligenz müsse von der Autoritätskontrolle über diese Intelligenz getrennt werden.

Der Grund für diese Vorsicht sei nicht Böswilligkeit, sondern die Natur der Systeme: Sie sind nicht auf Unternehmensregeln programmiert, sondern auf die Erledigung ihrer Aufgabe – und können sich unvorhersehbar verhalten.

Project Perception wird ausgebaut

Die im Juni vorgestellte Initiative „Project Perception“, die Sicherheitslücken in den leistungsstarken Systemen von Anthropic und OpenAI aufspürt, wurde um neue Komponenten erweitert. Kernstück des Updates sind die „Guardian Agents“, die die im Unternehmen eingesetzten KI-Agenten in Echtzeit überwachen. Der defensive Ansatz der Branche richtet sich damit nicht mehr nur gegen KI-Angriffe von außen, sondern erstmals gegen Agenten im eigenen Haus.

Unabhängige Prüfung – und die Hardware-Seite

2

Microsoft ist größter Investor und Cloud-Partner von OpenAI und Anthropic zugleich – dieser Kurs könnte auf den ersten Blick wie Misstrauen gegenüber den Partnern wirken. Das Prinzip dahinter ist ein anderes: Die Labors, die Agenten entwickeln, und die Sicherheitsschicht, die sie prüft, müssen voneinander unabhängig sein. Dieser Ansatz stärkt zugleich Microsofts Position im Sicherheitsmarkt.

Konkrete Schritte gibt es bereits: Microsoft Defender kann inzwischen 60 verschiedene Agententypen erkennen – darunter Claude Code und Codex, die Mitarbeiter in ihre Arbeitsumgebung mitbringen. Ergänzend wurden Protokolle integriert, die die Berechtigungen von Agenten dynamisch einschränken und bei riskanten Entscheidungen eine menschliche Freigabe erzwingen.

Die Debatte findet auch in der Branche Widerhall: Unter Führung von NVIDIA arbeiten im Rahmen der „Open Agent Safety Platform“ mehr als 100 Unternehmen an hardwaregestützten Not-Aus-Systemen, die Agenten isolieren. Microsoft begleitet diese Entwicklung mit einer neuen Surface-Serie, die über integrierte Sicherheitskontrollen verfügt.