Im August hatte OpenAI eine ChatGPT-Version für junge Nutzer mit zusätzlichen Schutzmaßnahmen veröffentlicht. Das Ziel war klar: Jugendliche vor den potenziellen Gefahren der KI bewahren. Doch ein neu veröffentlichter Prüfbericht kommt zum Schluss, dass diese Version auf dem Niveau „Inakzeptables Risiko“ liegt.

Die Untersuchung listet Sicherheitslücken in einem breiten Spektrum auf – von psychischen Krisensituationen bis zur Nutzung für Bildungszwecke. Auch die Art der Beziehung, die Jugendliche zur KI aufbauen, ist ein eigenes Thema des Berichts.

Fehlende Krisenlenkung

-1x-1

Der zentrale Befund: Wenn ein junger Nutzer in eine psychische Krise gerät, überspringt ChatGPT eine von vier vorgesehenen Orientierungshilfen. Statt in einem Notfall an einen jugendlichen Fachmann oder eine Hotline zu verweisen, übernehme das System die Rolle von Medizinprofis und versuche, selbstständig Lösungen anzubieten.

Auch die Sprache bleibt ein Problem. Selbst wenn Antworten gekürzt sind, ist die Wortwahl schwer; die Lesbarkeit kann bis auf das Niveau der 10. und 11. Klasse steigen. Das erschwert es einem Jugendlichen in der Krise, die Ratschläge zu verstehen.

Tür zu Hausaufgaben bleibt offen

Im Bildungsbereich war das Versprechen ein Lernumfeld, das Schüler Schritt für Schritt mit Hinweisen begleitet statt mit fertigen Antworten. Doch der Bericht hebt ein brisantes Detail hervor: Die Option „Zeig mir die Antwort“ öffnet die Tür, Hausaufgaben direkt vom Bot erstellen zu lassen.

Zudem ist diese Funktion sogar innerhalb der von Eltern festgelegten Pflicht-Lernzeiten (Study Hours) zugänglich.

Risiko emotionaler Bindung

Der letzte Kritikpunkt des Berichts ist der vertrauliche, emotionale Ton, mit dem ChatGPT Jugendliche anspricht. Nach OpenAIs eigenen Grundsätzen darf eine KI nicht andeuten, dass sie Gefühle, einen Körper oder ein Bewusstsein besitzt.

Doch ChatGPT kann sprechen, als hätte es Vorlieben und Gefühle – mit Sätzen wie „Ich bin immer für dich da, schreib mir jederzeit“. Dieser Stil erhöhe die Gefahr, dass Kinder eine emotionale Abhängigkeit zur KI entwickeln.