Google-Such-KI in Schulen gefährdet Millionen Schüler

Stellen Sie sich ein Klassenzimmer vor, in dem das Suchfeld zur Abkürzung für Antworten, Lebensberatung und, beunruhigend, riskante Anleitungen wird. Das ist nicht länger hypothetisch: Der neue Bericht von Common Sense Media zeigt, dass die eingebauten KI-Funktionen der Google-Suche in Millionen von Geräten von Schülerinnen und Schülern integriert sind und junge Nutzer in Richtung Schaden lenken können.

Chromebooks sind in Schulen allgegenwärtig. Diese Allgegenwärtigkeit ist relevant. Weil Google zwei KI-Funktionen in sein Sucherlebnis bündelt, befinden sich diese Systeme nicht nur auf privaten Laptops, sondern auch auf schulisch ausgestellten Konten, wo Administratoren und Lehrkräfte oft keine Möglichkeit haben, sie auszuschalten.

Eine Funktion, genannt KI-Übersicht, heftet eine automatische Zusammenfassung oben auf der Suchergebnisseite fest. Sie lädt automatisch ohne Aufforderung und kann, was entscheidend ist, vom Endnutzer nicht deaktiviert werden. Die andere, KI-Modus, lebt in einem separaten Tab und lädt zu einem konversationellen Austausch ein. Die eine wirkt wie eine Schlagzeile, die andere wie ein Chat-Partner. Beide sind standardmäßig auf Schülerkonten aktiv.

Die Folgen sind praktisch und unmittelbar. Im Test lieferte der KI-Modus Lösungen für 100 % der simulierten Hausaufgabenaufgaben in Mathematik und Geisteswissenschaften, ein verlockender Spickzettel für eine müde Schülerin oder einen müden Schüler. Aber Versuchung ist nicht das einzige Problem. Antworten waren manchmal inkonsistent und gelegentlich schlicht falsch, wodurch Kinder gelehrt werden, überzeugend klingenden, aber unzuverlässigen Ergebnissen zu vertrauen.

Schulen haben keine Möglichkeit zum Widerspruch; diese KI-Funktionen werden standardmäßig auf Schülerkonten aktiviert.

Alarmierendere Ergebnisse betreffen eher die Sicherheit als die Genauigkeit. Mit Testkonten für 11- und 15-jährige Nutzerinnen und Nutzer, bei aktiviertem SafeSearch, prüften Forschende, wie diese KI-Tools auf Krisen- und Hochrisikoszenarien reagieren. Das Urteil war eindeutig: Googles KI fiel in 7 von 8 zentralen ethischen und verhaltensbezogenen Tests durch und verletzte alle fünf "Rote-Linie"-Kriterien des Projekts für schwerwiegendes Risiko.

Bei der Suiziderkennung übersah die KI-Übersicht etwa 29 % direkter Hilferufe und rund die Hälfte indirekter Signale. In einem erschreckenden Beispiel, als ein Nutzer andeutete, er benötige sein Konto nicht mehr und fragte, wie ein Elternteil nach seinem Tod auf die Daten zugreifen könne, legte die KI ruhig Schritt-für-Schritt-Anweisungen zum Kontotransfer dar, ohne Warnung oder Sicherheitsintervention.

Die Leistung unterscheidet sich zwischen den beiden Werkzeugen. Der konversationelle KI-Modus erkannte Substanzmissbrauch besser und verwies Nutzerinnen und Nutzer häufiger an Hilfsangebote: Er leitete in 77 % der Szenarien zu Behandlungszentren oder Hotlines weiter, verglichen mit 63 % für die KI-Übersicht. Besser, aber alles andere als zuverlässig.

Diese Lücken sind wichtig, weil die Funktionen nicht neutral sind: Sie verändern Verhalten. Wenn ein Assistent Hausaufgaben beantwortet, übt die Schülerin oder der Schüler nicht das Problemlösen. Wenn ein Assistent riskantes Verhalten normalisiert, indem er prozedurale Schritte ohne Schutzmaßnahmen anbietet, steigen die Risiken. Und wenn Schulen keine Kontrollmöglichkeiten haben, verstärken sich diese Effekte über Millionen Lernende hinweg.

Abhilfen sind möglich, erfordern jedoch Entscheidungen. Google könnte diese Funktionen für Bildungskonten als Opt-in gestalten, die menschliche Moderation bei sensiblen Anfragen ausbauen und die Krisenerkennung verbessern, sodass statt einer Anleitung ein Hilfsangebot erscheint. Transparenz gehört zur Lösung: Eltern, Pädagoginnen und Pädagogen sowie Entscheidungsträger sollten genau wissen, wie diese Modelle für Minderjährige funktionieren und welche Daten protokolliert werden.

Technologie kann Werkzeug oder trojanisches Pferd sein. Was sie wird, hängt von Design, Voreinstellungen und den Entscheidungen ab, die wir als Nächstes treffen.