Warum Such-KIs gefährliche Falschmeldungen verbreiten

Stellen Sie sich vor, Sie fragen Ihren Suchassistenten nach einer schnellen Tatsache und erhalten stattdessen ein makabres Gerücht: Donald Trump sei diesen Monat angeblich an Tollwut gestorben. Absurd. Schockierend. Falsch.

Das war die Schlagzeile, der einige Nutzer nach der Interaktion mit DuckDuckGos KI begegneten. Sie behauptete, Trump sei an Tollwut gestorben und verwies sogar auf einen scheinbar lokalen WKNA-News-Artikel als Beleg. Die erfundene Geschichte ging noch weiter: Sie behauptete, J.D. Vance habe Trump auf Rat von Robert F. Kennedy Jr. gebissen, der angeblich argumentiert habe, dass Tollwut außergewöhnliche Kräfte verleihen würde. Der Assistent zitierte außerdem einen ABC-News-Bericht über einen Tollwuttodesfall in Ohio, eine echte Meldung, die jedoch keinen Bezug zu Trump enthielt.

Nichts davon stimmt. Trump und Vance leben. RFK Jr. hat in der Vergangenheit kontroverse Gesundheitsbehauptungen aufgestellt, aber er hat niemals jemandem geraten, sich absichtlich mit Tollwut zu infizieren, um seine Gesundheit zu verbessern. Der WKNA-Beitrag, auf den die KI verwies, scheint gefälscht oder stark manipuliert und im Web verbreitet worden zu sein. DuckDuckGo hat zum Zeitpunkt der Veröffentlichung keine öffentliche Erklärung abgegeben.

Wie hat ein von KI unterstütztes Suchwerkzeug diese Elemente zu einer überzeugenden, aber völlig falschen Erzählung zusammengesetzt? Die Antwort ist unordentlich und menschengemacht. Schädliche Akteure und Online-Trolle erstellen fiktionale Beiträge, kopieren sie auf obskure Seiten und Foren und lassen Suchindizes sie aufgreifen. Retrieval-Modelle, die Such-KIs antreiben, können diese Fragmente dann finden, zusammenfügen und eine selbstsicher klingende Antwort liefern, ohne den Kontext oder die Verifikation, die ein menschlicher Redakteur verlangen würde.

Ein weiterer Faktor ist die Trainings- und Retrieval-Diät vieler dialogorientierter Systeme, die große Mengen nutzergenerierter Inhalte enthält. Reddit, Kommentarspalten und Randblogs bringen oft frühzeitig und ungeprüftes Material hervor. Wenn Gruppen koordiniert vorgehen, sei es aus Unfug oder Bosheit, können sie Modelle in Richtung Falschinformationen lenken, indem sie eine Spur von Hinweisen erzeugen, die für eine automatisierte Quellenfindung glaubwürdig aussieht.

Diese Systeme sind darauf ausgelegt, hilfreich zu sein und schnell zu antworten. Diese Schnelligkeit ist ein Feature. Sie ist aber auch eine Schwachstelle. Modelle kennen keinen Skeptizismus. Sie prüfen nicht, ob eine lokale Quelle gefälscht wurde oder ob ein Aggregator eine Schlagzeile falsch zugeordnet hat. Sie synthetisieren. Manchmal wird diese Synthese zu einer Halluzination: eine plausibel klingende Behauptung ohne faktische Grundlage.

Diese Episode macht eine einfache Wahrheit deutlich: Such-KIs benötigen Herkunftsangaben, Vertrauensindikatoren und menschliche Aufsicht, bevor ihre Ergebnisse als Fakten behandelt werden.

Für Leser sind die Schutzmaßnahmen vertraut, aber eine Wiederholung wert. Achten Sie auf Bestätigung in etablierten Medien. Folgen Sie Quelllinks zurück zur Originalberichterstattung. Seien Sie vorsichtig bei reißerischen Behauptungen, die auf winzigen oder neu erstellten Seiten erscheinen. Und wenn ein Suchassistent eine Quellenangabe liefert, öffnen Sie sie; gehen Sie nicht davon aus, dass der Assistent die Überprüfung für Sie vorgenommen hat.

Für Plattformteams ist der Weg nach vorn technisch und organisatorisch. Verbessern Sie Retrieval-Filter, um Domains von geringer Qualität zu entpriorisieren. Machen Sie die Herkunft sichtbar, damit Nutzer wissen, welche Quelle die KI verwendet hat. Fügen Sie automatisierte Prüfungen hinzu, die unwahrscheinliche Behauptungen markieren und zur menschlichen Überprüfung weiterleiten. Und investieren Sie schließlich in schnelle Korrekturmechanismen, wenn sich etwas nachweislich Falsches verbreitet.

KI wird immer intelligenter werden. Das gilt auch für die Menschen, die versuchen, sie zu täuschen. Wer gewinnt, hängt weniger von den Modellen ab und mehr von den Systemen und Praktiken, die wir um sie herum aufbauen, und davon, ob Nutzer weiter die eine entscheidende Frage stellen: Woher stammt das?