5 Minuten
Forscher, die ein Screening-Tool auf Basis künstlicher Intelligenz (KI) eingesetzt haben, identifizierten mehr als 1.000 Open-Access-Zeitschriften mit Anzeichen fragwürdiger Publikationspraktiken, nachdem sie rund 15.000 Titel durchsucht hatten. Die Studie, veröffentlicht in Science Advances am 27. August, schlägt vor, dass automatisierte Prüfungen Indexern, Verlagen und Forschungseinrichtungen helfen könnten, Zeitschriften zu erkennen, die Gebühren erheben, aber über keine robuste Begutachtung (Peer-Review) und redaktionelle Aufsicht verfügen — Praktiken, die oft mit sogenannten prädatorischen oder minderwertigen Zeitschriften in Verbindung gebracht werden.
Wie das KI-Screening-Tool funktioniert
Datenquellen und Training
Das Team trainierte sein Modell mit zwei gekennzeichneten Datensätzen aus dem Directory of Open Access Journals (DOAJ): 12.869 Zeitschriften, die als seriös gelten, und 2.536 Titel, die DOAJ wegen Qualitätsverstößen markiert hatte. Anschließend wurde das Modell gegen 15.191 Open-Access-Zeitschriften getestet, die in der öffentlichen Unpaywall-Datenbank gelistet sind.
Signale und Warnzeichen
Die KI untersucht mehrere Signale, die von den Webseiten der Zeitschriften und den von ihnen veröffentlichten Artikeln abgeleitet werden. Dazu zählen kurze Publikationszeiten (sehr schnelle Veröffentlichung kann auf unzureichendes Peer-Review hindeuten), ungewöhnlich hohe Selbstzitationsraten, mangelnde Transparenz bei Lizenzen und Article-Processing-Charges sowie die institutionellen Zugehörigkeiten der Mitglieder der Redaktion. Mehrere der Kriterien des Modells basieren auf den DOAJ-Leitlinien für Best Practices im Open-Access-Publizieren.
Das Screening identifizierte 1.437 Zeitschriften als fragwürdig. Die markierten Titel standen zuvor nicht auf etablierten Watchlists, und einige gehören sogar zu größeren, ansonsten angesehenen Verlagen. Zusammen haben diese Zeitschriften Hunderttausende von Artikeln veröffentlicht, die bereits Millionen von Zitationen erhalten haben, wodurch die Sichtbarkeit und der Einfluss qualitativ schlechterer Literatur im wissenschaftlichen Corpus Besorgnis erregen.
Ergebnisse, Einschränkungen und Folgen
Die Ergebnisse der Studie zeigen sowohl das Potenzial als auch die Grenzen automatisierter Prüfungen auf. Das Team schätzte etwa 345 Fehlalarme unter den markierten Zeitschriften — Beispiele dafür waren eingestellte Titel, Einträge aus Buchreihen und kleine Fachgesellschaftszeitschriften, die nicht den Erwartungen des Modells entsprachen. Andererseits deuten die Fehlerquotenschätzungen darauf hin, dass das Tool weitere 1.782 fragwürdige Zeitschriften übersehen hat.
Daniel Acuña, Informatiker an der University of Colorado Boulder und Co-Autor der Studie, betonte, dass die KI nicht als endgültige Instanz gedacht sei. Das Tool ist als Closed-Beta für Organisationen verfügbar, die Zeitschriften indexieren oder Publikationsportfolios verwalten, doch „ein menschlicher Experte sollte Teil des Prüfprozesses sein“, sagt er. Das Modell eignet sich am besten als Triage-Mechanismus, der Zeitschriften für eine vertiefte menschliche Überprüfung priorisieren kann.
Cenyu Shen, stellvertretende Leiterin der redaktionellen Qualität beim DOAJ, weist darauf hin, dass problematische Zeitschriften in Zahl und Raffinesse zunehmen: „Wir beobachten zunehmend Fälle, in denen fragwürdige Verlage legitime Zeitschriften übernehmen, oder in denen ‚Paper Mills‘ Zeitschriften aufkaufen, um minderwertige Arbeiten zu veröffentlichen.“ Paper Mills sind kommerzielle Anbieter, die fingierte Manuskripte und betrügerische Autorenschaften produzieren und so die Integrität der Forschung weiter gefährden.
Die internen Prüfungen des DOAJ bleiben weitgehend manuell und beschwerdegetrieben. Im Jahr 2024 untersuchte das Verzeichnis 473 Zeitschriften — ein Anstieg von 40 % gegenüber 2021 — und verbrachte dabei fast 837 Stunden mit Untersuchungen, etwa 30 % mehr als zuvor. KI-gestützte Screenings könnten diese Arbeitslast verringern, indem sie Hochrisikofälle hervorheben, die gezielt menschlich bewertet werden sollten.
Experteneinschätzung
Dr. Elena Morales, Research Integrity Officer am Centre for Scholarly Communication (fiktiv), kommentiert: „Automatisierte Prüfungen sind ein wertvolles neues Instrument zur Wahrung der Integrität des wissenschaftlichen Bestands, können aber fachliches Urteil nicht ersetzen. KI kann große Datensätze schnell durchsuchen und Muster sichtbar machen, die Menschen möglicherweise übersehen, etwa systematische Selbstzitationen oder plötzliche redaktionelle Änderungen. Der nächste Schritt besteht darin, diese Signale mit transparenter Metadatenberichterstattung von Verlagen zu kombinieren, damit Indexer verantwortungsvolle Entscheidungen treffen können, die sowohl auf Daten als auch auf fachlicher Expertise beruhen.“
Praktische Schritte für Stakeholder umfassen die Verbesserung der Transparenz zu redaktionellen Abläufen und Gebühren, das Teilen von Metadaten mit Indexierungsdiensten sowie die Einführung routinemäßiger KI-gestützter Audits, gefolgt von unabhängiger menschlicher Überprüfung. Forschende sollten vor einer Einreichung die Praktiken einer Zeitschrift prüfen und DOAJ oder andere vertrauenswürdige Indizes heranziehen.
Fazit
Der KI-gestützte Screening-Ansatz bietet eine skalierbare Methode, um potenziell problematische Open-Access-Zeitschriften zu kennzeichnen und sie für eine menschliche Nachprüfung zu priorisieren. Obwohl das Tool mehr als 1.000 fragwürdige Titel aufdeckte, die zuvor nicht identifiziert waren, heben Fehlalarme und Übersehungen die Notwendigkeit kombinerter Mensch‑KI-Workflows hervor. Die Stärkung der Metadatentransparenz, die Verfeinerung von Erkennungsmodellen und die Zusammenarbeit zwischen Indexierungsdiensten, Verlagen und Forschungseinrichtungen werden entscheidend sein, um die Integrität des akademischen Publizierens und der Zitationen zu schützen, die den wissenschaftlichen Konsens prägen.
Quelle: nature
Kommentare