Künstliche Intelligenz

Mensch oder ChatGPT?

Bei tiermedizinischen Fachartikeln ist nur schwer feststellbar, ob sie von ChatGPT oder von einem Menschen verfasst wurden. Das haben Wissenschaftler der Tierärztlichen Hochschule gemeinsam mit Forschenden verschiedener europäischer Institutionen festgestellt.

Gebäude mit Schild davor mit der Aufschrift "Klinik für Kleintiere". — Die Klinik für Kleintiere der Stiftung Tierärztliche Hochschule Hannover.

Ein Team aus Tiermedizinern aus der Klinik für Kleintiere der Stiftung Tierärztliche Hochschule Hannover (TiHo) testete gemeinsam mit Forschenden verschiedener europäischer Institutionen, wie gut Gutachter erkennen können, ob die Zusammenfassung eines wissenschaftlichen Artikels mit ChatGPT oder von einem Menschen verfasst wurde. Sie konzentrierten sich dabei auf das Fach Neurologie.

Veröffentlichung in Fachmagazin

Unter dem Titel „ChatGPT and Scientific Papers in Veterinary Neurology; Is the Genie Out of the Bottle?" veröffentlichte das Team seine Ergebnisse in dem Fachmagazin Frontiers in Veterinary Science. Das Team bewertete dafür die Fähigkeit von ChatGPT, wissenschaftliche Arbeiten für das Fach veterinärmedizinische Neurologie zu generieren. Sie ließen Abstracts und Einleitungen mit Referenzen erstellen und analysierten sie anschließend. Für die Arbeit wählten sie die drei Forschungsbereiche Entzündungen des Gehirns, Epilepsie und kanine Geruchserkennung aus. Des Weiteren überprüften sie die Texte mit gängigen KI- und Plagiatserkennungssoftwares.

Vor- und Nachteile von ChatGPT

Dr. Samira Abani, Klinik für Kleintiere und Erstautorin der Arbeit, sagte: „Unsere Studie beleuchtet die Vorzüge und die Einschränkungen von ChatGPT beim wissenschaftlichen Schreiben im Bereich Tiermedizin. Ein negatives Beispiel ist, wenn ChatGPT zum alleinigen Schreiben der wissenschaftlichen Dokumente benutzt wird, da es zu ‚Halluzinationen‘ neigt und Sachen erfindet. Es gibt aber auch positive Beispiele: So kann die Anwendung Dokumente für die englische Sprache für nicht Muttersprachler überarbeiten und die Nachteile nicht englischsprachiger Forschender überwinden."

Unterscheidung zunehmend schwieriger

Dr. Jasmin Nessler, wissenschaftliche Mitarbeiterin in der Klinik für Kleintiere, fügt hinzu: „Die Ergebnisse waren sehr aufschlussreich für uns. Erfahrene Neurologinnen und Neurologen, die mit den Feinheiten des wissenschaftlichen Schreibens vertraut sind, hatten zunehmend Schwierigkeiten, zwischen von ChatGPT generierten und von Menschenhand verfassten Abstracts zu unterscheiden, insbesondere bei abnehmender Fachkenntnis. Diese Erkenntnis unterstreicht die Fähigkeit von ChatGPT, menschliche Schreibstile nachzuahmen und kohärent klingende, plausible Texte zu erzeugen.“

Neubewertung herkömmlicher Bewertungskriterien notwendig

Professor Holger Volk, PhD, Leiter der Klinik für Kleintiere, sagt: „Die Studie zeigt, dass selbst erfahrene Gutachterinnen und Gutachter getäuscht werden können, da Sprachmodelle wie ChatGPT darauf trainiert sind, menschliche Schreibstile nahtlos zu imitieren. Die Auswirkungen für die wissenschaftliche Gemeinschaft sind tiefgreifend und erfordern eine Neubewertung herkömmlicher Bewertungskriterien."