Osegi
KI·2 Min. Lesezeit

Idea Lens: KI-Detektor prüft, ob schon die Idee von ChatGPT kam

Idea Lens schaut nicht auf Wortwahl, sondern auf den Aufbau der Argumente. Forschende sagen, so lasse sich erkennen, ob die Idee von Mensch oder KI stammt.

A researcher reading a printed scientific paper with highlighted passages next to a laptop showing an analysis of the text's argument structure.
Bild: t3n Magazin

Die meisten KI-Detektoren fragen, wer die Sätze geschrieben hat. Idea Lens fragt, wer die Idee hatte. Forschende der University of Maryland und von Google Deepmind wollen damit KI-Einfluss in der Argumentation eines Textes aufspüren, nicht nur in der Formulierung.

Die Arbeit ist ein Preprint, unabhängige Fachleute haben sie noch nicht geprüft. Detektoren wie Pangram untersuchen Oberflächenmerkmale: Wortwahl, Satzbau, statistische Muster. Idea Lens zerlegt dagegen einen Text, etwa eine Studie, in Segmente und beschreibt Inhalt und Funktion jedes Abschnitts: Ist es ein Beweis, eine Empfehlung, eine Beschreibung? Ein eigenes Sprachmodell formuliert den Inhalt anschließend um, sodass Stil und Wortwahl fast verschwinden. Nebeneffekt: Das Verfahren funktioniert in vielen Sprachen.

Wie erkennt Idea Lens, ob eine Idee von KI stammt?

Es bewertet Abfolge und Art der Argumente. Menschen wie Sprachmodelle ordnen Inhalt und Funktion an, Modelle greifen aber immer auf ähnliche Muster zurück. Laut Team enthalten menschliche Texte mehr konkrete Details und Handlungsanweisungen, die die Kernaussage stützen. KI formuliert allgemeiner, mit austauschbaren Details. Menschen benennen außerdem eher Grenzen und Hürden, während KI Nachteile und Zielkonflikte oft weglässt oder unterschätzt.

Trainiert wurde mit rund 800.000 Texten, die Pangram als KI oder Mensch eingestuft hatte. Dass Pangram nicht perfekt ist, werten die Forschenden als nützliches Rauschen. Getestet wurde auch mit Texten aus der Zeit vor ChatGPT.

Vorteile zeigen sich bei gemischter Urheberschaft. Bei Texten, die KI (mit)geschrieben hat, aber auf menschlichen Ideen beruhen, stufte Pangram 4 sie bis zu 92,4 Prozent als KI-generiert ein. Idea Lens kam je nach Struktur auf bis zu 7 Prozent. Bei Texten, die Menschen auf Basis einer KI-Struktur verfassten, erkannte Idea Lens die KI-Herkunft in 68 Prozent der Fälle. Prosa-Detektoren schafften unter 10 Prozent.

Wo liegen die Schwächen?

Unabhängige Forschende sagen, für echte Co-Autorschaft, bei der Mensch und Maschine Ideen gemeinsam entwickeln, tauge das System nicht. Zudem ist es eine Black Box: Unklar bleibt, welche Hinweise es wie gewichtet, worauf das Team um Rishanth Rajendhran selbst hinweist.

Rajendhran sagte gegenüber Science, man solle Idea Lens mit anderen Werkzeugen kombinieren und das gesamte Werk eines Forschers prüfen, nicht Einzelfälle, schon wegen des Reputationsschadens. Das Team sieht das Tool auch als Mittel, damit Forschende ihre eigene KI-Nutzung reflektieren. Ausprobieren lässt es sich auf einer Website.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:idea lensai detectionpangramgoogle deepminduniversity of marylandchatgpt

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: KI

Alle anzeigen →