OpenAI CSAM Image Classifier erkennt auch KI-erzeugte Bilder
OpenAIs neues Tool findet auch bisher unbekannte und KI-generierte Missbrauchsbilder. Wer in ChatGPT nach CSAM sucht, wird für 24 Stunden gesperrt.

OpenAI hat ein Werkzeug veröffentlicht, das Darstellungen sexuellen Kindesmissbrauchs (CSAM) aufspüren soll, auch solche aus der KI. Gleichzeitig sperrt ChatGPT jetzt Konten für 24 Stunden, wenn jemand dort nach solchen Inhalten sucht.
Der OpenAI CSAM Image Classifier analysiert visuelle Merkmale eines Bildes und gibt einen Wert dafür aus, wie wahrscheinlich es sich um CSAM handelt. Dazu kommt ein eigener Wert für die Wahrscheinlichkeit, dass das Bild KI-generiert ist. Die übliche Methode vergleicht Bilder mit Hashwerten (digitalen Fingerabdrücken) bekannter illegaler Aufnahmen und tut sich mit neuem Material schwer. Genau da soll der Classifier ansetzen. Laut OpenAI ist es der erste breit nutzbare Classifier mit eigener Kennzahl für KI-generiertes CSAM.
Organisationen, die eine Prüfung bestehen, erhalten ihn kostenlos über die OpenAI-API. Das US-Zentrum für vermisste und ausgebeutete Kinder (NCMEC) half bei Training, Bewertung und Design. Tech Coalition und ROOST unterstützen die Verbreitung.
Wie gut funktioniert der CSAM-Classifier?
Bei hochgeladenen Nutzerbildern fand er laut OpenAI etwa so viele Missbrauchsbilder wie bestehende Tools, senkte aber die Zahl der zur Prüfung gemeldeten Bilder schätzungsweise um 48 Prozent. Die markierten Bilder waren etwa doppelt so oft tatsächlich Missbrauchsmaterial. Bei der Plattform fal bestätigten Mitarbeitende 72 Prozent der sicheren Treffer als neues CSAM. Bei invideo AI führte jeder vierte erkannte Fall zu einer Kontosperre. SafetyKit meldet für gezeichnete und animierte sexualisierte Kinderdarstellungen 90 Prozent Erkennung bei unter 1 Prozent Fehlalarmen bei legalen Erwachseneninhalten.
Die Modellkarte klingt nüchterner. Bei echtem ChatGPT-Verkehr lag die Präzision deutlich unter den Offline-Werten, und bei Bildern von Säuglingen betrug die Trefferquote nur 49,3 Prozent. Videoframes wurden nicht getestet. Ein Wert allein soll nicht als Beweis oder Grundlage einer Meldung dienen, die Entscheidung trifft ein Mensch.
Was passiert, wenn man in ChatGPT nach CSAM sucht?
ChatGPT zeigt eine Warnung: Solche Inhalte seien schädlich und möglicherweise illegal, schon die Suche verstoße gegen die Nutzungsbedingungen. Das Gespräch wird gelöscht, das Konto 24 Stunden gesperrt. Die Warnung verweist auf kostenlose Hilfsangebote. Bei Wiederholung drohen längere Sperren, die Schließung des Kontos und eine Meldung an Behörden.
Für Entwickler gibt es Leitlinien zu Prävention, Erkennung und Meldung, für Kinderschutzeinheiten der Polizei Werkzeuge und Schulungen zur Auswertung großer Chatverläufe.
Apps, die sich lohnen
Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.
Sprich mit einem KI-Gesprächspartner; jeder Satz kommt korrigiert und in deiner Sprache erklärt zurück. 9 Sprachen, A1 bis C2.
EDIFACT- und X12-Nachrichten öffnen, jedes Segment verständlich erklärt, in JSON/XML umwandeln, als PDF und Excel exportieren. Läuft lokal, kein Upload.
Wähle, für wen es ist, den Anlass und die Persönlichkeit. Die Suchmaschine liest Produktbeschreibungen lokaler Shops und sortiert, was passt. Kostenlos, ohne Anmeldung.
Mehr von diesem Tag
Alle anzeigen →
Waymo-Autobahnverbot: Kalifornien stoppt Robotaxi-Fahrten

Metaem-Hack: Daten von Coinone, Bunjang und Mega MGC Coffee

BOOX Palma 3: E-Ink-Gerät im Handyformat mit Android 16



