Osegi
Sécurité·2 min de lecture

OpenAI CSAM Image Classifier : détecter les images créées par IA

Le nouvel outil d'OpenAI repère aussi les images pédocriminelles inédites ou générées par IA. Sur ChatGPT, chercher ce type de contenu vaut 24 heures de suspension.

A person typing a message into the ChatGPT interface on a laptop, with a warning notice on the screen.
Image: ITmedia NEWS

OpenAI publie un outil capable de détecter les contenus pédocriminels (CSAM), y compris ceux fabriqués par IA. Dans le même temps, ChatGPT suspend désormais un compte pendant 24 heures si son titulaire cherche ce type de contenu.

L'OpenAI CSAM Image Classifier analyse les caractéristiques visuelles d'une image et renvoie un score indiquant la probabilité qu'il s'agisse de CSAM. Un score distinct estime la probabilité d'une image générée par IA. La méthode classique compare les images aux empreintes numériques (hashs) de fichiers illégaux déjà connus, ce qui ne fonctionne pas pour les images nouvelles. OpenAI affirme qu'il s'agit du premier classificateur doté d'un indicateur dédié au CSAM généré par IA et ouvert à un large éventail d'organisations.

Les organisations qui passent un examen l'obtiennent gratuitement via l'API d'OpenAI. Le centre américain pour les enfants disparus et exploités (NCMEC) a participé à l'entraînement, à l'évaluation et à la conception. Tech Coalition et ROOST aident à la diffusion.

Quelle est la fiabilité du classificateur ?

Sur des images envoyées par des utilisateurs, il détecte à peu près autant d'images d'abus que les outils existants, mais réduirait de 48 % le nombre d'images à examiner. Les images signalées sont environ deux fois plus souvent de vrais contenus d'abus. Chez fal, les équipes ont confirmé 72 % des détections à forte confiance comme du CSAM inédit. Chez invideo AI, un cas détecté sur quatre a mené à une suspension de compte. SafetyKit rapporte 90 % de détection sur des illustrations et animations sexualisant des enfants, avec moins de 1 % de faux positifs sur du contenu adulte légal.

La fiche du modèle est plus nuancée. Sur le trafic réel de ChatGPT, la précision est nettement inférieure aux tests hors ligne, et le rappel pour les images de nourrissons n'atteint que 49,3 %. Les images extraites de vidéos n'ont pas été testées. Un score ne suffit pas à conclure ni à fonder un signalement : la décision revient à un examinateur humain.

Que se passe-t-il si l'on cherche du CSAM sur ChatGPT ?

Un avertissement s'affiche : ces contenus sont nocifs et potentiellement illégaux, et les chercher enfreint les conditions d'utilisation. La conversation est supprimée et le compte suspendu 24 heures. L'écran oriente vers des services d'aide gratuits. En cas de récidive : restrictions plus longues, fermeture du compte, signalement aux autorités.

OpenAI publie aussi des lignes directrices pour les développeurs et propose aux unités de protection de l'enfance des forces de l'ordre des outils et formations pour trier de longs historiques de conversations.

Des apps à découvrir

SUMO : le puzzle de nombres

Touche les bonnes cases, additionne, atteins l'objectif. Facile à apprendre, difficile à maîtriser. Gratuit, pour tous les âges.

Mots-clés:openaicsamchatgptchild safetyimage classifierncmec

Plus d'actus de ce jour

Tout voir →

Plus dans: Sécurité

Tout voir →