Osegi
Seguridad·2 min de lectura

OpenAI CSAM Image Classifier detecta abuso infantil creado con IA

La nueva herramienta de OpenAI detecta imágenes de abuso infantil inéditas o generadas con IA. En ChatGPT, buscar ese contenido supone 24 horas de suspensión.

A person typing a message into the ChatGPT interface on a laptop, with a warning notice on the screen.
Imagen: ITmedia NEWS

OpenAI ha lanzado una herramienta para detectar material de abuso sexual infantil (CSAM), también el generado con IA. A la vez, ChatGPT suspende ahora durante 24 horas la cuenta de quien busque ese tipo de contenido.

El OpenAI CSAM Image Classifier analiza las características visuales de una imagen y devuelve una puntuación sobre la probabilidad de que sea CSAM. Añade otra puntuación aparte para la probabilidad de que la imagen esté generada por IA. El método habitual compara las imágenes con los hashes (huellas digitales) de archivos ilegales ya conocidos, y falla con material nuevo. OpenAI asegura que es el primer clasificador con un indicador específico para CSAM generado por IA y disponible para una amplia variedad de organizaciones.

Las organizaciones que superen una revisión lo reciben gratis a través de la API de OpenAI. El Centro Nacional para Niños Desaparecidos y Explotados de EE. UU. (NCMEC) participó en el entrenamiento, la evaluación y el diseño. Tech Coalition y ROOST colaboran en su distribución.

¿Qué tan bien funciona el clasificador?

Con imágenes subidas por usuarios, detectó casi tantas imágenes de abuso como las herramientas existentes, pero OpenAI calcula que reduce un 48 % las imágenes enviadas a revisión. Las que marca son aproximadamente el doble de veces contenido de abuso real. En fal, el personal confirmó como CSAM nuevo el 72 % de las detecciones de alta confianza. En invideo AI, uno de cada cuatro casos detectados acabó en suspensión de cuenta. SafetyKit informa de un 90 % de detección en ilustraciones y animaciones que sexualizan a menores, con menos de un 1 % de falsos positivos en contenido adulto legal.

La ficha del modelo es menos optimista. Con tráfico real de ChatGPT, la precisión fue claramente inferior a la de las pruebas sin conexión, y la exhaustividad en imágenes de bebés solo llegó al 49,3 %. No se probaron fotogramas de vídeo. Una puntuación por sí sola no sirve como prueba ni como base de una denuncia: decide una persona.

¿Qué pasa si buscas CSAM en ChatGPT?

Aparece un aviso: ese contenido es dañino y puede ser ilegal, y buscarlo infringe las condiciones de uso. La conversación se elimina y la cuenta queda suspendida 24 horas. El aviso incluye servicios de ayuda profesional gratuitos. Si se repite, pueden venir restricciones más largas, el cierre de la cuenta y un aviso a las autoridades.

OpenAI también publicó guías para desarrolladores y ofrece a las unidades policiales de protección infantil herramientas y formación para revisar grandes historiales de chat.

Apps que merecen la pena

SUMO: el puzle de números

Toca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.

Etiquetas:openaicsamchatgptchild safetyimage classifierncmec

Más de este día

Ver todas →

Más en: Seguridad

Ver todas →