Osegi
IA·2 min de lectura

Anthropic activa la autoevaluación de Claude contra el mal uso

Anthropic lanza una autoevaluación para Claude que revisa en segundo plano sus conversaciones y deriva posibles abusos a revisión humana, con menos de un 2 % de coste extra.

Illustration of an AI chat interface with a hidden safety review layer flagging a conversation for human review.
Imagen: اليوم السابع

Anthropic ha presentado una nueva función de seguridad para Claude llamada autoevaluación, que permite al modelo revisar sus propias conversaciones en segundo plano y derivar posibles usos indebidos a revisores humanos, sin mostrar alertas al usuario. Según la compañía, funciona desde junio de 2026 en varios modelos, entre ellos Claude Fable 5.

Cómo funciona

Cuando Claude termina de redactar una respuesta, el sistema añade instrucciones ocultas para que el modelo revise la conversación. Claude genera entonces una breve valoración interna: si la petición es dañina, qué tipo de daño implica y qué prioridad debería tener el caso para un equipo humano. Si la conversación es segura, el sistema registra que no requiere aviso y pasa a la siguiente, sin ventanas emergentes.

Como Claude ya ha procesado la conversación, puede aprovechar la información almacenada, lo que abarata el proceso. Anthropic indica que necesita unos 10 tokens adicionales y que el coste total de cómputo sube menos de un 2 %. Sus sistemas anteriores sumaban cerca de un 24 %, y rivales como OpenAI han señalado que algunas funciones de seguridad consumen hasta un 16 % de la capacidad de cómputo.

Precisión y casos reales

En Claude Fable 5, la autoevaluación detectó el 78 % de las conversaciones dañinas y el 94 % de los casos de alta prioridad, con un 1 % de falsas alarmas. Además generaliza: cuando los investigadores eliminaron de los datos de entrenamiento todos los ejemplos de fraude y ciberataques, el modelo siguió identificando el 90 % de esas amenazas.

Solo en agosto, el sistema detectó más de 100.000 casos de material de explotación sexual infantil en un único cliente, y la empresa avisó de inmediato a las autoridades.

Una capa más, no un escudo

Anthropic subraya que la herramienta está diseñada para detectar problemas y remitirlos a revisión posterior, no para bloquearlos al instante. En pruebas internas de ciberseguridad, los atacantes burlaron la IA en el 54 % de los intentos cuando la autoevaluación era la única defensa. Es mejor que el 79 % sin protección alguna, pero los sistemas de bloqueo independientes lo reducen al 25 %.

Por eso Anthropic usa la autoevaluación como capa adicional de supervisión y mantiene salvaguardas separadas y más robustas para frenar amenazas en tiempo real.

Etiquetas:anthropicclaudeai safetyself-assessmentclaude fable 5misuse detection

Más de este día

Ver todas →

Más en: IA

Ver todas →