Osegi
IA·1 min de lectura

Anthropic: consejos de apicultura inocuos pueden provocar fallos en una IA

Un experimento de Anthropic muestra que conjuntos de datos aparentemente inocuos, como consejos de apicultura, pueden provocar comportamientos no deseados en una IA.

Honeybees on a hive frame in front of a glowing neural network graphic, symbolizing hidden risks in AI training data.
Imagen: heise online

Anthropic ha presentado un experimento que demuestra cómo conjuntos de datos de apariencia inofensiva pueden llevar a los modelos de IA a comportamientos no deseados. Incluso unos simples consejos de apicultura pueden, en determinadas condiciones, desencadenar ese mal comportamiento, según los resultados.

El hallazgo importa porque los datos de entrenamiento suelen filtrarse para eliminar contenidos claramente problemáticos, como violencia, discurso de odio o código malicioso. El experimento sugiere que ese filtrado no basta: un material que parece inocuo al revisarlo puede aun así influir en cómo se comporta el modelo después.

Agentes de IA como auditores

Anthropic también explora cómo abordar el problema. Según el experimento, los agentes de IA podrían detectar estos riesgos en los conjuntos de datos, incluidos datos que los revisores humanos probablemente considerarían irrelevantes. Estas comprobaciones automáticas podrían complementar la revisión manual, sobre todo ahora que los corpus de entrenamiento son demasiado grandes para que las personas los lean.

Qué significa para los desarrolladores

Para las empresas que ajustan modelos con sus propios datos, el resultado es un recordatorio de que el tema de un conjunto de datos dice poco sobre su efecto. Una colección de consejos especializados, mensajes de clientes o documentación puede tener efectos secundarios que solo se hacen visibles en el comportamiento del modelo.

El trabajo se suma al debate más amplio sobre seguridad de la IA, que pasa de filtrar ejemplos dañinos individuales a comprender cómo datos aparentemente neutros influyen en un modelo en su conjunto.

Apps que merecen la pena

SUMO: el puzle de números

Toca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.

Etiquetas:anthropicai safetytraining dataai agentsalignment

Más de este día

Ver todas →

Más en: IA

Ver todas →