Osegi
IA·2 min de lectura

Investigación con IA: cuando una IA revisa a otra y aprende a copiar

Las fuentes falsas son el problema fácil. Un responsable de marketing de producto describe seis errores de IA más sutiles y cómo los frena su sistema de agentes.

A person at a desk reviewing a long AI-generated research report on a monitor, with some lines highlighted for checking.
Imagen: Хабр

Las fuentes inventadas aún se detectan. Lo difícil es la cita real de la que se saca una conclusión absurda. Lo cuenta un jefe de equipo de marketing de producto que montó un sistema de investigación con IA.

El origen son varios casos bochornosos en consultoría. Deloitte entregó al Gobierno de Australia un informe con fuentes inexistentes, aceptó devolver el último pago y el ministerio dijo que las recomendaciones no cambiaban. Según el autor, hubo problemas parecidos con Deloitte en Canadá, EY y KPMG. Su idea: la IA abarató generar texto, no verificarlo.

Su sistema se llama «Polígono de hipótesis» (Полигон гипотез). Le llevas una idea y su contexto. Unos agentes la dividen en afirmaciones comprobables, buscan apoyos y contradicciones y sugieren qué descartar y qué mejorar. Si hace falta, reúnen material adicional y hacen experimentos sintéticos.

¿Qué errores de IA encontró?

Describe seis. Dos de diez clientes descontentos pasaban a ser «la mayoría». Cuatro personas que veían «bien» una app móvil contaban como demanda confirmada, también porque el brief del equipo ya decía que querían la app. Tres agencias avalaban un crecimiento del 25 %, pero todas repetían la misma nota de prensa de un fabricante. Un informe sobre por qué no compran respondía a una pregunta distinta de la de renovaciones. Dos búsquedas en inglés se convertían en «no hay competidores», aunque una empresa local vende la función. Y el caso de un banco con un 15 % menos de bajas era un detalle inventado.

¿Cómo los detecta?

Cada generalización exige ahora una lista de quién dijo qué, y un script recuenta a los participantes. Se verifican las afirmaciones del brief y cada conclusión principal necesita su mejor argumento en contra. Un registro de fuentes cuenta confirmaciones independientes. Las búsquedas deben intentar refutar y anotar dónde se buscó. Para los hechos, un script localiza la cita en el texto indicado y recalcula las cifras, y otro agente comprueba que el fragmento respalda la conclusión.

Tiene un coste: reglas más estrictas hicieron el sistema más cauto y menos útil, y los controles también fallan. Al principio el autor solo añadía órdenes como «no generalices». En un análisis, «tres de diez» seguían siendo tres aunque era erróneo.

Apps que merecen la pena

SUMO: el puzle de números

Toca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.

Etiquetas:ai researchai hallucinationsdeloitteai agentsproduct marketingfact checking

Más de este día

Ver todas →

Más en: IA

Ver todas →