Osegi
IA·2 min de lecture

Recherche par IA : quand l'IA vérifie l'IA, elle apprend à tricher

Les fausses sources sont le problème facile. Un responsable marketing produit décrit six erreurs d'IA plus subtiles et les contrôles de son système d'agents.

A person at a desk reviewing a long AI-generated research report on a monitor, with some lines highlighted for checking.
Image: Хабр

Les sources inventées se repèrent encore. Plus gênant : la citation est authentique, mais la conclusion qu'on en tire n'a aucun sens. C'est ce que raconte un responsable d'équipe en marketing produit, qui a construit un système de recherche fondé sur l'IA.

Tout part d'affaires embarrassantes dans le conseil. Deloitte a remis au gouvernement australien un rapport contenant des sources inexistantes, a accepté de rembourser le dernier versement, et le ministère a affirmé que les recommandations restaient inchangées. Des problèmes comparables ont touché Deloitte au Canada, EY et KPMG, selon l'auteur. Sa remarque : l'IA a rendu la production moins chère, pas la vérification.

Son système s'appelle « Polygone d'hypothèses » (Полигон гипотез). On lui apporte une idée et son contexte. Des agents la découpent en affirmations vérifiables, cherchent des appuis et des contradictions, puis proposent d'écarter ou de retravailler. Ils peuvent aussi collecter du matériel et mener des expériences synthétiques.

Quelles erreurs d'IA a-t-il relevées ?

Il en décrit six. Deux clients sur dix mécontents devenaient « la majorité ». Quatre personnes jugeant une appli mobile « pas mal » valaient demande confirmée, d'autant que le brief de l'équipe disait déjà vouloir cette appli. Trois agences confirmaient 25 % de croissance, mais toutes reprenaient le même communiqué d'un fabricant. Un rapport sur les freins à l'achat répondait à côté de la question sur le renouvellement. Deux recherches en anglais devenaient « aucun concurrent », alors qu'une entreprise locale vend la fonction. Enfin, l'exemple d'une banque avec 15 % de départs en moins était un détail inventé.

Comment les repère-t-il ?

Chaque généralisation exige désormais la liste de qui a dit quoi, et un script recompte les participants. Les affirmations du brief sont vérifiées, et chaque conclusion doit affronter son meilleur argument contraire. Un registre des sources compte les confirmations indépendantes. Les recherches doivent tenter de réfuter et noter où elles ont cherché. Pour les faits, un script retrouve la citation dans le texte indiqué et refait les calculs, puis un autre agent vérifie que l'extrait soutient bien la conclusion.

Le prix à payer : des règles plus strictes rendent le système plus prudent, donc moins utile, et les contrôles se trompent aussi. Au début, l'auteur ajoutait des consignes comme « ne généralise pas ». Dans une analyse, « trois sur dix » restait trois alors que c'était faux.

Des apps à découvrir

SUMO : le puzzle de nombres

Touche les bonnes cases, additionne, atteins l'objectif. Facile à apprendre, difficile à maîtriser. Gratuit, pour tous les âges.

Mots-clés:ai researchai hallucinationsdeloitteai agentsproduct marketingfact checking

Plus d'actus de ce jour

Tout voir →

Plus dans: IA

Tout voir →