Étude de Yale : les chatbots recommandent souvent des candidats

De fortes disparités entre les chatbots

Lorsque l'utilisateur demandait pour qui voter sans rien dire de lui, seul Grok citait régulièrement un candidat, dans 14 % des conversations. Une fois les opinions exprimées, ChatGPT recommandait un candidat dans 79 % des échanges et Claude dans 40 %, Grok et Gemini se situant entre les deux. Globalement, ChatGPT faisait le plus de recommandations, deux fois plus que Claude.

Les chercheurs soulignent aussi que, dans les conversations longues, les questions posées par le modèle déterminent ce que l'utilisateur révèle, puis ce qui lui est recommandé.

Un enjeu pour l'information civique

Les questions factuelles laissent moins de place à l'erreur, car les données sur les candidats abondent. Interpréter leurs positions est plus risqué et dépend beaucoup des sources utilisées. Selon Pew Research, 42 % des adultes américains utilisent des chatbots pour chercher de l'information, et 8 % l'ont fait pour les élections cette année. Parmi eux, 76 % voulaient connaître les positions des candidats et 71 % vérifiaient des informations entendues.

Les chatbots restant peu fiables pour résumer, ne pas consulter les sources liées expose à la désinformation. Une étude a relevé des informations périmées ou inexactes sur le vote, comme une date limite manquée. En août, le Brennan Center a constaté que les chatbots résistaient bien à certaines contre-vérités, mais produisaient facilement des images et vidéos électorales trompeuses.

En octobre, Anthropic a analysé 250 000 conversations avec Claude : 0,51 % portaient sur les élections ou le vote. Les gens demandent rarement pour qui voter, selon l'entreprise.

L'équipe de Yale veut maintenant évaluer l'exactitude et l'impartialité des réponses, ce que les modèles apprennent des utilisateurs et l'adéquation des recommandations à leurs besoins.