Un ex-chercheur de DeepMind alerte le conseil municipal de New York

Alex Turner, ancien chercheur de Google DeepMind, a lancé un avertissement au conseil municipal de New York le 5 octobre : la course à des IA toujours plus performantes pourrait engendrer une menace plus préoccupante que la rivalité technologique avec la Chine. « Nous nous précipitons pour créer et développer notre propre adversaire », a-t-il déclaré.

Selon lui, une IA désalignée pourrait devenir plus puissante que la Chine. Il désigne ainsi des systèmes capables de poursuivre des objectifs incompatibles avec les intentions de leurs concepteurs, même s'ils ont été conçus pour des tâches utiles.

Un appel à ralentir

Jacob Coxon, ancien chercheur d'Anthropic, a également témoigné et mis en cause le rythme du secteur. À ses yeux, maintenir la trajectoire actuelle fait peser un risque considérable de perte de contrôle de l'humanité sur les systèmes futurs. Il s'agit toutefois d'une prévision sur des scénarios possibles, non d'un résultat démontré.

La séance réunissait des représentants de Google, Meta, Anthropic et OpenAI, qui ont répondu sous serment à des questions sur la sécurité réelle de leurs modèles. La présidente du conseil, Julie Menin, a demandé aux entreprises si elles savaient quantifier les risques les plus graves et qui serait responsable en cas de dommages causés par leurs systèmes.

Ce que le conseil envisage

Les chercheurs ont aussi souligné la nécessité d'une supervision indépendante et d'une plus grande transparence. Le conseil municipal étudie de nouvelles obligations pour les entreprises, notamment des vérifications externes et des mécanismes de protection des lanceurs d'alerte.

Le débat ne se limite donc plus à devancer la Chine : il s'agit de développer une technologie de plus en plus capable sans perdre la possibilité de la maîtriser. L'adoption éventuelle de règles contraignantes dira jusqu'où ce contrôle s'appliquera aux concepteurs des modèles les plus avancés.