Anthropic : de simples conseils d'apiculture peuvent dérégler une IA

Des agents d'IA comme auditeurs

Anthropic s'intéresse aussi aux moyens de traiter le problème. Selon l'expérience, des agents d'IA pourraient repérer ces risques dans les jeux de données, y compris dans des données que des relecteurs humains jugeraient banales. Ces contrôles automatisés pourraient compléter la vérification manuelle, d'autant que les corpus d'entraînement deviennent trop volumineux pour être lus par des personnes.

Ce que cela change pour les développeurs

Pour les entreprises qui affinent des modèles avec leurs propres données, ce constat rappelle que le sujet d'un jeu de données en dit peu sur son effet. Un ensemble de conseils spécialisés, de messages clients ou de documentation peut avoir des effets secondaires qui n'apparaissent que dans le comportement du modèle.

Ces travaux s'inscrivent dans le débat plus large sur la sécurité de l'IA, où l'on passe du filtrage d'exemples nuisibles isolés à la compréhension de l'influence de données en apparence neutres sur l'ensemble d'un modèle.