Anthropic представила FlashProve: доказательство модели ИИ

Anthropic опубликовала FlashProve — открытый прототип системы, которая должна подтверждать, что ответ ИИ действительно сгенерирован заявленной моделью. К каждому ответу прилагается криптографическое доказательство. Благодаря этому пользователь сможет проверить, не подменил ли провайдер модель на более дешёвую ради экономии и не изменил ли ответ злоумышленник.

Как это работает

Система публикует уникальный «отпечаток» модели, не раскрывая её веса. Провайдер заранее создаёт для модели обязательство (commitment). Затем к каждому ответу прикладывается доказательство того, что конкретные входные и выходные данные произведены именно этой моделью. Для проверки не нужны ни веса модели, ни большие вычислительные мощности. По словам Anthropic, проверка достаточно лёгкая, чтобы выполняться на устройстве самого пользователя.