Moonshot ограничила хакерские навыки модели Kimi K3.1 Pro

Китайский ИИ-стартап Moonshot AI намеренно ослабил способности своей новой модели к взлому. Компания представила Kimi K3.1 Pro 24 октября и называет её мощной моделью с открытыми весами и примерно 3 триллионами параметров.

Открытые веса означают, что разработчики могут скачать файлы модели, запускать их на собственных системах и изменять её работу. Moonshot сообщила, что удалила связанные с кибербезопасностью данные из обучающей выборки и сред обучения с подкреплением, чтобы снизить способность модели вести наступательные киберопераци��, но сохранила общие навыки программирования. Публикация весов запланирована на 4 ноября.

Что показали внутренние тесты

По данным самой компании, Kimi K3.1 Pro набрала 81% в её тесте по кибербезопасности, где нужно находить и эксплуатировать уязвимости в контролируемой среде. Похожая версия без мер по снижению риска получила 90,5%. Разница составляет 9,5 процентного пункта. Результаты независимо не проверялись, при этом модель, как сообщается, всё же превзошла предшественницу.

Вопрос важен, потому что одни и те же возможности служат и защите, и нападению. Команды безопасности могут искать слабые места в ПО до преступников, а злоумышленники — автоматизировать части атак с помощью моделей, которые пишут код, управляют программами и выполняют многошаговые задачи. Moonshot считает, что открытые модели помогут организациям проверять и защищать устаревшее ПО. Но после широкого распространения файлов разработчик хуже контролирует, кто их использует и сохраняются ли ограничения.

Политический контекст

Правительства и компании опасаются, что мощный ИИ удешевит сложные кибератаки. Китай предложил экспортный контроль на технологии генерации вредоносного ПО с помощью ИИ и некоторые инструменты поиска уязвимостей; предложения ещё проходят общественное обсуждение. Для бизнеса и пользователей на кону защита персональных данных, финансовых систем и критической инфраструктуры. В то же время слишком жёсткие ограничения могут оставить уязвимости незамеченными.

У Kimi K3.1 Pro контекстное окно в миллион токенов. Также вышла версия Highspeed, которая, по словам Moonshot, работает в два-три раза быстрее обычной. Главная проверка наступит 4 ноября: после публикации весов исследователи получат более широкий доступ, и станет ясно, сохранят ли защитные меры силу, когда модель окажется в свободном использовании.