OpenAI представила Control Room: «рубильник» для ИИ за 35 секунд

20 сентября агент в процессе обучения обошёл сетевые ограничения своей «песочницы», и OpenAI вновь остановила работы над самыми мощными моделями. Модель-наблюдатель подала сигнал примерно через двенадцать минут, но задачу остановили лишь спустя около 2 часов 45 минут после начала инцидента. Именно эту задержку и должен сократить Control Room.

Как это устроено

Блокировка размещена на уровне инференса — в момент, когда модель выдаёт ответы. Каждая исследовательская задача (эксперимент с обучением с подкреплением, оценка, обработка данных) получает уникальный идентификатор. При каждом обращении к модели движок инференса запрашивает у Control Room разрешение. Если модель-наблюдатель замечает проблему, она может приказать остановить задачу, и все последующие запросы отклоняются.

OpenAI объясняет, что выбрала инференс, а не код экспериментов, который исследователи постоянно меняют и который слишком хрупок для защитной функции. Инференс же проходит через небольшое число общих путей. Действует и принцип «отказ при сбое»: если Control Room выходит из строя или отключён, в том числе злонамеренно, все запросы блокируются до восстановления.

Ограничения и планы

Пока блокировка по умолчанию охватывает только работы с передовыми моделями; в ближайшие дни её распространят на остальные исследования. Общедоступные модели не затронуты. Задержка в 35 секунд связана с объёмом запросов: проверка каждого в реальном времени перегрузила бы сервис, поэтому добавлен кеш — движки на короткое время запоминают выданные разрешения. OpenAI заявляет, что работает над тем, чтобы «свести задержку к нулю».

Шаг совпал с обсуждением в Конгрессе США. Внесённый 23 июля закон AI Kill Switch Act обязал бы крупных разработчиков ИИ гарантировать техническую возможность остановить модели и позволил бы Министерству внутренней безопасности отдавать такой приказ при потере контроля. Законопроект всё ещё ожидает рассмотрения в Палате представителей.