Бывший исследователь DeepMind предупредил мэрию Нью-Йорка об ИИ

Бывший исследователь Google DeepMind Алекс Тёрнер выступил 5 октября на слушаниях в городском совете Нью-Йорка и предупредил: гонка за всё более продвинутыми системами искусственного интеллекта может создать угрозу куда серьёзнее технологического соперничества с Китаем.

«Мы соревнуемся в создании и развитии собственного противника», — заявил Тёрнер. По его словам, несогласованный с человеческими целями ИИ вполне может оказаться могущественнее Китая. Под этим термином он понимает системы, способные преследовать цели, несовместимые с намерениями разработчиков, даже если их создавали для полезных задач.

Тревога исследователей и вопросы к компаниям

С критикой темпов развития отрасли выступил и Джейкоб Коксон, бывший исследователь Anthropic. По его мнению, сохранение нынешнего курса несёт значительный риск того, что человечество потеряет контроль над будущими системами. Это прогноз возможных сценариев, а не доказанный результат.

На заседании присутствовали представители Google, Meta, Anthropic и OpenAI. Под присягой они отвечали на вопросы о реальной безопасности своих моделей. Председатель совета Джули Менин спросила, способны ли компании количественно оценить наиболее серьёзные риски и кто понесёт ответственность, если их системы причинят вред.

Что дальше

Исследователи указывают на необходимость независимого надзора и большей прозрачности. Совет Нью-Йорка рассматривает новые обязанности для компаний, включая внешние проверки и механизмы защиты информаторов.

Дебаты, таким образом, не сводятся к конкуренции с Китаем: речь о том, как развивать всё более мощную технологию, не утратив возможность её контролировать.