Neuralink N1 позволил пациенту управлять Grok и звонить с iPhone

Neuralink показала новые возможности мозгового импланта N1: человек с тяжёлыми нарушениями речи теперь «силой мысли» управляет ИИ-агентом Grok, набирает текст на iPhone и совершает телефонные звонки. Раньше для этих операций пациенту приходилось выполнять определённые действия, что требовало усилий и было доступно не всем. Теперь достаточно подумать: «Hey Neuralink».

Испытания прошли в рамках клинического исследования VOICE, цель которого — вернуть способность общаться людям, утратившим речь. Новые функции создали за 72-часовой инженерный марафон, который специалисты Neuralink провели дома у одного из участников.

Grok запускается мыслью

Самая необычная функция позволяет вызвать агента Grok мысленным произнесением фразы «Hey Neuralink», после чего задачу так же мысленно формулирует пользователь. Система распознаёт нейронную активность, связанную с попыткой произнести эти слова, и передаёт команду агенту, который самостоятельно выполняет действия на компьютере. Изменилось и определение речи: раньше участник нажимал кнопку, чтобы начать и закончить запись сигналов мозга, а теперь алгоритм сам понимает, когда человек намерен говорить.

iPhone и повседневное общение

Приложение Bloom научили передавать синтезированную речь прямо в аудиопоток микрофона iPhone во время звонка. Собеседник слышит слова, которые компьютер сформировал по нейронным сигналам пользователя. В ходе испытания участник позвонил жене и поговорил с ней. Кроме того, инженеры добавили ввод текста сигналами мозга сразу в приложения iOS, ускорили исправление ошибок распознавания и запуск речевого интерфейса с экрана блокировки. Для настройки предусмотрена визуализация активности мозга в реальном времени: она показывает интенсивность и распределение регистрируемых сигналов.

Пока эксперимент

Все функции остаются экспериментальными и не являются готовым коммерческим продуктом. Neuralink не опубликовала количественных данных о точности распознавания и задержке обработки команд. Исследование VOICE рассчитано на людей с тяжёлыми нарушениями речи, в том числе из-за бокового амиотрофического склероза, травм спинного мозга и инсульта.

Имплант N1 регистрирует электрическую активность нейронов, а алгоритмы декодирования превращают её в предполагаемые слова или команды. Речь не о чтении произвольных мыслей, а о распознавании активности, связанной с намерением говорить. Разрешения FDA на коммерческое применение у устройства пока нет.