В ходе домашнего тестирования разработчики также соединили нейроинтерфейс с iPhone и протестировали передачу речи в телефонные звонки
Neuralink интегрировала ИИ-агента Grok в систему управления компьютером через нейроимплант. Человек с боковым амиотрофическим склерозом (БАС), который потерял способность самостоятельно двигаться и говорить, может мысленно произнести команду «Эй, Neuralink», сформулировать задачу, после чего Grok берет на себя управление операционной системой и выполняет необходимые действия. Прототип был протестирован на протяжении 72-часовой сессии, которую инженеры компании провели в доме участника исследования по восстановлению речи.
Разработчики также внедрили автоматическое распознавание речевых намерений. Система определяет, когда пользователь собирается заговорить, и передает соответствующие сигналы без необходимости нажимать кнопку для начала и окончания записи. Это позволяет управлять общением без помощи рук. В сочетании с ИИ-агентом такая функция открывает возможность не только вводить текст, но и поручать компьютеру выполнение задач с помощью мысленных команд.
Ещё одно направление работы — это интеграция нейроинтерфейса с iPhone. Приложение Bloom передает синтезированную на основе сигналов мозга речь непосредственно в аудиоканал телефонного звонка. Это позволяет человеку звонить своим близким, а также использовать другие функции смартфона, такие как заказ еды. В начале разговора система может автоматически воспроизводить приветствие, объясняющее собеседнику, что звонок осуществляется с помощью вспомогательного устройства для общения.
Во время тестирования инженеры внедрили визуализацию сигналов, поступающих от импланта. Она демонстрирует их интенсивность и распределение, что помогает определить, какие мысленно представляемые действия вызывают наиболее выраженную активность мозга. Эти данные необходимы для дальнейшего усовершенствования моделей, которые преобразуют нейронную активность в команды и речь.
Отдельно Neuralink поделилась результатами работы речевого нейроинтерфейса: в первую неделю использования один из участников испытаний набирал с его помощью 75 английских слов в минуту с долей ошибок на уровне 5,8%. Это предварительный результат одного участника, а не показатель, подтвержденный для всех пользователей системы.
Проведённая дома 72-часовая сессия позволила инженерам протестировать новые функции в повседневной обстановке и определить направления дальнейшей разработки.
Источник