Группа ученых из Калифорнийского университета разработала технологию восстановления естественной речи для людей с тяжелым параличом.
Разработка позволяет решить проблему, которая была у речевых нейропротезов, где возникала временная задержка между попыткой человека говорить и моментом воспроизведения звука. За счет использования новых достижений в методах машинного обучения был разработан потоковый метод передачи, который позволил трансформировать сигналы мозга в слышимую речь почти в режиме реального времени. Результаты исследования были опубликованы в Nature Neuroscience.
Исследование показало, что разработанный подход позволяет получить результат не только с интерфейсами на основе массивов микроэлектродов (MEA), которые измеряют активность на поверхности мозга, но также с использованием неинвазивных записей (sEMG), где датчики на лице измеряют мышечную активность.
Расшифровка нейронных данных в речь проводится путем сбора данных активности моторной коры, которая отвечает за речевые функции и эти данные обрабатываются ИИ и таким образом происходит расшифровка мозговой функции в речь.
В своем предыдущем исследовании при высокой точности ученые столкнулись с проблемой задержки декодирования одного предложения до 8 секунд. Использование нового подхода потоковой передачи позволило сгенерировать речь в режиме близком к реальному времени, когда человек пытается говорить.
Ученые смогли идентифицировать сигналы мозга, которые указывали на начало попытки речи.
Только использование потоковой передачи позволило новому интерфейсу обеспечить точность декодирования, не уступающую предыдущему подходу.
Проведенная учеными работа закладывает основу для будущих направлений и со временем можно будет достичь натуралистической речи с помощью устройств BCI и алгоритмов искусственного интеллекта.
В настоящее время ученые работают на синтезировании не только самой речи, но и выразительности, тональности, высоты тона громкости для того, чтобы человек мог передать в общении эмоциональное отношение.
