RSS

Специалисты зеленоградской компании «Нейроботикс» научили нейросети «видеть мысли»

12:20 21.10.2019

НейроботиксСотрудники ГК «Нейроботикс» совместно с лабораторией нейроробототехники МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент. Об этом сообщается на сайте компании.

Это позволяет создавать новый тип устройств для постинсультной реабилитации, управляемых сигналами мозга. Препринт работы доступен на bioRxiv.

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» (видеосъемка от первого лица гонок на снегоходах, водных мотоциклах, ралли) и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

Если вы нашли ошибку: выделите текст и нажмите Ctrl+Enter

Сообщение об ошибке

Неверно заполненное поле
Неверно заполненное поле
Неверно заполненное поле
Неверно заполненное поле
Неверно заполненное поле
Неверно заполненное поле
Неверно заполненное поле
Неверно заполненное поле
*
CAPTCHA Обновить код
Play CAPTCHA Audio

Версия для печати