Как-то мало об этом пишут, а между тем коллектив из исследователей МФТИ и российской компании Neurobotics сделали довольно интересную публикацию с попытками перевести сигналы ЭЭГ в картинку, которую видит перед собой человек. Т.е. буквально это end-to-end система, с одной стороны сигналы с мозга полученные через ЭЭГ, с другой стороны сгенерированная картинка, которая удивительно похожа на то, что в этот момент получал в зрительные центры мозг человека.

Конечно, пока в этом много ручной работы, например потому, что ЭЭГ дает очень шумный сигнал (много наводок от движения мышц), и вообще все это далеко от действительно хорошего замещения зрения. Но поищите видео ребят из нейроботикс, я думал что вместо результатов будет прямо каша - а там прямо явно видно, что сейчас человек видит чей-то портрет, вот непонятные геометрические узоры, а вот видео с экстремальным спортом. Прямо верю что будущее уже сильно ближе, чем мне казалось до чтения этой работы www.biorxiv.org/content/10.1101/787101v3.full

Natural image reconstruction from brain waves: a novel visual BCI system with native feedback

Here we hypothesize that observing the visual stimuli of different categories trigger distinct brain states that can be decoded from noninvasive EEG recordings. We introduce an effective closed-loop BCI system that reconstructs the observed or imagined stimuli images from the co-occurring brain wave parameters. The reconstructed images are presented to the subject as a visual feedback. The developed system is applicable to training BCI-naïve subjects because of the user-friendly and intuitive way the visual patterns are employed to modify the brain states.