Чем дальше тем страшнее жизнь неолуддиитов: на biorxiv препринт новой работы, потрясающие результат, восстановление картинки, которую наблюдает человек, прочитанной с помощью аппарата фМРТ. Да, снимая сигналы с мозга мы научились получать изображение, которое видит человек.

На самом деле снимать изображение с помощью фМРТ научились давно, эта конкретная работа позволяет с помощью сверточной сети восстановить изображение максимально близкое к оригиналу, без искажений вносимых мозгом. Да, и хочется сказать отдельное спасибо авторам статьи за использование Доктора Кто в качестве изображений 🙂 www.biorxiv.org/content/10.1101/2021.02.02.429430v1

Brain2Pix: Fully convolutional naturalistic video reconstruction from brain activity

Reconstructing complex and dynamic visual perception from brain activity remains a major challenge in machine learning applications to neuroscience. Here we present a new method for reconstructing naturalistic images and videos from very large single-participant functional magnetic resonance data that leverages the recent success of image-to-image transformation networks. This is achieved by exploiting spatial information obtained from retinotopic mappings across the visual system. More specifically, we first determine what position each voxel in a particular region of interest would represent in the visual field based on its corresponding receptive field location. Then, the 2D image representation of the brain activity on the visual field is passed to a fully convolutional image-to-image network trained to recover the original stimuli using VGG feature loss with an adversarial regularizer. In our experiments, we show that our method offers a significant improvement over existing video reconstruction techniques.…