“所想即所见”解码大脑信号再现视觉图像

(资料图片)

是否有可能仅根据大脑信号，就完全重建某人所看到的内容？瑞士洛桑联邦理工学院研究人员朝着这个方向迈出了重要的一步，他们引入了一种新算法构建的人工神经网络模型，能以令人印象深刻的准确度捕捉大脑动态。该研究发表在最新一期《自然》杂志上。

这种新颖的机器学习算法——CEBRA植根于数学，可学习神经代码中的隐藏结构。研究人员利用新算法进行了演示。一只老鼠正在观看1960年代的黑白电影片段，其中一名男子跑向一辆打开后备箱的汽车；在另一个屏幕上，人们可看到由CEBRA计算出的电影重建画面，新构建的电影几乎与原版完全吻合，但有一些轻微的怪异扭曲。

CEBRA从原始神经数据中学到的信息可在解码训练后进行测试。团队已证明他们可从模型中解码老鼠在看电影时所看到的东西。但CEBRA不仅限于视觉皮层神经元，甚至大脑数据，它还可用来预测灵长类动物手臂的运动，并重建老鼠在竞技场上自由奔跑时的位置。

用于视频解码的数据由艾伦脑研所提供，大脑信号是通过插入小鼠大脑视觉皮层区域的电极探针，直接测量大脑活动而获得，这些探针被设计成使激活的神经元发出绿光。在训练期间，CEBRA学习将大脑活动映射到特定帧。在以视觉皮层中不到1%的神经元进行测试时，CEBRA表现良好。

CEBRA基于对比学习技术，这是一种学习如何将高维数据排列或嵌入到低维空间的技术。与其他算法相比，CEBRA在重建合成数据方面表现出色，这对于比较算法至关重要。它的优势还在于它能够跨模式组合数据，例如电影功能和大脑数据，并且它有助于限制细微差别，例如由数据收集方式带来的数据变化。