Nature | 首台可解码西班牙语和英语的“双语”脑机接口

星标“医工学人”，第一时间获取医工交叉领域新闻动态~

医学成像显示言语产生过程中的大脑活动（人工着色）

植入式脑机接口设备首次实现帮助无法表达单词的双语人士用两种语言进行交流。与大脑植入物配套的人工智能（AI）系统可以实时解码个人用西班牙语或英语说话的意图和信息。

该研究结果于5月20日发表在《自然生物医学工程》（Nature Biomedical Engineering）杂志上，为了解我们的大脑如何处理语言提供了新的观点，未来可能会出现能够为无法进行口头交流的人恢复多种语言表达能力的设备。

“这项新研究是对新兴的言语恢复神经假体领域的重要贡献，”加州大学戴维斯分校的神经科学家谢尔盖·斯塔维斯基（Sergey Stavisky）说，他没有参与这项研究。尽管这项研究只包括一名参与者，还有更多的工作要做，但“我们完全有理由认为，当结合其他最近的进展时，这种策略将在未来以更高的准确性发挥作用”，斯塔维斯基说。

语音植入物

这项研究的核心人物，绰号潘乔，在20岁时中风，导致他的大部分身体瘫痪。结果，他可以呻吟和咕噜声，但不能清楚地说话。三十多岁时，潘乔与加州大学旧金山分校的神经外科医生爱德华·张（Edward Chang）合作，研究中风对他大脑的持久影响。在 2021 年发表的一项开创性研究中，Chang 的团队通过手术将电极植入 Pancho 的皮层以记录神经活动，并将其翻译成屏幕上的文字。

潘乔的第一句话——“我的家人在外面”——是用英语翻译的。但潘乔的母语是西班牙语，中风后才学习英语。西班牙语仍然唤起了他熟悉和归属感。“一个人说什么语言实际上与他们的身份密切相关，”张说。“因此，我们的长期目标从来都不仅仅是取代文字，而是恢复人们的联系”。

为了实现这一目标，该团队开发了一个人工智能系统来破译潘乔的双语语音。这项工作由Chang的博士生Alexander Silva领导，涉及训练系统，因为Pancho试图说出近200个单词。他努力形成每个单词，创造了一种独特的神经模式，并被电极记录下来。

然后，作者将他们的人工智能系统（具有西班牙语模块和英语模块）应用于Pancho试图大声说出的短语。对于短语中的第一个单词，西班牙语模块会选择与神经模式最匹配的西班牙语单词。英语部分也这样做，但从英语词汇中进行选择。例如，英语模块可能会选择“she”作为短语中最有可能的第一个单词，并评估其正确概率为 70%，而西班牙语模块可能会选择“estar”（to be）并测量其正确概率为 40%。

逐字学习

从那里，两个模块都尝试构建一个短语。他们每个人选择第二个单词不仅基于神经模式匹配，还基于它是否可能遵循第一个单词。因此，“我是”会比“我不是”获得更高的概率分数。最终输出产生两个句子——一个是英语，一个是西班牙语——但 Pancho 面对的显示屏只显示总概率分数最高的版本。

这些模块能够以88%的准确率在第一个单词的基础上区分英语和西班牙语，并以75%的准确率解码正确的句子。潘乔最终可能会与研究团队进行坦诚的、无脚本的对话。席尔瓦说：“在我们第一次说出这些句子之后，有几分钟我们只是微笑。

两种语言，一个脑区

这些发现揭示了大脑中语言处理的意想不到的方面。之前使用非侵入性工具的一些实验表明，不同的语言会激活大脑的不同部分。但作者对直接记录在大脑皮层中的信号的检查发现，“西班牙语和英语的许多活动实际上来自同一个区域”，席尔瓦说。

此外，潘乔的神经反应似乎与双语长大的孩子没有太大区别，尽管他在学习英语时已经三十多岁了——这与以前的研究结果形成鲜明对比。总之，这些发现向席尔瓦表明，不同的语言至少具有一些共同的神经特征，并且它们可能可以推广到其他人。

日本壹生医科大学（Dokkyo Medical University）的神经生理学家Kenji Kansaku没有参与这项研究，他说，除了增加参与者外，下一步还将是研究与英语“具有非常不同的发音特性”的语言，例如普通话或日语。席尔瓦说，这是他已经在研究的事情，还有“代码切换”，或者用一句话从一种语言转换到另一种语言。“理想情况下，我们希望让人们能够尽可能自然地进行交流。

▼扫描下方二维码阅读全文