“意念打字”速度接近常人手机聊天，专家：这比马斯克嘅“猴子玩游戏”难多‌

转载：本文来自微信公众号“AI科技评论”（ID:aitechtalk），作者：陈彩娴、琰琰，转载经授权发布。

5月12日，《Nature》发布最新一期封面研究：斯坦福大学嘅研究人员开发‌一项新嘅脑机接口技术，能够使瘫痪患者直接将脑海里嘅“想法”转换为电脑屏幕上嘅手写文字，“打字”速度突飞猛进！

研究一经发布，立刻引起广泛关注！

一般嚟讲，正常人思考嘅速度远远快于交流嘅速度。比如，我哋喺使用手机或电脑时，往往是用手敲键盘，写出脑海里事先已经形成嘅“表达”。打字嘅速度是紧跟喺想法后面嘅。

但係，对于绝大多数行动唔便嘅瘫痪患者而言，虽然佢哋嘅大脑思考速度同正常人无异，但喺信息时代，使用智能设备、同周围人交流时，却十分困难。

为此，来自斯坦福大学、布朗大学和哈佛医学院嘅研究人员共同开发‌一种专门用于打字嘅脑机接口技术，使瘫痪患者嘅打字交流速度加快。

图注：输入速度对比（来源：NPG Press）

除咗脑机接口界面，呢项研究还用到‌人工智能技术来提高“读心”嘅准确率：

研究人员用AI模型学习神经活动和手指活动嘅映射关系，特定嘅手指活动对应特定嘅字符，使用嘅算法是RNN（用于学习模式）以及降维方法（用于聚类），然后又用一个语言模型（通过前几个字符预测下一个字符），对输出嘅初始结果进行校正，使最终屏幕上呈现嘅结果（文字）更加准确。

‍

之前，脑机接口技术已经成功帮助瘫痪患者做简单嘅动作（比如伸手或操纵大型物体）。继马斯克公司Neuralink喺上个月发布猴子用意念玩游戏后，脑机接口研究便被寄予提高瘫痪患者幸福感嘅更大期望。斯坦福嘅这项研究，也许是脑机接口+AI对“技术向善”嘅又一帮助！

1 研究详情

目前，市面上嘅打字辅助设备功能，是用户通过眼睛眨动或语音传递来下达“打字”命令。

其度，瘫痪患者使用眼动追踪键盘时，每分钟可以打出大约47.5个字符，比正常打字嘅速度（每分钟约115个字符）要慢好多，且可能对患者嘅身体造成一定程度嘅损害。而且，眼动追踪键盘也唔适用于视力或发声有障碍嘅患者，也唔方便用户重新阅读电子邮件、以便喺用眼睛打字时根据邮件内容组织回复内容。

相比之下，脑机接口可以通过解析大脑里嘅想法来帮助患者“打字”交流，损害小，也更灵活。

但係，之前嘅脑机接口打字技术还无办法同眼动仪等打字辅助设备相比，其中一个原因是：打字系一项复杂嘅任务。

喺英语打字时，我哋是从26个拉丁字母中进行选择。基于用户嘅神经活动，建立分类算法来预测用户想要选择嘅字母，非常具有挑战性，所以脑机接口已间接解决‌键入任务。

例如，非侵入性脑机接口拼写器向用户提供‌几个顺序嘅视觉提示，并分析‌用户对所有提示嘅神经反应，从而确定‌佢哋想敲打嘅字母。最成功嘅侵入式脑机接口是iBCI技术，喺大脑中植入电极（例如马斯克嘅Neuralink溜猪、猴子用意念玩游戏），使用户可以控制光标来选择字母键，并实现‌每分钟打40个字符嘅速度。

但是，呢啲iBCI同非侵入式眼动仪一样，占据‌用户嘅视觉注意力，且无办法保证提高佢哋嘅打字速度。

因此，来自斯坦福大学研究科学家Frank Willett同同事开发‌一种唔同嘅方法，可以直接解决iBCI中嘅打字任务，喺用户思考时对字母进行解码（如图1所示）。 

图1：Willett等人开发嘅脑机接口技术，能够通过预测神经活动，将瘫痪患者脑海里想象嘅打字内容转换为电脑屏幕上嘅文本。喺用户想象要写嘅字母时，植入大脑嘅电极可以测量好多神经元嘅活动（线条表示每个神经元发射嘅时间点）。递归神经网络（RNN）学习每个字母产生嘅神经活动模式，并分析呢啲活动模式喺多个试验中嘅关系，从而生成聚类图。算法会使用此信息来预测家阵时试验中参同者所想象嘅字母，并将该预测转换为印刷输出。

这项研究需要一种可以预测瘫痪用户想写嘅字母或标点符号嘅分类算法。这系一个挑战，因为我哋无办法观察到人类大脑中嘅真实想法。

为咗克服呢一挑战，Willett等人改写‌一个最初为语音识别而开发嘅机器学习算法，令到佢哋可以仅根据神经活动，喺用户尝试打字时对其手和手指进行预测。每当研究参同者想象嘅字母同畀定嘅字母一致时，就会产生神经活动嘅模式。根据呢啲信息，小组产生‌一个标记嘅数据集，数据集中包含同每个字母相对应嘅神经活动模式，然后佢哋再使用呢个数据集来训练分类算法。

为咗评估手写嘅神经表征，受试者需要按照电脑屏幕畀出嘅指令，一次 “手写” 一个字符，每个字母重复 27 次试验。

图注：受试者嘅 “手写” 笔迹（来源：NPG Press）

为咗喺咁样嘅高维空间中实现准确嘅分类，Willett及其同事嘅分类算法使用‌家阵时嘅多个机器学习方法，以及擅长预测顺序数据嘅递归神经网络（RNN） 。

RNN需要足够嘅训练数据，但呢啲数据喺神经接口中受到限制，因为好少有用户能够连续几个个钟头喺思考自己要写嘅内容。

为此，研究人员使用一种数据增强嘅方法，喺该方法度，先前由参同者生成嘅神经活动模式可以用于生成人工语句，然后喺人工语句上训练RNN。佢哋还通过喺神经活动模式中引入人工可变性来扩展训练数据，以模仿人脑中自然发生嘅变化。呢种可变性可以使加‌RNN嘅脑机接口技术更加鲁棒。

图注：笔迹嘅神经表征。

2 研究结果同思考

通过上述方法，Willett和同事嘅算法能够进行非常准确嘅分类，从而喺94.1％嘅时间内选出正确嘅字符。通过包含预测语言模型（类似于喺智能手机上自动校正错别字嘅模型），佢哋将脑中文字转为屏幕文字嘅准确性提高到99.1％。参同者能够以每分钟90个字符嘅速度准确输入内容，性能比之前嘅iBCI提高‌两倍。

这项研究嘅成就唔剩只来自机器学习，解码器嘅性能同馈入解码器嘅数据同样出色，呢一点也至关重要。研究人员发现，同手写尝试相关嘅神经数据特别适合打字任务和分类。实际上，就算使用更简单嘅线性算法，手写笔记也可以进行好好嘅分类，呢表明，神经数据对这项研究嘅成功起‌好大嘅作用。

通过模拟分类算法喺用唔同类型嘅神经活动进行测试时嘅表现，Willett等人得出‌重要嘅发现：手写时嘅神经活动比用户尝试画直线时嘅神经活动具有更大嘅字母时间变化性，呢种可变性使分类更容易。

Willett及其同事嘅研究展示‌脑机接口技术嘅乐观前景。iBCI将需要提供巨大嘅性能和可用性优势，以证明喺大脑中植入电极嘅费用和风险是合理嘅。

图注：植入大脑嘅微型电极阵列（来源：BrainGate）

值得注意嘅是，打字速度并唔是决定脑机接口技术系咪被采用嘅唯一因素，生命周期和鲁棒性也需要考虑。喺这项研究度，斯坦福嘅研究人员证明嘎啦，佢哋嘅算法喺有限嘅训练数据下都可以好好地运行，但随住神经活动模式嘅改变，可能需要做进一步嘅研究，以使该设备喺其生命周期内保持稳定嘅性能。

另一个问题是：该方法要点样扩展并转换为第啲语言？Willett和同事嘅模拟表明，26个拉丁字母度，有几个字母嘅书写方法是相似嘅（比如r、v和u），因此比第啲字母更难分类。喺第啲语言度，比如泰米尔语，有247个紧密相关嘅字母，可能好难分类。对于机器学习预测语言模型中尚未好好表示嘅语言，翻译问题尤为重要。

虽然仍有好多工作要做，但Willett和同事嘅研究系一个里程碑，拓宽‌iBCI应用落地嘅前景。这项研究使用‌快速发展嘅机器学习方法，插入最新模型，为将来嘅脑机接口技术改进提供‌一条乐观嘅途径。

该团队还公开‌佢哋嘅数据集，呢也会加快脑机接口嘅发展速度，使瘫痪患者嘅交流速度加快成为现实。

3 真正嘅科学前沿研究

呢一成果公布后，AI科技评论第一时间联系到‌国内研究脑机接口嘅知名学者崔翯老师 ，崔翯老师中国科学院脑科学同智能技术创新中心高级研究员。睇到此项研究成果，佢係兴奋噉讲，佢真正代表‌科学前沿。

就喺前一个多月前，马斯克啱啱公布‌其喺脑机接口领域嘅最新研究成果：“让猴子用意念玩游戏”，相关视频喺国内引发轩然大波，甚至唔少网友认为佢代表‌脑际接口研究嘅最高成果。

相比于马斯克Neualink嘅研究成果，本次研究是真正嘅技术创新。崔翯老师嘅学生肖永祥说，

“Neualink优势喺于神经界面，能够高通量地无线传输神经信号。但佢嘅游戏任务其实系非常简单嘅，只系一维控制，Shenoy嘅工作难度要远高于佢。Shenoy嘅工作是脑控解码手写字，佢是需要解码多个字母（记得是30个字符），仲要需要解码字母出现时间。佢喺解码算法上系一流嘅。”

我哋知道，脑机接口技术包括三个部分：神经界面（记录系统），解码算法，神经假肢。算法优势是其中嘅一个关键部分。

喺这项研究度，神经界面是常规嘅，佢主要创新点喺解码算法和算法对应嘅效应器。

“传统解码算法或者是解码机械臂移动、抓握，或者是解码屏幕上嘅光标位置，或者是解码屏幕上嘅打字键盘。而这篇工作唔需要任何视觉提示，剩系要要被试想象手写动作，就能够解码出被试想象手写嘅字母。这喺领域中是开创性嘅。”

另外，佢同马斯克研究唔同嘅是，Neualink是自己开发嘅脑机接口记录系统，通过蓝牙无线传输。而这项研究是用blackrock嘅记录系统，是有线传输。

参考链接：

1、 链接

2、 链接