转载：本文来自微信公众号“学术头条”（ID:SciTouTiao），作者：库珀，排版：王落尘，编审：寇建超，转载经授权发布。
当一个人因受伤或疾病而四肢瘫痪，甚至唔可以说话时，只要大脑嘅神经活动仍然存喺，科学家们就有能力帮助患者恢复交流能力。
呢個唔係科幻，最新嘅脑机接口（BCI）技术已经喺呢一方面实现突破，而且效率超乎想象，最高可超 99%。
之前，脑机接口领域嘅一大研究焦点是恢复患者 “运动技能”，比如通过脑机接口操控机械臂抓取物品，或通过脑机接口移动电脑光标、点击字母输入等。
呢次，来自斯坦福大学嘅研究人员开辟一条新路径，佢哋将人工智能（AI）软件同脑机接口设备结合，成功开发出一套全新嘅皮质内脑机接口系统，该系统利用大脑运动皮层嘅神经活动可解码 “手写” 笔迹，并使用循环神经网络（RNN）解码方法将笔迹实时翻译成文本，快速将患者对手写嘅想法转换为电脑屏幕上嘅文本。
图｜通过脑机接口 “手写输入” 嘅示意图（来源：学术头条基于 YouTube 视频制作）
研究论文以封面形式发表喺最新一期嘅《自然》杂志上，被视为是该领域嘅一大技术进步。
（来源：Nature）
该研究论文嘅作者之一、斯坦福大学霍华德・休斯医学研究所（HHMI）研究员克里希纳・谢诺伊（Krishna Shenoy）表示，呢次研究嘅最大嘅创新是首次破译同手写笔记有关嘅大脑信号，可以让瘫痪患者唔用手都可以快速打字。他同斯坦福神经外科医生杰米・亨德森（Jaimie Henderson）共同参同这项研究，论文嘅第一作者则是同样来自 HHMI 嘅科学家弗兰克・威利特（Frank Willett）博士。
喺实验度，一个受试者可以每分钟输入 90 个字符，呢是之前使用脑机接口打字纪录嘅两倍多，接近同龄健全人每分钟 115 个字符嘅智能手机打字速度，而且喺线原始准确率为 94.1%，离线自动校正嘅准确率超过 99%。
图｜受试者喺实验中（来源：NPG Press）
加州大学伯克利分校嘅神经工程师何塞・卡梅纳（Jose Carmena）并未参同这项研究，但佢认为，呢项技术有潜力帮助各种残疾人，虽然研究结果是初步嘅，但 “这是该领域嘅一大进步。”
美国国立卫生研究院脑科学计划（NIH BRAIN Initiative）主任约翰・恩盖（John Ngai）博士表示：“这项研究代表 BCI 和机器学习技术发展嘅重要里程碑，相关研究正喺度揭示人脑点样控制像通讯咁样复杂嘅过程，为改善神经损伤和瘫痪者嘅生活提供重要基础。”
脑中笔迹嘅神经表征
事实上，呢项研究其实系脑机接口项目 BrainGate 临床试验嘅一部分，呢系一个多机构联盟项目，旨喺度帮助嗰啲失去肢体或第啲身体功能控制能力嘅人，比如患有肌萎缩性侧索硬化症（ALS）或脊髓损伤嘅患者等。实验中被称为 “T5” 嘅受试者，喺 2007 年由于脊髓损伤几乎失去颈部以下嘅所有活动能力，手部动作仅限于抽搐和微动。
喺实验度，亨德森喺 T5 嘅左侧大脑植入两个脑机接口芯片，每一个芯片都有 100 个电极，负责接收运动皮层（大脑最外层嘅一个区域）神经元发出嘅信号，运动皮层是控制手部运动嘅区域，呢啲神经信号通过电线发送到计算机，由人工智能算法解码信号并推测 T5 嘅手和手指嘅预期运动。
图｜植入大脑嘅微型电极阵列（来源：BrainGate）
同真实可见嘅手写笔迹相比，要 “读取” 想象中嘅笔迹最难嘅一点是乜嘢？无疑，系点样捕捉呢啲笔迹喺大脑中嘅神经表征，以及呢啲表征能唔可以用。
为评估手写嘅神经表征，受试者 T5 需要按照电脑屏幕畀出嘅指令，一次 “手写” 一个字符，每个字母重复 27 次试验。
图｜受试者嘅 “手写” 笔迹（来源：NPG Press）
根据以往嘅经验，研究人员首先使用主成分分析来显示包含最多方差嘅前三个神经维度特征。
研究人员发现，由于神经活动嘅高峰和低谷因时间有所唔同，可能由于书写速度嘅波动，神经活动似乎是强烈和可重复嘅。为直观地观察笔迹尝试过程中记录嘅神经活动，佢哋使用时间比对技术来消除时间变异性，呢揭示每个字符特有嘅显著一致嘅神经活动模式。
为确定神经活动系咪编码绘制每个形状所需嘅笔尖运动，研究人员通过从试验平均神经活动中线性解码笔尖速度来重建每个字符，容易辨认嘅字母形状证实笔尖速度是可靠编码嘅，代表笔尖速度嘅神经维度占总神经方差嘅 30%。
图｜笔迹嘅神经表征（来源：Nature）
其次，研究人员采用非线性降维方法（t-SNE），对每个试验嘅神经活动进行二维（2D）可视化，喺对受试者畀出 “go” 嘅提示后记录相关信息。
t-SNE 方法显示每个字符嘅神经活动紧密簇和一种主导运动编码，喺呢种编码度，书写相似嘅字符更接近，将近邻分类器离线应用到神经活动度，可以对字符进行分类，准确率为 94.1%。
于是，研究人员得出结论，就算喺瘫痪多年后，运动皮层中笔迹嘅神经表征可能仍足够强大，可以通过脑机接口技术表达出来。
能唔可以解码 “手写句子”？
成功解码手写字母嘅最终目标，系等瘫痪患者实现流畅嘅对外交流能力，呢需要实时解码 “意念” 手写笔迹，并完整呈现出佢哋想要表达嘅信息。
为此，研究人员特意训练一个循环神经网络，将神经活动转化为描述每个字符喺每个时刻被写入嘅可能性概率，呢啲概率可以用一种简单嘅方法来设定阈值，从而发出离散字符，或者通过使用一个大词汇量语言模型进行更广泛嘅处理，以模拟离线应用嘅自校正特征。
研究人员喺实验中使用 31 个字符嘅限定集，包括字母表中嘅 26 个小写字母，以及逗号、顿号、问号、句号和空格，为收集实验中循环神经网络嘅训练数据，佢哋需要记录 T5 按照电脑显示器上嘅指示，以自己嘅速度手写完整句子时嘅神经活动。
喺第一日嘅实时评估之前，研究人员收集 3 个试验日内总共 242 句话，呢啲句子被组合起来训练循环神经网络。喺随后每一日嘅实时测试中收集额外嘅训练数据，并喺评估前重新校准，至最后一日总共产生 572 个训练句子（包括 31472 个字符）。
为训练呢个循环神经网络，研究人员采用语音识别中嘅神经网络方法来克服两个关键挑战：
（1）训练数据中每个字母嘅书写时间未知（因为 T5 嘅手瘫痪），呢令到应用监督学习技术具有挑战性；
（2）同典型嘅 RNN 数据集相比，数据集嘅大小有限，因此好难防止对训练数据嘅过度拟合。
图｜对手写神经信号进行实时解码（来源：Nature）
喺咁样嘅基础上，研究人员喺 5 天嘅时间里对循环神经网络嘅表现进行评估，每天包含 4 个评估块，包含 7-10 个循环神经网络从未接受过训练嘅句子。受试者 T5 会从屏幕提示中复制每个句子，试图一个字母一个字母地手写，而解码嘅字符喺循环神经网络检测到时实时出而家屏幕上。
经测试，字符出现同 T5 喺大脑里 “手写” 之间会有一个短暂嘅延迟，大概为 0.4-0.7 秒，令人兴奋嘅系，整体打字速度好快，平均每分钟可打出 90 个字符，平均错误率仅为 5.4%。当研究人员使用语言模型离线进行自动更正错误时，成个系统嘅错误率则进一步降低嘎啦，其字符错误率下降到 0.89%，单词错误率下降到 3.4%，同世界上最先进嘅语音识别系统（单词错误率为 4–5%）相比，展现出极好嘅可用性。
最后，为探索可能嘅解码性能限制，研究人员还离线训练一个新嘅循环神经网络，使用所有可用嘅句子以非因果嘅方式处理成个句子。喺呢种情况下，仅出现咗 0.17% 嘅字符错误率，呢表明性能嘅潜喺上限其实好高，虽然呢种解码器目前无办法向用户提供逐字反馈。
实验结果还证实，当受试者编写自己生成嘅句子（而唔系复制屏幕上嘅提示句）时，也可以获得较高嘅性能，每分钟可打出 73.8 个字符，实时字符错误率为 8.54%，语言模型错误率为 2.25%。
解码器嘅改进方向
借助每天收集嘅 “校准” 数据，研究人员每天也对 “手写笔迹” 解码器进行再训练。
再训练有助于解释随住时间嘅推移而产生嘅神经记录变化，呢可能系由神经可塑性或电极阵列微动引起嘅，而理想情况下，为减轻受试者嘅负担，应该用最少或唔需要校准数据。
图｜解码器性能变化（来源：Nature）
值得注意嘅系，实验数据表明，当两个会话之间只经过 2-7 天时，喺没有解码器重新训练嘅情况下，性能显示出神经记录嘅短期稳定性。
面对呢种情况，研究人员测试认识码器系咪可以通过使用语言模型来纠错和重新训练解码器，从而绕过中断用户校准嘅需要，以无监督嘅方式重新训练。令人鼓舞嘅系，无监督再训练嘅原始错误率仅为 7.3%。
解码器系咪能用最少嘅重新校准数据成功地再训练，也取决于神经活动随时间变化嘅速度。实验评估同每个特征相关嘅神经模式嘅稳定性，发现短期稳定性好高（相隔 7 天或更短时间），呢啲结果对临床病例是有希望嘅，因为佢们表明无监督解码器再训练，可能有助于实现高性能。
图｜输入速度对比（来源：NPG Press）
这项研究实现嘅每分钟输入 90 个字符，创造迄今为止报道嘅相关类型脑机接口技术嘅最快速度，对于皮质内脑机接口嚟讲，之前最好嘅方法是用 2D 电脑光标点击输入，每分钟仅可以输入 40 个正确字符，点击式脑机接口嘅输入速度主要受解码精度嘅限制，喺参数优化过程中增加光标增益以提高打字速度，直到光标移动过快，由于解码错误而变得无办法控制为止。
研究人员经对比分析，手写字母可能比点对点运动更容易区分，因为手写字母嘅神经活动时空模式比直线运动更为多样，而随时间变化嘅运动模式，从根本上说比点对点运动更容易解码。
结语
据认识，其实目前业内用于恢复患者交流能力嘅脑机接口有好多种方案。
其度，基于奇异电位或运动想象嘅脑电拼写器通常每分钟能达到 1-5 个字符；使用视觉诱发电位嘅脑电拼写器已经达到每分钟 60 个字符嘅速度，但有明显嘅可用性限制，比如会束缚眼睛，通常唔会自动调整节奏，以及需要喺屏幕上安装闪光灯等；虽然基于 2D 光标移动嘅皮层内 BCI 技术让用户可以更自由地四处查睇并设置自己嘅交流节奏，但每分钟嘅正确字符数仲未有超过 40 个。
呢次研究人员唔仅将脑机接口通信速率提升到每分钟 90 个字符，而且该实时系统还具有通用性（用户可以表达任何句子）、易用性（完全自定节奏，眼睛可以自由移动）和足够精确嘅特点（94.1% 嘅原始准确率，喺大词汇量语言模型下离线准确率大于 99%），喺现实世界中非常有用。
家阵时嘅实验结果证明高性能 “手写” 脑机接口是可能嘅，但佢目前仲未系一个完整嘅、临床上嘅商用系统，接下来仲有更多工作值得探索，比如进一步提高打字性能，扩展字符集、启用文本编辑和删除等操作。
来自华盛顿大学生物工程系嘅专家帕维斯特拉・拉杰斯瓦兰（Pavithra Rajeswaran）、华盛顿大学电气和计算机工程系专家艾米・奥斯本（Amy L. Orsborn）喺评论文章中表示，呢项研究仍需要经过试验论证，将电极植入大脑嘅费用和风险系咪合理。另外一点重要嘅系，打字速度并唔系决定这项技术能否落地嘅唯一因素 —— 呢种方法嘅寿命和健壮性同样需要分析，系咪可以推广到第啲用户和实验室以外嘅环境中也至关重要。
目前嘅微电极阵列技术已被证明喺植入后能保持功能超过 1000 天，而随住皮质内微电极阵列技术嘅成熟，也需要进一步证明其寿命、安全性和有效性，先能广泛应用于临床。
总体来讲，将脑中嘅 “笔迹” 转化为屏幕上嘅单词、句子，其技术前景和商用潜力都十分令人鼓舞，人机结合嘅时代正喺度走来。
参考资料：
cantonese.live 足跡 粵字翻譯
请登录之后再进行评论