非侵入式神经肌肉交互：Meta引领人机交互新纪元

未来已来：仅通过虚空中的手势，即可打字、玩游戏乃至驾驶。Meta推出的非侵入性神经肌肉交互系统，正为人机交互带来前所未有的便捷。

手腕表面肌电图（sEMG）利用佩戴于手腕的侵入式设备，精准捕捉并解析肌肉活动，实现人与机器的直观沟通。

Meta视此技术为下一代人机交互的基石，正逐步引领一场技术革命。

自2024年起，Meta已分享多项肌电信号研究成果及开源数据集，并于《自然》杂志发表技术白皮书，标志着这一技术已步入实际应用阶段。

图1：展示手腕肌信号识别手势与打字的高性能硬件与软件平台

研究参与者只需佩戴类似智能手环的设备，便能捕捉肌肉电信号，并通过手势与机器互动或打字。

sEMG：人机交互的革命性技术

与脑机接口不同，表面肌电图（sEMG）无需与大脑连接，而是通过记录并放大肌肉中的神经信号，提供高信噪比，实现实时单次试验手势解码。

在少量受试者参与的初步实验中，模型能够迅速适应个体的肌肉运动特性。

Meta的实验则汇集了数百名参与者的数据，并在连续手势控制、离散手势控制和打字三个任务中进行了评测。

在连续手势任务中，受试者通过精细的手腕运动控制小球进入格子内，而sEMG能够实时记录并显示这些细微动作。

多数参与者表示光标在超过80%的时间内能够准确移动至预期方向。

平均而言，受试者每秒可进行约0.66次互动，相当于约两秒操作一次。

尽管这一速度尚不及职业电子竞技选手的手速，但已足以支持许多实际应用场景，如远程控制机械臂。

在离散手势控制任务中，参与者通过滑动和特定手势操作一款类似吃豆豆的游戏。

这些手势涉及多指协作，识别延迟仅为500毫秒，识别准确率在89-95%之间（见图2），每秒平均可识别约0.88个手势。

相比之下，Nintendo Joy-Con游戏控制器每秒可完成约1.45次手势操作，而传统摄像头或摇杆控制则难以达到如此流畅的手势识别效果。

图2：不同手势错误识别的混淆矩阵

在打字任务中，参与者的打字速度可达每分钟平均约20.9个单词，高于手写输入速度但低于手机打字速度。

上述效果基于通用模型，但模型还可根据个人使用习惯进行优化。如图3所示，仅使用个人使用记录对模型进行微调20分钟，即可使识别性能提升约16%。

图3：使用个性化数据在打字任务中的识别性能提升

sEMG的实现原理

要评估sEMG是否将成为下一代人机交互的颠覆者，需深入了解其实现方式。

sEMG设备由数字计算胶囊和模拟手腕带（见图4）两大部件组成。

图4：sEMG研究设备的原理与解剖学接口

尽管当前sEMG设备携带方便且使用舒适，但仍需解决采集设备小型化的问题。

在模型架构方面，通过卷积层提取特征后利用两个循环神经网络LSTM处理时序数据，最终得到对手势或字母的预测结果。

这种传统架构使得模型训练和推理成本较低，可在本地端侧完成推理甚至基于个人使用数据的微调。

从当前表现来看，尽管sEMG在人机交互领域具有巨大潜力，但仍需提升交互的流畅性、效率和准确性。

然而，由于该方案仅需检测手腕局部肌肉活动而非特定动作执行能力，因此可为行动能力受限、肌肉无力或完全缺失效应器的人群提供可行的交互方案。

此外，sEMG采集的电信号及其算法和数据集还可用于弥补脑机接口训练数据不足的问题。