编译作者:Rose编译公众号:脑机接口社区在很多科幻电影中经常会出现以下炫酷的场景:无需键盘也能打字,无需控制器也可以玩电子游戏,无需方向盘也能驾驶汽车。研究人员设计并开发的这种新型可穿戴设备通过将可穿戴生物传感器与人工智能相结合,利用该设备可以获取佩戴者前臂的电信号,根据电信号模式,识别出他计划做出的手势。
研究人员表示,该设备有望用于控制假肢,并且可与各种类型的电子设备进行交互。
对于该项技术,加州大学伯克利分校博士 Ali Moin 表示:"假肢是该项技术的重要应用之一,它同时也提供了一种非常直观的、可与计算机交互的方式。改善人机交互的方式有很多种,比如利用摄像头和计算机视觉技术,而读取手势是一个很好的解决方案,同时,该种方式还可以保护个人隐私。"引入机器学习模型进行本地信号处理的系统具有许多优势,但同样面临着多种问题,在低功耗嵌入式处理器中,所使用的机器学模型通常需要事先进行离线训练,如果训练达不到预期效果,模型的分类精度就会降低,导致性能欠佳或用户体验不佳等问题。
为了解决当前可穿戴生物传感设备面临的技术壁垒,Moin 等人通过检测人体皮肤表面肌电图,研发了可穿戴的高密度 sEMG 生物传感系统。
该可穿戴系统总重量为 26g,佩戴十分方便;系统所使用的电池为 3.7V、240mAh 的锂离子电池,连续手势识别续航时间长达 6 小时。研究人员表示,该生物传感系统穿戴体验还可以,并且可以提供快速的初始训练,自适应性较强,这一特点对于可穿戴的人机界面应用至关重要。然而,目前该系统所检测的生理信号并不稳定。
研究人员在该设备中使用超维计算来实现传感器中的自适应学习,通过本地数据实时训练、推理和模型更新,来适应不断变化的情境,对手势分类进行实时推断的实时推断。例如,如果设备佩戴者的手臂上有汗水或手臂举过头顶,与特定手势相关的电信号会发生变化,HD 算法可以将这些新信息纳入其模型。
Moin表示:"在手势识别中,sEMG 信号会随着时间的推移而改变,这可能会影响模型的性能,我们能够通过更新设备上的模型来大大提高分类精度。
"研究人员比较了该项技术在基准环境中实时进行传感器内分类性能。如下图所示。上图a展示了在基线上下文测试的4 s保持期内,用于实时实验的分类混淆矩阵。
白色文本值是正确预测的百分比,红色文本值是错误预测的百分比。灰度彩色背景代表预测类别的比例。图b为四种手势试验的实时预测输出示例。对于每个手势测试,最上方的图表显示所有通道在50毫秒段内计算出的特征。
底部图显示了相对于试用时间的20 Hz分类结果。紫色竖线表示在第一个过渡时期中离线计算的手势开始,在第二个过渡时期中表示手势偏移。预测的垂直位置表示手势类别,并且基于相对于脱机估计的地面真相标签的准确性,对预测进行颜色编码。图c展示了在所有基线上下文测试中,手势开始对齐和偏移对齐的预测统计数据。
前13行中的每一行均显示给定手势的平均20 Hz分类结果,其中深色块表示较高的比例。绿色方框表示正确的预测;红色块表示错误的预测。底部图显示了相对于开始时间和偏移时间,正确和错误分类随时间的百分比。