智能手套教授新的身体技能

您可能遇到过认为自己是视觉或听觉学习者的人，但其他人通过不同的方法吸收知识：触摸。 理解触觉交互的能力对于学习精确的外科手术和演奏乐器等任务尤其重要，但与视频和音频不同，触摸很难记录和传输。

为了应对这一挑战，麻省理工学院 (MIT) 计算机科学与人工智能实验室 (CSAIL) 和其他地方的研究人员开发了一种绣花智能手套，可以捕获、复制和传输基于触摸的指令。 为了补充可穿戴设备，该团队还开发了一个简单的机器学习代理，可以适应不同用户与触觉反馈的交互方式，从而改善他们的体验。 新系统可以帮助人们教授身体技能，提高对远程机器人的反应，并帮助进行虚拟现实培训。

开放获取 描述工作的论文 该成果于1月29日发表在《自然通讯》杂志上。

我可以弹钢琴吗？

为了制作智能手套，研究人员使用数字刺绣机将触摸传感器和触觉执行器（一种提供基于触摸的反馈的设备）无缝集成到纺织品中。 这项技术存在于智能手机中，通过点击触摸屏来触发触觉响应。 例如，如果您点击 iPhone 应用程序，您会感觉到屏幕特定部分发出轻微的振动。 同样，新的可穿戴设备会向您手的不同部位发送反馈，以指示执行不同技能的理想动作。

例如，智能手套可以教用户如何弹钢琴。 在演示中，专家的任务是在一段按键上录制简单的音调，并使用智能手套捕捉手指按下键盘的顺序。 然后，机器学习代理将此序列转换为触觉反馈，然后将其输入学生的手套中以按照指示进行操作。 当他们的手悬停在同一区域时，手指上对应下方按键的电机就会振动。 Path 考虑到触摸交互的主观性质，为每个用户优化这些趋势。

“人类通过不断地与世界互动来从事各种各样的任务，从‘扭转他们’开始。 。 “我们通常不会与他人分享这些身体互动。相反，我们经常通过观察他们的动作来学习，例如弹钢琴和跳舞。

“传达触觉交互的主要挑战是每个人对触觉反馈的感知不同，”罗补充道。 “这个障碍启发我们开发一种机器学习代理，它可以学习如何为个人手套创建自适应触觉，为他们提供更实用的方法来学习最佳运动。”

可穿戴系统通过数字制造方法进行定制，以适应用户的手部规格。 计算机根据个人双手的测量产生一个开口，然后刺绣机缝制传感器和触摸设备。 10 分钟内，柔软的面料可穿戴设备就可以穿戴了。 其自适应机器学习模型最初针对 12 位用户的触觉响应进行训练，仅需要 15 秒的新用户数据即可个性化反馈。

在另外两个实验中，具有时间敏感反馈的触觉指导被转移到戴着手套玩笔记本电脑游戏的用户身上。 在节奏游戏中，玩家学会沿着狭窄蜿蜒的路径冲入球门区域，在赛车游戏中，车手收集硬币并在到达终点线的途中保持车辆平衡。 罗的团队发现，与没有触球或未改善触球相比，有改善触球的参与者在游戏中得分最高。

“这项工作是构建个性化人工智能代理的第一步，可以不断捕获有关用户和环境的数据，”主要作者、麻省理工学院电气工程和计算机科学教授、CSAIL 计算设计和制造小组负责人 Wojciech Matusik 说。 。 “然后，这些代理帮助他们执行复杂的任务，学习新技能，并强化更好的行为。”

为电子设置带来充满活力的体验

在远程机器人操作中，研究人员发现他们的手套可以将力觉传递给机械臂，帮助它们完成更灵敏的抓取任务。 “这就像试图教机器人像人类一样行事，”罗说。 在一个案例中，麻省理工学院的团队使用远程操作员来教机器人如何固定不同类型的面包而不扭曲它们。 通过教授最佳握力，人类可以在制造等环境中精确控制机器人系统，这些机器可以与操作员更安全、更有效地协作。

“为智能刺绣手套提供动力的技术是机器人技术的一项重要创新，”麻省理工学院电气工程和计算机科学教授、CSAIL 主任、该论文的作者 Daniela Ross 说。 “该传感器能够像人类皮肤一样高精度地捕捉触觉交互，使机器人能够通过触摸感知世界。触觉传感器与纺织品的无缝集成弥合了物理动作和数字反馈之间的差距，在以下方面提供了巨大的潜力：自动化。”响应式远程和沉浸式虚拟现实培训。”

同样，该界面可以在虚拟现实中创造更身临其境的体验。 戴上智能手套将为视频游戏中的数字环境增添触觉，因为玩家可以感知周围环境以避开障碍物。 此外，该界面将为外科医生、消防员和飞行员使用的虚拟培训课程提供更加个性化、基于触摸的体验，其中准确性至关重要。

虽然这些可穿戴设备可以为用户提供更多的实践体验，但罗和她的团队相信他们可以将可穿戴技术扩展到手指之外。 凭借更强的触觉反馈，这些界面可以引导脚、臀部和其他不如手敏感的身体部位。

卢还指出，有了更复杂的人工智能代理，她的团队的技术可以帮助完成更复杂的任务，例如操纵粘土或驾驶飞机。 目前，该界面只能辅助简单的动作，例如按键或抓取物体。 未来，麻省理工学院的系统可以集成更多的用户数据并制造更兼容、更窄的可穿戴设备，以更好地解释手部运动如何影响触觉感知。

Lu、Matousek 和 Ross 与 EECS 微系统技术实验室主任 Tomas Palacios 教授合作撰写了这篇论文； CSAIL 成员赵刘、Yong-Jung Lee、Joseph DelBrito、Michael Foschi 以及教授兼首席研究员 Antonio Torralba； LightSpeed Studios 的 Kyu Wu； 和伊利诺伊大学厄巴纳-香槟分校的李云洲。

这项工作得到了谷歌麻省理工学院施瓦茨曼计算学院奖学金和 GIST-麻省理工学院研究合作资助的部分支持，纬创资通、丰田研究院和爱立信也提供了额外帮助。