Nature Communications | 基于综合运动数据集的可穿戴手套，可实现手部姿势重建

星标“医工学人”，第一时间获取医工交叉领域新闻动态~

前言

关键要点

• 开发了一种可穿戴手套，基于拉伸的传感机制来估计佩戴者的手指骨长度和关节角度

• 通过动捕装置建立大规模数据集用来进行手部姿态重建

作者提出了一种紧凑型的可穿戴手套，它能够通过简单的基于拉伸的传感机制来估计佩戴者的手指骨长度和关节角度。这种柔软的传感手套设计为易于拉伸且通用尺寸，既可以测量手的大小，又可以估计拇指、食指和中指的手指关节运动。

该系统使用全面的手部运动数据进行校准和评估，这些数据反映了广泛的自然人类手部运动和各种解剖结构。数据是通过自定义运动捕捉装置收集的，并通过我们的后处理方法转换为关节角度。手套系统能够准确、稳健地重建任意甚至非常规的手部姿势，这通过对骨骼长度估计（平均误差：2.1 毫米）、关节角度（平均误差：4.16°）和指尖位置（平均 3D 误差：4.02 毫米）的评估以及在各种应用中的整体手部姿势重建得到了证实。

所提出的手套能够充分利用人手的灵活性，并具有潜在的应用，包括但不限于拟人机械手或手术机器人的远程操作、虚拟和增强现实以及人体运动数据的收集。

本研究由首尔国立大学、延世大学与加州大学的团队合作完成，详细内容于7月11日报道在了《自然·通讯》杂志。

手套硬件设计

a. 手套系统硬件示意图，包括软传感层、纺织手套界面和手表型电路板，并与佩戴者的手一起显示。

b. 软传感层的初始状态（左）及其固定到中等大小的手上的预拉伸状态（右）的图像；插图显示了多刚度基底结构及其拉伸时的特征变形。

c. 液态金属传感器迹线相对于手的位置。M 中间，I 食指，T 拇指，PIP 近端指间，IP 指间，MCP 掌指，CMC 腕掌，屈曲，腹部外展。

d. 纺织手套界面的设计由弹性织物组成，用于不受限制的手部运动，并由钩环纺织品用于固定；它们的位置相对于佩戴者的手指骨骼显示。

综合手部运动数据集的收集、建模和后处理

a. 运动捕捉装置，用于收集手部运动数据，使用自定义的反光标记框架来定义每个手指骨头的刚体（左）和自定义运动捕捉摄像机支架（右）。

b. 零姿势下的正向运动手部模型，显示每个手指骨头的局部框架、关节位置和定义佩戴者手部解剖结构的参数。Rs，Rbase，Rmeta和Rprox分别表示全局运动捕捉帧、局部手基部、掌骨和近端指骨帧。𝛼，𝛾和𝜃表示外展偏移、滚动偏移和关节角度。M 中间，I 食指，T 拇指，DP 远端指骨，MP 中间指骨，PP 近端指骨，MB 掌骨。

c. 使用原始运动捕捉数据（灰度）和后处理数据（彩色）重建手部姿势。

使用信号分布实时细化骨长度

a. 为改进骨长度估计而进行的手势集合。所有动作都限制在这八个姿势上。IP 指间、MCP 掌指、CMC 腕掌、PIP 近端指间、屈曲屈曲、腹部外展。

b. 图1c中 IM 腹部传感器信号的直方图，在手部运动测试中收集；其高斯近似由直方图的真实均值和方差定义，估计分布由从受试者的骨长度估计的均值和协方差定义。

c. 三个参与者（P1—P3）的 10 根骨骼相对于连续手部运动时间的平均估计误差图。

d. 三个参与者（P1—P3）的估计和真实骨长度的图形表示。

实时估计关节角度

a~b. 收集校准过程中的手部姿势（a）和评估（b）以估计关节角度。

c. 校准数据集中关节角度（垂直）和传感器信号（水平）之间相关性的图形表示。

d. 绘制自校准组中大手受试者的估计关节角度和真实关节角度的时间轨迹。T 拇指，I 食指，M 中间，IP 指间，PIP 近端指间，MCP 掌指，CMC 腕掌，屈曲，腹部外展。

指尖位置估计

a. 使用骨骼长度和关节角度估计来预测指尖位置的测试设置。

b. 小手受试者的真实（运动捕捉）指尖位置和估计指尖位置的 3D 轨迹。

c. 大手受试者的真实（运动捕捉）指尖位置和估计指尖位置的3D 轨迹（i）和时间轨迹（ii ）。

实时手部姿势重建

a. 在开源 3D 计算机图形软件工具（Blender）中创建的虚拟手的骨架和网格。

b. ( i )佩戴者在各种自由手部运动过程中的真实手部图像和 ( ii ) 虚拟环境中手部姿势的相应实时重建。

c. ( i )佩戴者在三种不同抓握姿势过程中的真实手部图像 ( ii ) 相应的实时手部姿势重建。

d. ( i )佩戴者在改进的 Kapandji 测试过程中的真实手部图像 ( ii ) 相应的实时手部姿势重建。

手部追踪系统的应用

a. 应用虚拟数字键盘输入五位数字（顶部）和算术运算（底部）。

b. 用于实时虚拟阴影摄影的真实世界环境（i）和孪生虚拟环境（Blender）（ii ）。（ iii）虚拟阴影摄影的示例，显示真实的手和阴影（左）以及虚拟的手和阴影（右）。

c. 拟人机械手（Allegro 手，Wonik Robotics）的远程操作，可执行三项灵巧的操作任务：重新定位和抓取球、滚动鼠标以及旋转音量旋钮。

结论

手部跟踪系统已被广泛研究，有时甚至已商业化，但每种系统在捕捉人手的全部灵活性方面都有其局限性。在这项工作中，我们介绍了对该研究领域的贡献，重点是准确估计手部运动参数和手部动作，以及对各种甚至复杂的手部姿势进行稳健重建。我们开发了一种可穿戴手套系统，其准确性和稳健性通过以下方式得到提高：

(1) 针对用户特定解剖结构量身定制的 FK 模型，

(2) 通过定制设计的运动捕捉设备和后处理获取的多样且不受限制的手部运动数据

(3) 紧凑的可拉伸传感机制，可同时测量运动参数和关节运动。可实现各种定量评估（即骨骼长度、关节角度和指尖位置的估计）、定性评估（即重建的手部姿势和 Kapandji 测试）和实际应用（即在虚拟和现实世界中重建灵巧的手部运动）。

基于上述贡献和其他标准，表5中将本研究的技术与以前的工作和商业产品进行了比较。

另一方面，本文提出的技术也有一些局限性。与商业产品相比，在处理速度、便捷的用户界面和机洗性方面还有进一步改进的空间。并且作者只展示了三根手指的传感性能，还需要更广泛的训练数据集。正如在使用信号分布实时细化骨骼长度小节中提到的，传感器信号的似然模型应该基于更大的数据集进行验证和调整。此外，通过采用非线性传感器模型，可以进一步提高关节角度估计精度。最后，该可穿戴手套还可以从实现触觉反馈中受益，为机器人远程操作提供更具沉浸感和直观的控制界面。

▼参考资料

Park, M., Park, T., Park, S. et al. Stretchable glove for accurate and robust hand pose reconstruction based on comprehensive motion data. Nat Commun 15, 5821 (2024). https://doi.org/10.1038/s41467-024-50101-w.

*本文仅分享医疗科技前沿进展，不代表平台利益。如涉及版权问题，请联系我们删除。

END

编译 | 刘帅

来源 | Nature Communications

审核 | 医工学人

扫码注册加入医工学人，进入综合及细分领域群聊，参与线上线下交流活动