Skip to content

裸手交互(Hand Tracking )

概述

EZXR AR Glasses SDK 提供手部追踪能力,支持获取佩戴 AR 眼镜用户的双手相对于设备的实时 6DOf 信息,开发者可以通过手部 6Dof 信息实现虚拟模型叠加到手部,实现 3D 空间的 6Dof 射线交互、点击、拖拽等交互;

能力说明

TIP

当把手部追踪作为应用输入时候,可从手部掌心位置发出射线进行交互;

  • SDK 最多支持同时识别左右两只手的 6Dof 信息;

  • SDK 最多支持识别每只手的 25 个关节点的 6Dof 信息;

  • SDK 支持输出手部跟踪状态;

    • SDK 支持输出识别到的目标手的类型(左/右边);

支持手势

SDK 支持以下六种手势

手势名称
示意图
OpenHand(张开手)

Grab(握拳)

Pinch(捏和)

Point(点按)

Victory(剪刀手)


Call(打 call)

关节点枚举

指数
字段名称
关节点名称
0
Thumb_0
拇指掌骨
1
Thumb_1
拇指近端
2
Thumb_2
拇指远端
3
Thumb_3
拇指尖
4
Index_1
食指近端
5
Index_2
食指中端
6
Index_3
食指远端
7
Index_4
食指尖
8
Middle_1
中指近端
9
Middle_2
中指中端
10
Middle_3
中指远端
11
Middle_4
中指尖
12
Ring_1
无名指近端
13
Ring_2
无名指中端
14
Ring_3
无名指远端
15
Ring_4
无名指尖
16
Pinky_0
小指掌骨
17
Pinky_1
小指近端
18
Pinky_2
小指中端
19
Pinky_3
小指远端
20
Pinky_4
小指尖
21
Palm
手掌掌心
22
Wrist_Thumb
手腕横切线,靠近拇指的关节点
23
Wrist_Pinky
手腕横切线,靠近小指的关节点
24
Wrist_Middle
手腕横切线,中间的关节点

手部跟踪注意项

  1. 由于手部追踪主要靠眼镜的双目鱼眼相机进行识别,因此手应尽量在视野范围内;
  2. 需要保证有足够的光照能照亮手部以保证识别;
  3. 需要保证鱼眼相机在正常环境下运行,避免高亮反光场景;
  4. 使用手部跟踪应尽量保证视野范围内最多只有两只手存在;
  5. 使用手部跟踪应尽量保证单手/双手不出现手指重叠的情况下,张开手为最好的识别效果;
  6. 使用手部跟踪应尽量避免手的快速移动;