Appearance
裸手交互(Hand Tracking )
概述
EZXR AR Glasses SDK 提供手部追踪能力,支持获取佩戴 AR 眼镜用户的双手相对于设备的实时 6DOf 信息,开发者可以通过手部 6Dof 信息实现虚拟模型叠加到手部,实现 3D 空间的 6Dof 射线交互、点击、拖拽等交互;
能力说明
TIP
当把手部追踪作为应用输入时候,可从手部掌心位置发出射线进行交互;
SDK 最多支持同时识别左右两只手的 6Dof 信息;
SDK 最多支持识别每只手的 25 个关节点的 6Dof 信息;
SDK 支持输出手部跟踪状态;
- SDK 支持输出识别到的目标手的类型(左/右边);
支持手势
SDK 支持以下六种手势
手势名称 | 示意图 |
---|---|
OpenHand(张开手) | |
Grab(握拳) | |
Pinch(捏和) | |
Point(点按) | |
Victory(剪刀手) | |
Call(打 call) |
关节点枚举
指数 | 字段名称 | 关节点名称 |
---|---|---|
0 | Thumb_0 | 拇指掌骨 |
1 | Thumb_1 | 拇指近端 |
2 | Thumb_2 | 拇指远端 |
3 | Thumb_3 | 拇指尖 |
4 | Index_1 | 食指近端 |
5 | Index_2 | 食指中端 |
6 | Index_3 | 食指远端 |
7 | Index_4 | 食指尖 |
8 | Middle_1 | 中指近端 |
9 | Middle_2 | 中指中端 |
10 | Middle_3 | 中指远端 |
11 | Middle_4 | 中指尖 |
12 | Ring_1 | 无名指近端 |
13 | Ring_2 | 无名指中端 |
14 | Ring_3 | 无名指远端 |
15 | Ring_4 | 无名指尖 |
16 | Pinky_0 | 小指掌骨 |
17 | Pinky_1 | 小指近端 |
18 | Pinky_2 | 小指中端 |
19 | Pinky_3 | 小指远端 |
20 | Pinky_4 | 小指尖 |
21 | Palm | 手掌掌心 |
22 | Wrist_Thumb | 手腕横切线,靠近拇指的关节点 |
23 | Wrist_Pinky | 手腕横切线,靠近小指的关节点 |
24 | Wrist_Middle | 手腕横切线,中间的关节点 |
手部跟踪注意项
- 由于手部追踪主要靠眼镜的双目鱼眼相机进行识别,因此手应尽量在视野范围内;
- 需要保证有足够的光照能照亮手部以保证识别;
- 需要保证鱼眼相机在正常环境下运行,避免高亮反光场景;
- 使用手部跟踪应尽量保证视野范围内最多只有两只手存在;
- 使用手部跟踪应尽量保证单手/双手不出现手指重叠的情况下,张开手为最好的识别效果;
- 使用手部跟踪应尽量避免手的快速移动;