Jetpack XR の ARCore を使用して手で操作する

Jetpack XR 向け ARCore は、検出されたユーザーの手に関する情報を提供し、手とその関連する関節のポーズ情報を提供します。この手のデータを使用して、エンティティとモデルをユーザーの手に関連付けることができます（ツールメニューなど）。

セッションを取得する

Android XR Session を通じて手の情報にアクセスします。Session を取得するには、セッションのライフサイクルについてをご覧ください。

セッションを構成する

XR セッションでは、ハンド トラッキングはデフォルトで有効になっていません。手のデータを受信するには、セッションを構成して HandTrackingMode.BOTH モードを設定します。

val newConfig = session.config.copy(
    handTracking = Config.HandTrackingMode.BOTH
)
when (val result = session.configure(newConfig)) {
    is SessionConfigureConfigurationNotSupported ->
        TODO(/* Some combinations of configurations are not valid. Handle this failure case. */)
    is SessionConfigureSuccess -> TODO(/* Success! */)
    else ->
        TODO(/* A different unhandled exception was thrown. */)
}
Hands.kt

手のデータを取得する

手のデータは、左手と右手に分けて取得できます。各手の state を使用して、各関節のポーズ位置にアクセスします。

Hand.left(session)?.state?.collect { handState -> // or Hand.right(session)
    // Hand state has been updated.
    // Use the state of hand joints to update an entity's position.
    renderPlanetAtHandPalm(handState)
}
Hands.kt

手には次のプロパティがあります。

  • trackingState: 手がトラッキングされているかどうか。

  • handJoints: 手の関節とポーズのマッピング。手の関節のポーズは、OpenXR 標準で指定されています。

アプリで手のデータを使用する

ユーザーの手の関節の位置を使用して、ユーザーの手に 3D オブジェクトをアンカーできます。たとえば、モデルを左手のひらにアタッチします。

val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return

// the down direction points in the same direction as the palm
val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up)
palmEntity.setEnabled(angle > Math.toRadians(40.0))

val transformedPose =
    session.scene.perceptionSpace.transformPoseTo(
        palmPose,
        session.scene.activitySpace,
    )
val newPosition = transformedPose.translation + transformedPose.down * 0.05f
palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
Hands.kt

または、モデルを右手の指先に装着する場合:

val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return

// the forward direction points towards the finger tip.
val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up)
indexFingerEntity.setEnabled(angle > Math.toRadians(40.0))

val transformedPose =
    session.scene.perceptionSpace.transformPoseTo(
        tipPose,
        session.scene.activitySpace,
    )
val position = transformedPose.translation + transformedPose.forward * 0.03f
val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up)
indexFingerEntity.setPose(Pose(position, rotation))
Hands.kt

基本的なハンド ジェスチャーを検出する

手の関節のポーズを使用して、基本的な手のジェスチャーを検出します。手関節の規則を参照して、特定のポーズとして登録するために関節がどのポーズの範囲にあるべきかを判断します。

たとえば、親指と人差し指でピンチ操作を検出するには、2 つの指の先端の関節間の距離を使用します。

val thumbTip = handState.handJoints[HandJointType.THUMB_TIP] ?: return false
val thumbTipPose = session.scene.perceptionSpace.transformPoseTo(thumbTip, session.scene.activitySpace)
val indexTip = handState.handJoints[HandJointType.INDEX_TIP] ?: return false
val indexTipPose = session.scene.perceptionSpace.transformPoseTo(indexTip, session.scene.activitySpace)
return Vector3.distance(thumbTipPose.translation, indexTipPose.translation) < 0.05
Hands.kt

複雑なジェスチャーの例としては、「停止」ジェスチャーがあります。このジェスチャーでは、各指を伸ばす必要があります。つまり、各指の各関節がほぼ同じ方向を向いている必要があります。

val threshold = toRadians(angleInDegrees = 30f)
fun pointingInSameDirection(joint1: HandJointType, joint2: HandJointType): Boolean {
    val forward1 = handState.handJoints[joint1]?.forward ?: return false
    val forward2 = handState.handJoints[joint2]?.forward ?: return false
    return Vector3.angleBetween(forward1, forward2) < threshold
}
return pointingInSameDirection(HandJointType.INDEX_PROXIMAL, HandJointType.INDEX_TIP) &&
    pointingInSameDirection(HandJointType.MIDDLE_PROXIMAL, HandJointType.MIDDLE_TIP) &&
    pointingInSameDirection(HandJointType.RING_PROXIMAL, HandJointType.RING_TIP)
Hands.kt

ハンドジェスチャーのカスタム検出を開発する際は、次の点に注意してください。

  • ユーザーは、特定のジェスチャーを異なる方法で解釈する可能性があります。たとえば、「停止」ジェスチャーでは、指を広げるのが自然だと考える人もいれば、指を閉じるのが自然だと考える人もいます。
  • 一部のジェスチャーは維持しにくい場合があります。ユーザーの手を疲れさせない直感的なジェスチャーを使用します。

お客様の利き手を特定する

Android システムでは、システム設定でユーザーが指定した利き手にシステム ナビゲーションが配置されます。カスタム ジェスチャーにはセカンダリ ハンドを使用し、システム ナビゲーション ジェスチャーとの競合を回避します。

val handedness = Hand.getPrimaryHandSide(activity.contentResolver)
val secondaryHand = if (handedness == Hand.HandSide.LEFT) Hand.right(session) else Hand.left(session)
val handState = secondaryHand?.state ?: return
detectGesture(handState)
Hands.kt

OpenXR™ および OpenXR のロゴは、Khronos Group Inc. が所有する商標であり、中国、欧州連合、日本、英国で商標として登録されています。