พัฒนาด้วย Unity สำหรับ Android XR

อุปกรณ์ XR ที่รองรับ

คำแนะนำนี้จะช่วยคุณสร้างประสบการณ์การใช้งานสำหรับอุปกรณ์ XR ประเภทต่างๆ

ดูข้อมูลเกี่ยวกับอุปกรณ์ XR ประเภทต่างๆ →

ดูข้อมูลเกี่ยวกับอุปกรณ์ XR ประเภทต่างๆ →

คู่มือนี้จะแสดงภาพรวมของการพัฒนาด้วย Unity สำหรับ Android XR Android XR ทำงานร่วมกับเครื่องมือและฟีเจอร์ที่คุณคุ้นเคยและคาดหวังจาก Unity, และเนื่องจากการสนับสนุน Android XR ของ Unity สร้างขึ้นจาก OpenXR ฟีเจอร์หลายอย่างที่อธิบายไว้ใน ภาพรวมของ OpenXR จึงได้รับการรองรับใน Unity ด้วย

ทำตามคู่มือนี้เพื่อดูข้อมูลเกี่ยวกับสิ่งต่อไปนี้

• การสนับสนุน Android XR ของ Unity
  • ข้อมูลเบื้องต้นเกี่ยวกับ Unity XR
  • การพัฒนาและเผยแพร่แอปสำหรับ Android XR
  • แพ็กเกจ Unity สำหรับ Android XR
    • Unity OpenXR: แพ็กเกจ Android XR
    • ส่วนขยาย Android XR สำหรับ Unity
    • ข้อควรพิจารณาเกี่ยวกับฟีเจอร์และความเข้ากันได้
• อินพุตและการโต้ตอบ

การสนับสนุน Android XR ของ Unity

เมื่อสร้างแอป Unity สำหรับ Android XR คุณจะใช้ประโยชน์จากเครื่องมือและความสามารถของ Mixed Reality ใน Unity 6 เวอร์ชันล่าสุดได้ ซึ่งรวมถึงเทมเพลต Mixed Reality ที่ใช้ XR Interaction Toolkit, AR Foundation และ OpenXR Plugin เพื่อช่วยให้คุณเริ่มต้นใช้งานได้อย่างรวดเร็ว เมื่อสร้างแอปด้วย Unity สำหรับ Android XR เราขอแนะนำให้ใช้ Universal Render Pipeline (URP) เป็น Render Pipeline และ Vulkan เป็น Graphics API ฟีเจอร์เหล่านี้ช่วยให้คุณ ใช้ประโยชน์จากฟีเจอร์กราฟิกบางอย่างของ Unity ซึ่ง รองรับเฉพาะ Vulkan ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีกำหนดค่าการตั้งค่าเหล่านี้ได้ในคู่มือการตั้งค่าโปรเจ็กต์

ข้อมูลเบื้องต้นเกี่ยวกับ Unity XR

หากคุณเพิ่งเริ่มต้นใช้งาน Unity หรือการพัฒนา XR โปรดดู คู่มือ XR ของ Unity เพื่อทำความเข้าใจแนวคิดและเวิร์กโฟลว์พื้นฐานของ XR คู่มือ XR มีข้อมูลเกี่ยวกับสิ่งต่อไปนี้

• ปลั๊กอินผู้ให้บริการ XR ซึ่งรวมถึง Unity OpenXR: Android XR และส่วนขยาย Android XR สำหรับ Unity
• แพ็กเกจการสนับสนุน XR เพื่อเพิ่มฟีเจอร์ระดับแอปพลิเคชัน เพิ่มเติม
• คู่มือสถาปัตยกรรม XR ที่อธิบายสแต็กเทคโนโลยี Unity XR และระบบย่อย XR
• การตั้งค่าโปรเจ็กต์ XR
• การสร้างและเรียกใช้แอป XR
• คำแนะนำเกี่ยวกับกราฟิก XR ซึ่งรวมถึง Universal Render Pipeline, การแสดงภาพสเตอริโอ, การแสดงผลแบบโฟเวีย, พื้นที่การแสดงผลแบบหลายมุมมอง และการกำหนดเวลาเฟรม VR
• คำแนะนำเกี่ยวกับเสียง XR ซึ่งรวมถึงการรองรับ Spatializer ของเสียง

พัฒนาและเผยแพร่แอปสำหรับ Android

Unity มีเอกสารประกอบโดยละเอียดสำหรับการพัฒนา สร้าง และเผยแพร่สำหรับ Android ซึ่งครอบคลุมหัวข้อต่างๆ เช่น สิทธิ์ของ Android ใน Unity, การตั้งค่าการสร้าง Android, การสร้างแอปสำหรับ Android และ การเผยแพร่ไปยัง Google Play

แพ็กเกจ Unity สำหรับ Android XR

มีแพ็กเกจ 2 รายการที่ให้การสนับสนุนสำหรับการสร้างแอป Unity สำหรับ Android XR แพ็กเกจทั้ง 2 รายการนี้เป็นปลั๊กอินผู้ให้บริการ XR ซึ่งเปิดใช้ได้ ผ่านแพ็กเกจการจัดการปลั๊กอิน XR ของ Unity package ตัวจัดการปลั๊กอิน XR จะเพิ่มการตั้งค่าโปรเจ็กต์สำหรับการจัดการและให้ความช่วยเหลือเกี่ยวกับการโหลด การเริ่มต้น การตั้งค่า และการสนับสนุนการสร้างปลั๊กอิน XR โปรเจ็กต์ต้องเปิดใช้ฟีเจอร์เหล่านี้ผ่านตัวจัดการปลั๊กอินเพื่อให้แอปเรียกใช้ฟีเจอร์ OpenXR ได้ในรันไทม์

รูปภาพนี้แสดงตัวอย่างตำแหน่งที่คุณเปิดใช้กลุ่มฟีเจอร์เหล่านี้ได้ผ่านเอดิเตอร์ของ Unity

Unity OpenXR Android XR

แพ็กเกจ Unity OpenXR Android XR เป็นปลั๊กอิน XR สำหรับเพิ่ม การสนับสนุน Android XR ให้กับ Unity ปลั๊กอิน XR นี้ให้การสนับสนุน Android XR ส่วนใหญ่สำหรับ Unity และเปิดใช้การสนับสนุนอุปกรณ์ Android XR สำหรับโปรเจ็กต์ AR Foundation AR Foundation ออกแบบมาสำหรับนักพัฒนาแอปที่ต้องการสร้างประสบการณ์การใช้งาน AR หรือ Mixed Reality โดยมีอินเทอร์เฟซสำหรับฟีเจอร์ AR แต่ไม่ได้ใช้ฟีเจอร์ใดๆ ด้วยตัวเอง แพ็กเกจ Unity OpenXR Android XR จะให้การใช้งาน หากต้องการเริ่มต้นใช้งานแพ็กเกจนี้ โปรดดูคู่มือแพ็กเกจซึ่งมีคู่มือเริ่มต้นใช้งาน

ส่วนขยาย Android XR สำหรับ Unity

ส่วนขยาย Android XR สำหรับ Unity จะเสริมแพ็กเกจ Unity OpenXR Android XR และมีฟีเจอร์เพิ่มเติมที่จะช่วยคุณสร้างประสบการณ์การใช้งานที่สมจริง โดยคุณจะใช้ส่วนขยายนี้เพียงอย่างเดียวหรือใช้ร่วมกับแพ็กเกจ Unity OpenXR Android XR ก็ได้

หากต้องการเริ่มต้นใช้งานแพ็กเกจนี้ ให้ทำตามคู่มือการตั้งค่าโปรเจ็กต์หรือ คู่มือเริ่มต้นใช้งานฉบับย่อสำหรับการนำเข้าส่วนขยาย Android XR สำหรับ Unity

ข้อควรพิจารณาเกี่ยวกับฟีเจอร์และความเข้ากันได้

ตารางต่อไปนี้จะอธิบายฟีเจอร์ที่แพ็กเกจ Unity OpenXR: Android XR และแพ็กเกจส่วนขยาย Android XR สำหรับ Unity รองรับ และคุณสามารถใช้ตารางนี้เพื่อดูว่าแพ็กเกจใดมีฟีเจอร์ที่คุณต้องการและข้อควรพิจารณาเกี่ยวกับความเข้ากันได้

อินพุตและการโต้ตอบ

Android XR รองรับอินพุตธรรมชาติแบบหลายโหมด

นอกจากมือและการติดตามดวงตาแล้ว ระบบยังรองรับอุปกรณ์ต่อพ่วง เช่น คอนโทรลเลอร์ 6DoF, เมาส์ และแป้นพิมพ์จริงด้วย ซึ่งหมายความว่าแอปสำหรับ Android XR ควรจะรองรับการโต้ตอบด้วยมือ และเราไม่สามารถสันนิษฐานได้ว่าอุปกรณ์ทั้งหมดจะมาพร้อมกับคอนโทรลเลอร์

โปรไฟล์การโต้ตอบ

Unity ใช้ โปรไฟล์การโต้ตอบ เพื่อจัดการวิธีที่แอปพลิเคชัน XR สื่อสารกับอุปกรณ์และแพลตฟอร์ม XR ต่างๆ โปรไฟล์เหล่านี้กำหนดอินพุตและเอาต์พุตที่คาดหวังสำหรับการกำหนดค่าฮาร์ดแวร์ต่างๆ ซึ่งส่งเสริมความเข้ากันได้และฟังก์ชันการทำงานที่สอดคล้องกันในแพลตฟอร์มต่างๆ การเปิดใช้โปรไฟล์การโต้ตอบจะช่วยให้มั่นใจได้ว่าแอปพลิเคชัน XR จะทำงานอย่างถูกต้องกับอุปกรณ์ต่างๆ รักษาการแมปอินพุตที่สอดคล้องกัน และเข้าถึงฟีเจอร์ XR ที่เฉพาะเจาะจงได้ วิธีตั้งค่าโปรไฟล์การโต้ตอบ

1. เปิดหน้าต่างการตั้งค่าโปรเจ็กต์ (เมนู: แก้ไข > การตั้งค่าโปรเจ็กต์)
2. คลิกการจัดการปลั๊กอิน XR เพื่อขยายส่วนปลั๊กอิน (หากจำเป็น)
3. เลือก OpenXR ในรายการปลั๊กอิน XR
4. ในส่วนโปรไฟล์การโต้ตอบ ให้เลือกปุ่ม + เพื่อเพิ่มโปรไฟล์
5. เลือกโปรไฟล์ที่จะเพิ่มจากรายการ

การโต้ตอบด้วยมือ

ปลั๊กอิน OpenXR ให้การโต้ตอบด้วยมือ (XR_EXT_hand_interaction) และคุณสามารถแสดงเลย์เอาต์อุปกรณ์ใน Unity Input System ได้โดยการเปิดใช้โปรไฟล์ Hand Interaction<HandInteraction> ใช้โปรไฟล์การโต้ตอบนี้สำหรับอินพุตมือที่ท่าทางสัมผัส 4 ท่าที่กำหนดโดย OpenXR รองรับ ได้แก่ "หยิก" "จิ้ม" "เล็ง" และ "จับ" หากต้องการฟังก์ชันการโต้ตอบด้วยมือหรือการติดตามการเคลื่อนไหวของมือ เพิ่มเติม โปรดดู XR Hands ในหน้านี้

การโต้ตอบด้วยการมอง

ปลั๊กอิน OpenXR ให้การโต้ตอบด้วยการมอง (XR_EXT_eye_gaze_interaction) และคุณสามารถใช้เลย์เอาต์นี้เพื่อดึงข้อมูลท่าทางของดวงตา (ตำแหน่งและการหมุน) ที่ส่วนขยายส่งคืน อ่านเพิ่มเติมเกี่ยวกับ การโต้ตอบด้วยการมองในคู่มืออินพุต OpenXR

การโต้ตอบของคอนโทรลเลอร์

Android XR รองรับโปรไฟล์คอนโทรลเลอร์ Oculus Touch สำหรับ คอนโทรลเลอร์ 6DoF ปลั๊กอิน OpenXR ให้โปรไฟล์ทั้ง 2 รายการนี้

การโต้ตอบของเมาส์

ส่วนขยาย Android XR สำหรับ Unity ให้โปรไฟล์การโต้ตอบของเมาส์ Android XR (XR_ANDROID_mouse_interaction) โดยจะแสดงเลย์เอาต์อุปกรณ์ <AndroidXRMouse> ในระบบอินพุตของ Unity

การโต้ตอบด้วยท่าทางของฝ่ามือ

ปลั๊กอิน OpenXR รองรับการโต้ตอบด้วยท่าทางของฝ่ามือ Palm Pose Interaction (XR_EXT_palm_pose) ซึ่ง แสดงเลย์เอาต์ <PalmPose> ภายใน Unity Input System ท่าทางของฝ่ามือไม่ได้มีไว้เพื่อใช้แทนส่วนขยายหรือแพ็กเกจที่ทำการติดตามการเคลื่อนไหวของมือสำหรับกรณีการใช้งานที่ซับซ้อนกว่า แต่สามารถใช้เพื่อวางเนื้อหาภาพที่เฉพาะเจาะจงของแอป เช่น ภาพอวาตาร์ ท่าทางของฝ่ามือประกอบด้วยทั้งตำแหน่งและการวางแนวของฝ่ามือ

XR Hands

แพ็กเกจ XR Hands ช่วยให้คุณเข้าถึงข้อมูลการติดตามการเคลื่อนไหวของมือโดยใช้ XR_EXT_hand_tracking และ XR_FB_hand_tracking_aim และมี Wrapper เพื่อแปลง ข้อมูลข้อต่อของมือจากการติดตามการเคลื่อนไหวของมือเป็นท่าทางอินพุต หากต้องการใช้ฟีเจอร์ที่แพ็กเกจ XR Hands มีให้ ให้เปิดใช้ฟีเจอร์ระบบย่อยการติดตามการเคลื่อนไหวของมือ และ Meta Hand Tracking Aim OpenXR

แพ็กเกจ XR Hands มีประโยชน์หากคุณต้องการข้อมูลท่าทางของมือหรือข้อต่อของมือที่ละเอียดยิ่งขึ้น หรือเมื่อคุณต้องการใช้ท่าทางที่กำหนดเอง

ดูรายละเอียดเพิ่มเติมได้ในเอกสารประกอบของ Unity สำหรับการตั้งค่า XR Hands ในโปรเจ็กต์

ขอบเขตความเชื่อมั่นในการติดตามใบหน้า

ส่วนขยาย XR_ANDROID_face_tracking ให้ค่าความเชื่อมั่นสำหรับใบหน้า 3 ส่วน ได้แก่ ส่วนบนซ้าย ส่วนบนขวา และส่วนล่าง ค่าเหล่านี้มีตั้งแต่ 0 (ไม่มีความเชื่อมั่น) ถึง 1 (ความเชื่อมั่นสูงสุด) ซึ่งบ่งบอกถึงความแม่นยำของการติดตามใบหน้าสำหรับแต่ละส่วน

คุณสามารถใช้ค่าความเชื่อมั่นเหล่านี้เพื่อปิดใช้ Blendshape แบบค่อยเป็นค่อยไปหรือใช้ฟิลเตอร์ภาพ (เช่น การเบลอ) กับส่วนใบหน้าที่เกี่ยวข้อง สำหรับปิดใช้ Blendshape พื้นฐานในส่วนใบหน้าที่เกี่ยวข้อง

พื้นที่ "ส่วนล่าง" หมายถึงทุกอย่างที่อยู่ใต้ดวงตา รวมถึงปาก คาง แก้ม และจมูก ส่วนบนทั้ง 2 ส่วนรวมถึงดวงตาและบริเวณคิ้วทางด้านซ้ายและด้านขวาของใบหน้า

ข้อมูลโค้ด C# ต่อไปนี้แสดงวิธีเข้าถึงและใช้ข้อมูลความเชื่อมั่นในสคริปต์ Unity

using UnityEngine;
using Google.XR.Extensions;

public class FaceTrackingConfidence : MonoBehaviour
{
    void Update()
    {
      if (!XRFaceTrackingFeature.IsFaceTrackingExtensionEnabled.HasValue)
      {
        DebugTextTopCenter.text = "XrInstance hasn't been initialized.";
        return;
      }
      else if (!XRFaceTrackingFeature.IsFaceTrackingExtensionEnabled.Value)
      {
        DebugTextTopCenter.text = "XR_ANDROID_face_tracking is not enabled.";
        return;
      }

      for (int x = 0; x < _faceManager.Face.ConfidenceRegions.Length; x++)
      {
        switch (x)
        {
          case (int)XRFaceConfidenceRegion.Lower:
            regionText = "Bottom";
            break;
          case (int)XRFaceConfidenceRegion.LeftUpper:
            regionText = DebugTextConfidenceLeft;
            break;
          case (int)XRFaceConfidenceRegion.RightUpper:
            regionText = DebugTextConfidenceRight;
            break;
        }
    }
}

ดูข้อมูลเพิ่มเติมได้ใน เอกสารประกอบส่วนขยาย Android XR สำหรับ Unity

เลือกวิธีแสดงมือ

Android XR รองรับการแสดงมือ 2 วิธี ได้แก่ ตาข่ายมือและตัวแสดงผลแบบ Prefab

ตาข่ายมือ

แพ็กเกจ Android XR Unity มีฟีเจอร์ตาข่ายมือที่ให้สิทธิ์ เข้าถึง XR_ANDROID_hand_mesh extension ฟีเจอร์ตาข่ายมือให้ตาข่ายสำหรับมือของผู้ใช้ ตาข่ายมือมีจุดยอดของสามเหลี่ยมที่แสดงถึงรูปทรงเรขาคณิตของมือ ฟีเจอร์นี้มีไว้เพื่อใช้ในการแสดงตาข่ายที่ปรับเปลี่ยนในแบบของคุณซึ่งแสดงถึงรูปทรงเรขาคณิตจริงของมือผู้ใช้สำหรับการแสดงข้อมูลผ่านภาพ

Prefab XR Hands

แพ็กเกจ XR Hands มีตัวอย่างที่เรียกว่า Hands visualizer ซึ่งมีมือซ้ายและมือขวาที่ติดตั้งอุปกรณ์ครบชุด สำหรับการแสดงภาพมือของผู้ใช้ที่เหมาะสมกับบริบท

ท่าทางสัมผัสของระบบ

Android XR มีท่าทางสัมผัสของระบบเพื่อเปิดเมนูให้ผู้ใช้กลับไป เปิด Launcher หรือดูภาพรวมของแอปที่กำลังทำงาน ผู้ใช้สามารถเปิดใช้งานเมนูระบบนี้ได้โดยใช้การหยิกด้วยมือข้างที่ถนัด

เมื่อผู้ใช้โต้ตอบกับเมนูการนำทางของระบบ แอปพลิเคชันจะตอบสนองต่อเหตุการณ์การติดตามการเคลื่อนไหวของศีรษะเท่านั้น แพ็กเกจ XR Hands สามารถตรวจจับได้เมื่อผู้ใช้ดำเนินการที่เฉพาะเจาะจง เช่น การโต้ตอบกับเมนูการนำทางของระบบนี้ การตรวจสอบ AimFlags, SystemGesture และ DominantHand จะช่วยให้คุณทราบได้ว่ามีการดำเนินการของระบบนี้เมื่อใด ดูข้อมูลเพิ่มเติมเกี่ยวกับ AimFlags ได้ ในเอกสารประกอบ Enum MetaAimFlags ของ Unity

XR Interaction Toolkit

แพ็กเกจ XR Interaction Toolkit เป็นระบบการโต้ตอบระดับสูง แบบอิงตามคอมโพเนนต์สำหรับการสร้างประสบการณ์การใช้งาน VR และ AR โดยมีเฟรมเวิร์กที่ทำให้การโต้ตอบ 3 มิติและ UI พร้อมใช้งานจากเหตุการณ์อินพุตของ Unity และรองรับงานการโต้ตอบต่างๆ รวมถึงการตอบสนองแบบรู้สึกได้ การตอบสนองด้วยภาพ และการเคลื่อนที่

OpenXR™ และโลโก้ OpenXR เป็นเครื่องหมายการค้าของ The Khronos Group Inc. และจดทะเบียนเป็นเครื่องหมายการค้าในจีน สหภาพยุโรป ญี่ปุ่น และสหราชอาณาจักร