Hướng dẫn này cung cấp thông tin tổng quan về cách phát triển bằng Unity cho Android XR. Android XR hoạt động với các công cụ và tính năng quen thuộc mà bạn mong đợi từ Unity. Ngoài ra, vì tính năng hỗ trợ Android XR của Unity được xây dựng dựa trên OpenXR, nên nhiều tính năng được mô tả trong phần Tổng quan về OpenXR cũng được hỗ trợ trong Unity.
Hãy làm theo hướng dẫn này để tìm hiểu về:
- Hỗ trợ Unity cho Android XR
- Kiến thức cơ bản về Unity XR
- Phát triển và phát hành ứng dụng cho Android XR
- Gói Unity cho Android XR
- Unity OpenXR: Gói Android XR
- Tiện ích Android XR cho Unity
- Những điểm cần lưu ý về tính năng và khả năng tương thích
- Nhập và tương tác
Hỗ trợ Unity cho Android XR
Khi tạo ứng dụng Unity cho Android XR, bạn có thể tận dụng các công cụ và chức năng thực tế kết hợp trong các phiên bản mới nhất của Unity 6. Trong đó có các mẫu thực tế hỗn hợp sử dụng XR Interaction Toolkit, AR Foundation và Trình bổ trợ OpenXR để giúp bạn bắt đầu nhanh chóng. Khi tạo ứng dụng bằng Unity cho Android XR, bạn nên dùng Universal Render Pipeline (URP) làm quy trình kết xuất và Vulkan làm API đồ hoạ. Các tính năng này cho phép bạn tận dụng một số tính năng đồ hoạ của Unity, vốn chỉ được hỗ trợ trong Vulkan. Hãy xem hướng dẫn thiết lập dự án để biết thêm thông tin về cách định cấu hình các chế độ cài đặt này.
Kiến thức cơ bản về Unity XR
Nếu mới làm quen với Unity hoặc phát triển XR, bạn có thể tham khảo Hướng dẫn sử dụng XR của Unity để tìm hiểu các khái niệm và quy trình cơ bản về XR. Tài liệu hướng dẫn về XR chứa thông tin về:
- Trình bổ trợ của nhà cung cấp XR, bao gồm cả Unity OpenXR: Android XR và Android XR Extensions cho Unity
- Gói hỗ trợ XR để thêm các tính năng khác ở cấp ứng dụng
- Hướng dẫn về cấu trúc XR mô tả bộ phần mềm cơ sở Unity XR và các hệ thống con XR
- Thiết lập dự án XR
- Xây dựng và chạy ứng dụng XR
- Hướng dẫn về đồ hoạ XR, bao gồm Universal Render Pipeline (Quy trình kết xuất phổ quát), kết xuất hình nổi, kết xuất hình ảnh theo tiêu điểm, vùng kết xuất nhiều khung hiển thị và thời gian kết xuất khung hình VR
- Hướng dẫn về âm thanh XR, bao gồm cả việc hỗ trợ bộ tạo không gian âm thanh
Phát triển và xuất bản ứng dụng cho Android
Unity cung cấp tài liệu chuyên sâu về việc phát triển, xây dựng và phát hành cho Android, bao gồm các chủ đề như quyền của Android trong Unity, Cài đặt bản dựng Android, Xây dựng ứng dụng cho Android và Phân phối đến Google Play.
Gói Unity cho Android XR
Có hai gói hỗ trợ việc tạo ứng dụng Unity cho Android XR. Cả hai gói này đều là trình bổ trợ của nhà cung cấp XR, có thể được bật thông qua gói Quản lý trình bổ trợ XR của Unity. Trình quản lý trình bổ trợ XR thêm phần Cài đặt dự án để quản lý và hỗ trợ tải, khởi chạy, cài đặt và hỗ trợ bản dựng cho các trình bổ trợ XR. Để cho phép ứng dụng của bạn thực thi các tính năng OpenXR trong thời gian chạy, dự án phải bật các tính năng này thông qua trình quản lý trình bổ trợ.
Hình ảnh này cho thấy một ví dụ về nơi bạn có thể bật các nhóm tính năng này thông qua trình chỉnh sửa của Unity.
Unity OpenXR Android XR
Gói Unity OpenXR Android XR là một trình bổ trợ XR để thêm tính năng hỗ trợ Android XR vào Unity. Trình bổ trợ XR này cung cấp phần lớn tính năng hỗ trợ Android XR cho Unity, đồng thời hỗ trợ thiết bị Android XR cho các dự án AR Foundation. AR Foundation được thiết kế cho những nhà phát triển muốn tạo trải nghiệm thực tế tăng cường hoặc thực tế hỗn hợp. Thành phần này cung cấp giao diện cho các tính năng thực tế tăng cường (AR), nhưng không tự triển khai bất kỳ tính năng nào. Gói Android XR của Unity OpenXR cung cấp cách triển khai. Để bắt đầu sử dụng gói này, hãy xem hướng dẫn sử dụng gói, trong đó có hướng dẫn bắt đầu sử dụng.
Tiện ích Android XR cho Unity
Tiện ích Android XR cho Unity bổ sung cho gói Unity OpenXR Android XR và bao gồm các tính năng bổ sung để giúp bạn xây dựng trải nghiệm sống động. Bạn có thể sử dụng riêng lẻ hoặc kết hợp với gói Android XR của Unity OpenXR.
Để bắt đầu sử dụng gói này, hãy làm theo hướng dẫn thiết lập dự án hoặc hướng dẫn bắt đầu nhanh để nhập Android XR Extensions cho Unity.
Những điểm cần lưu ý về tính năng và khả năng tương thích
Bảng sau đây mô tả các tính năng được hỗ trợ trong gói Unity OpenXR: Android XR và gói Android XR Extensions cho Unity. Bạn có thể dùng bảng này để xác định gói nào chứa các tính năng bạn cần và mọi yếu tố cần cân nhắc về khả năng tương thích.
Tính năng |
Unity OpenXR: Chuỗi tính năng Android XR |
Chuỗi tính năng Android XR Extensions cho Unity |
Trường hợp sử dụng và hành vi dự kiến |
|---|---|---|---|
Android XR: Phiên thực tế tăng cường (AR)
|
Android XR (Tiện ích): Quản lý phiên
|
Để sử dụng các tính năng của một trong hai gói, bạn phải bật tính năng Phiên thực tế tăng cường cho gói đó. Bạn có thể bật cả hai tập tính chất cùng một lúc; các tính năng riêng lẻ sẽ xử lý xung đột tương ứng. |
|
Không áp dụng |
Không áp dụng |
Tính năng theo dõi thiết bị được dùng để theo dõi vị trí và độ xoay của thiết bị trong không gian thực. GameObject XR Origin tự động xử lý việc theo dõi thiết bị và chuyển đổi các đối tượng có thể theo dõi thành hệ toạ độ của Unity bằng cách sử dụng thành phần XROrigin và hệ phân cấp GameObject có Camera và TrackedPoseDriver. |
|
Android XR: Camera thực tế tăng cường (AR) |
Không áp dụng |
Tính năng này hỗ trợ ước tính ánh sáng và truyền qua toàn màn hình. |
|
Android XR: Mặt phẳng thực tế tăng cường |
Không áp dụng |
Tính năng này hỗ trợ phát hiện và theo dõi các bề mặt phẳng trong môi trường thực tế. |
|
Không áp dụng |
Android XR (Tiện ích): Theo dõi đối tượng |
Tính năng này hỗ trợ phát hiện và theo dõi các đối tượng trong môi trường thực tế, được sử dụng kết hợp với thư viện đối tượng tham chiếu. |
|
Android XR: Khuôn mặt thực tế tăng cường
|
Android XR: Theo dõi khuôn mặt
|
Tính năng hỗ trợ mắt hình đại diện được cung cấp thông qua tính năng Android XR: Khuôn mặt thực tế tăng cường. Truy cập vào biểu cảm khuôn mặt của người dùng thông qua tính năng Android XR: Theo dõi khuôn mặt. Bạn có thể sử dụng cả hai tính năng này cùng lúc. |
|
Android XR: AR Raycast
|
Không áp dụng |
Tính năng này cho phép bạn truyền tia và tính toán giao điểm giữa tia đó với các đối tượng có thể theo dõi trên mặt phẳng hoặc đối tượng có thể theo dõi độ sâu được phát hiện trong môi trường thực tế. |
|
Android XR: Điểm neo thực tế tăng cường |
Không áp dụng |
Điểm neo thực tế tăng cường hỗ trợ điểm neo không gian, mặt phẳng và điểm neo cố định thông qua AR Foundation. |
|
Android XR: AR Occlusion
|
Không áp dụng |
Tính năng che khuất cho phép nội dung thực tế hỗn hợp trong ứng dụng của bạn xuất hiện ở trạng thái bị ẩn hoặc bị che khuất một phần phía sau các đối tượng trong môi trường thực tế. |
|
Các chỉ số đánh giá hiệu quả hoạt động |
Chỉ số hiệu suất của Android XR |
Không áp dụng |
Sử dụng tính năng này để truy cập vào các chỉ số hiệu suất cho thiết bị Android XR. |
Hỗ trợ lớp thành phần (bắt buộc phải có Trình bổ trợ OpenXR và Lớp thành phần XR) |
Android XR: Lớp kết hợp truyền qua
|
Sử dụng tính năng Hỗ trợ lớp kết hợp của Unity để tạo lớp kết hợp cơ bản (ví dụ: hình tứ giác, hình trụ, hình chiếu). Android XR: Bạn có thể dùng Lớp kết hợp truyền qua để tạo một lớp truyền qua có lưới tuỳ chỉnh, đọc từ GameObject của Unity. |
|
Foveated Rendering (Cần có trình bổ trợ OpenXR)
|
Foveation (Cũ) |
Tính năng kết xuất foveated cho phép tăng tốc độ kết xuất bằng cách giảm độ phân giải của các khu vực trong tầm nhìn ngoại vi của người dùng. Tính năng kết xuất hình ảnh theo tiêu điểm của Unity chỉ được hỗ trợ cho các ứng dụng sử dụng URP và Vulkan. Tính năng Foveation (Phiên bản cũ) trong Android XR Extensions cho Unity cũng hỗ trợ Built-in Render Pipeline và OpenGL ES. Bạn nên sử dụng tính năng kết xuất foveated của Unity khi có thể, đồng thời lưu ý rằng bạn nên sử dụng cả URP và Vulkan khi xây dựng cho Android XR. |
|
Không áp dụng |
Tính năng này đặt chế độ gốc theo dõi XRInputSubsystem thành Unbounded (Không giới hạn). Không giới hạn cho biết XRInputSubsystem theo dõi tất cả InputDevice liên quan đến một neo thế giới, có thể thay đổi. |
||
Không áp dụng |
Chế độ hoà trộn môi trường |
Tính năng này cho phép bạn đặt Chế độ kết hợp môi trường XR, giúp kiểm soát cách hình ảnh ảo kết hợp với môi trường thực tế khi chế độ nhìn xuyên qua được bật. |
|
Không áp dụng |
Cho phép |
||
Không áp dụng |
Cung cấp các chiến lược định cấu hình xác thực phiên (Khoá API, Không khoá và Mã xác thực) cho các dịch vụ dựa trên đám mây. |
||
Không áp dụng |
Mở rộng Unity ARFace bằng các phương thức theo dõi khuôn mặt đa phương thức, có thể định cấu hình ( |
||
Không áp dụng |
Cho phép truy vấn trạng thái pin và mức sạc trong thời gian chạy của bộ điều khiển và đường dẫn đầu vào đã kết nối bằng |
||
Android XR: Camera thực tế tăng cường (AR) |
Không áp dụng |
Cho phép truy vấn và đặt mức độ mờ của chế độ xem xuyên thấu trong thế giới thực bằng ARCameraFeature của Unity. |
|
Không áp dụng |
Liệt kê các thuộc tính của tiện ích thời gian chạy và chức năng của thiết bị bằng |
||
Không áp dụng |
Cho phép truy vấn trạng thái trước khi chạy của môi trường thời gian chạy (bao gồm cả chế độ kết hợp môi trường, độ mờ truyền qua và phương thức nhập đang hoạt động) bằng |
||
Android XR: Hộp giới hạn thực tế tăng cường |
Hỗ trợ phát hiện hộp giới hạn cho các đối tượng 3D trong môi trường thực tế bằng cách sử dụng khung Thực thể không gian OpenXR ( |
||
Không áp dụng |
Mở rộng khả năng neo bằng |
||
Không áp dụng |
Cho phép hiển thị nội dung ứng dụng trong vùng chứa thể tích 3D do hệ thống quản lý ở Chế độ toàn bộ không gian, có API và sự kiện gọi lại trên |
Nhập và tương tác
Android XR hỗ trợ phương thức nhập tự nhiên đa phương thức.
Ngoài tính năng theo dõi chuyển động của tay và ánh mắt, các thiết bị ngoại vi như bộ điều khiển 6DoF, chuột và bàn phím thực cũng được hỗ trợ. Điều này có nghĩa là các ứng dụng dành cho Android XR cần hỗ trợ tương tác bằng tay và không thể giả định rằng tất cả thiết bị đều có tay điều khiển.
Hồ sơ tương tác
Unity sử dụng hồ sơ tương tác để quản lý cách ứng dụng XR của bạn giao tiếp với nhiều thiết bị XR và nền tảng XR. Các hồ sơ này thiết lập dữ liệu đầu vào và đầu ra dự kiến cho nhiều cấu hình phần cứng, giúp tăng khả năng tương thích và chức năng nhất quán trên nhiều nền tảng. Bằng cách bật hồ sơ tương tác, bạn có thể giúp đảm bảo rằng ứng dụng XR của mình hoạt động chính xác với nhiều thiết bị, duy trì việc liên kết đầu vào nhất quán và có quyền truy cập vào các tính năng XR cụ thể. Cách đặt hồ sơ tương tác:
- Mở cửa sổ Project Settings (Cài đặt dự án) (trình đơn: Edit > Project Settings (Chỉnh sửa > Cài đặt dự án)).
- Nhấp vào XR Plug-in Management (Quản lý trình bổ trợ XR) để mở rộng phần trình bổ trợ (nếu cần).
- Chọn OpenXR trong danh sách trình bổ trợ XR.
- Trong phần Interaction Profiles (Hồ sơ tương tác), hãy chọn nút + để thêm hồ sơ.
- Chọn hồ sơ cần thêm trong danh sách.
Tương tác bằng tay
Tương tác bằng tay (XR_EXT_hand_interaction) được cung cấp bởi
Trình bổ trợ OpenXR và bạn có thể hiển thị bố cục thiết bị <HandInteraction>
trong Hệ thống đầu vào Unity bằng cách bật Hồ sơ
tương tác bằng tay. Sử dụng hồ sơ tương tác này cho hoạt động nhập bằng tay được hỗ trợ bởi 4 tư thế hành động do OpenXR xác định: "chụm", "chọc", "nhắm" và "nắm". Nếu bạn cần thêm chức năng tương tác bằng tay hoặc theo dõi cử động của tay, hãy tham khảo XR Hands trên trang này.
Tương tác bằng ánh mắt
Hoạt động tương tác bằng ánh mắt (XR_EXT_eye_gaze_interaction) được cung cấp bởi Trình bổ trợ OpenXR và bạn có thể sử dụng bố cục này để truy xuất dữ liệu tư thế mắt (vị trí và độ xoay) mà tiện ích trả về. Tìm hiểu thêm về
tương tác bằng ánh mắt trong hướng dẫn về Đầu vào OpenXR.
Tương tác với tay điều khiển
Android XR hỗ trợ Hồ sơ bộ điều khiển Oculus Touch cho bộ điều khiển 6DoF. Cả hai hồ sơ này đều do Trình bổ trợ OpenXR cung cấp.
Tương tác bằng chuột
Hồ sơ tương tác chuột Android XR (XR_ANDROID_mouse_interaction)
do Tiện ích Android XR cho Unity cung cấp. Trình bổ trợ này hiển thị bố cục thiết bị <AndroidXRMouse> trong Hệ thống đầu vào Unity.
Tương tác bằng tư thế lòng bàn tay
Trình bổ trợ OpenXR hỗ trợ Tương tác tư thế lòng bàn tay (XR_EXT_palm_pose), cho thấy bố cục <PalmPose> trong Hệ thống đầu vào Unity.
Tư thế lòng bàn tay không nhằm mục đích thay thế cho các tiện ích hoặc gói thực hiện theo dõi cử động của tay cho các trường hợp sử dụng phức tạp hơn; thay vào đó, bạn có thể dùng tư thế này để đặt nội dung hình ảnh dành riêng cho ứng dụng, chẳng hạn như hình ảnh đại diện. Tư thế lòng bàn tay bao gồm
cả vị trí và hướng của lòng bàn tay.
Bàn tay XR
Gói XR Hands cho phép bạn truy cập vào dữ liệu theo dõi cử động của tay (bằng cách sử dụng XR_EXT_hand_tracking và XR_FB_hand_tracking_aim) và cung cấp một trình bao bọc để chuyển đổi dữ liệu khớp tay từ tính năng theo dõi cử động của tay sang tư thế đầu vào. Để sử dụng các tính năng do gói XR Hands cung cấp, hãy bật các tính năng Hand Tracking Subsystem (Hệ thống con theo dõi cử động của tay) và Meta Hand Tracking Aim OpenXR (Mục tiêu theo dõi cử động của tay Meta OpenXR).
Gói XR hands có thể hữu ích nếu bạn cần dữ liệu chi tiết hơn về tư thế tay hoặc khớp tay, hoặc khi bạn cần làm việc với các cử chỉ tuỳ chỉnh.
Để biết thêm thông tin, hãy xem tài liệu của Unity về cách thiết lập XR Hands trong dự án của bạn
Vùng tin cậy theo dõi khuôn mặt
Tiện ích XR_ANDROID_face_tracking cung cấp giá trị tin cậy cho ba vùng trên khuôn mặt: phía trên bên trái, phía trên bên phải và phía dưới khuôn mặt. Các giá trị này nằm trong khoảng từ 0 (không tin cậy) đến 1 (tin cậy nhất), cho biết độ chính xác của tính năng theo dõi khuôn mặt cho từng vùng.
Bạn có thể sử dụng các giá trị độ tin cậy này để tắt dần các hình dạng kết hợp hoặc áp dụng bộ lọc hình ảnh (như làm mờ) cho vùng khuôn mặt tương ứng. Đối với hình dạng kết hợp cơ bản, hãy huỷ kích hoạt hình dạng kết hợp trong vùng khuôn mặt tương ứng.
Khu vực "phần dưới khuôn mặt" đại diện cho mọi thứ dưới mắt, bao gồm miệng, cằm, má và mũi. Hai vùng phía trên bao gồm vùng mắt và lông mày ở bên trái và bên phải khuôn mặt.
Đoạn mã C# sau đây minh hoạ cách truy cập và sử dụng dữ liệu về độ tin cậy trong tập lệnh Unity:
using UnityEngine;
using Google.XR.Extensions;
public class FaceTrackingConfidence : MonoBehaviour
{
void Update()
{
if (!XRFaceTrackingFeature.IsFaceTrackingExtensionEnabled.HasValue)
{
DebugTextTopCenter.text = "XrInstance hasn't been initialized.";
return;
}
else if (!XRFaceTrackingFeature.IsFaceTrackingExtensionEnabled.Value)
{
DebugTextTopCenter.text = "XR_ANDROID_face_tracking is not enabled.";
return;
}
for (int x = 0; x < _faceManager.Face.ConfidenceRegions.Length; x++)
{
switch (x)
{
case (int)XRFaceConfidenceRegion.Lower:
regionText = "Bottom";
break;
case (int)XRFaceConfidenceRegion.LeftUpper:
regionText = DebugTextConfidenceLeft;
break;
case (int)XRFaceConfidenceRegion.RightUpper:
regionText = DebugTextConfidenceRight;
break;
}
}
}
Để biết thêm thông tin, hãy xem Tài liệu về Tiện ích Android XR cho Unity.
Chọn cách kết xuất bàn tay
Android XR hỗ trợ hai cách kết xuất bàn tay: lưới bàn tay và trình hiển thị tạo sẵn.
Lưới bàn tay
Gói Android XR Unity có tính năng Lưới bàn tay, giúp bạn truy cập vào XR_ANDROID_hand_mesh extension. Tính năng Lưới bàn tay cung cấp lưới cho bàn tay của người dùng. Lưới bàn tay chứa các đỉnh của hình tam giác đại diện cho hình học của bàn tay. Tính năng này được dùng để cung cấp lưới được cá nhân hoá, thể hiện hình học thực tế của bàn tay người dùng để trực quan hoá.
Prefab XR Hands
Gói XR Hands chứa một mẫu có tên là Hands visualizer (Trình hiển thị bàn tay), trong đó có bàn tay trái và bàn tay phải được trang bị đầy đủ để hiển thị hình ảnh phù hợp với bối cảnh của bàn tay người dùng.
Cử chỉ hệ thống
Android XR có một cử chỉ hệ thống để mở trình đơn cho phép người dùng quay lại, mở trình chạy hoặc xem thông tin tổng quan về các ứng dụng đang chạy. Người dùng có thể kích hoạt trình đơn hệ thống này bằng cách chụm ngón tay bằng tay thuận.
Khi người dùng tương tác với trình đơn điều hướng của hệ thống, ứng dụng sẽ chỉ phản hồi các sự kiện theo dõi cử động đầu. Gói XR Hands có thể phát hiện khi người dùng thực hiện các hành động cụ thể, chẳng hạn như tương tác với trình đơn điều hướng hệ thống này. Việc kiểm tra AimFlags, SystemGesture và DominantHand cho bạn biết thời điểm thực hiện hành động này của hệ thống. Để biết thêm thông tin về AimFlags, hãy tham khảo tài liệu về Enum MetaAimFlags của Unity.
XR Interaction Toolkit
Gói Bộ công cụ tương tác XR là một hệ thống tương tác cấp cao, dựa trên thành phần để tạo trải nghiệm thực tế ảo (VR) và thực tế tăng cường (AR). Bộ công cụ này cung cấp một khung giúp các hoạt động tương tác 3D và giao diện người dùng có thể thực hiện được từ các sự kiện đầu vào của Unity. Thiết bị này hỗ trợ các thao tác tương tác, bao gồm phản hồi xúc giác, phản hồi hình ảnh và chuyển động.
OpenXR™ và biểu trưng OpenXR là các nhãn hiệu thuộc sở hữu của Khronos Group Inc. và được đăng ký làm nhãn hiệu ở Trung Quốc, Liên minh Châu Âu, Nhật Bản và Vương quốc Anh.