สร้างแอปสำหรับแว่นตา AI ด้วย Android XR SDK Developer Preview 3 และปลดล็อกฟีเจอร์ใหม่ๆ เพื่อประสบการณ์การใช้งานที่สมจริง

ในเดือนตุลาคม Samsung ได้เปิดตัว Galaxy XR ซึ่งเป็นอุปกรณ์รุ่นแรกที่ขับเคลื่อนโดย Android XR และเราก็รู้สึกทึ่งกับสิ่งที่ครีเอเตอร์บางคนสร้างขึ้นมา นักพัฒนาแอปบางรายของเราได้กล่าวถึงเส้นทางการเข้าสู่ Android XR ไว้ดังนี้

Android XR ได้เปิดโลกใหม่ให้เราสร้างแอป ทีมควรถามตัวเองว่าคุณจะสร้างประสบการณ์การใช้งานที่ยิ่งใหญ่และโดดเด่นที่สุดได้อย่างไร นี่คือโอกาสที่คุณจะได้ลงมือทำในสิ่งที่อยากทำมาตลอด เพราะตอนนี้คุณมีแพลตฟอร์มที่จะช่วยให้สิ่งนั้นเป็นจริงได้ - Kristen Coke, Calm, ผู้จัดการผลิตภัณฑ์ Lead

นอกจากนี้ คุณยังได้เห็นเราแชร์ตัวอย่างแรกของอุปกรณ์อื่นๆ ที่กำลังจะเปิดตัวซึ่งใช้งานร่วมกับ Android XR ได้ เช่น Project Aura จาก XREAL และแว่นตาดีไซน์เก๋จาก Gentle Monster และ Warby Parker

เราขอประกาศเปิดตัวเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ Android XR SDK 3 เพื่อรองรับอุปกรณ์ XR ที่มีให้เลือกมากขึ้น

เวอร์ชันตัวอย่างสำหรับนักพัฒนา Android XR SDK 3 ไม่เพียงแต่ช่วยให้คุณสร้างประสบการณ์ที่สมจริงสำหรับอุปกรณ์ต่างๆ เช่น Galaxy XR ได้เท่านั้น แต่ยังช่วยให้คุณสร้างประสบการณ์ที่เพิ่มความเป็นจริงสำหรับแว่นตา AI ที่กำลังจะเปิดตัวซึ่งใช้ Android XR ได้อีกด้วย 

เครื่องมือและไลบรารีใหม่สำหรับประสบการณ์การใช้งานแบบเพิ่มความเป็นจริง

ใน Developer Preview 3 เราจะปลดล็อกเครื่องมือและไลบรารีที่คุณต้องใช้ในการสร้างประสบการณ์การใช้งานความจริงเสริมแบบอัจฉริยะและแบบแฮนด์ฟรีสำหรับแว่นตา AI แว่นตา AI มีน้ำหนักเบาและพกพาสะดวก จึงใส่ได้ตลอดวัน คุณสามารถขยายแอปบนอุปกรณ์เคลื่อนที่ที่มีอยู่เพื่อใช้ประโยชน์จากลำโพง กล้อง และไมโครโฟนในตัว เพื่อมอบการโต้ตอบกับผู้ใช้ในรูปแบบใหม่ที่รอบคอบและเป็นประโยชน์ การเพิ่มจอแสดงผลขนาดเล็กในแว่นตา AI สำหรับการแสดงผลจะช่วยให้คุณนำเสนอข้อมูลต่อผู้ใช้ได้อย่างเป็นส่วนตัว แว่นตา AI เหมาะอย่างยิ่งสำหรับประสบการณ์ที่จะช่วยเพิ่มสมาธิและการรับรู้ของผู้ใช้ในโลกแห่งความเป็นจริง

เราขอแนะนำไลบรารีใหม่ 2 รายการที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะสำหรับ Jetpack XR SDK เพื่อขับเคลื่อนประสบการณ์การใช้งานแบบอาร์กิวเมนต์บนแว่นตา AI

• Jetpack Projected - สร้างขึ้นเพื่อเชื่อมต่ออุปกรณ์เคลื่อนที่และแว่นตา AI ด้วยฟีเจอร์ที่ช่วยให้คุณเข้าถึงเซ็นเซอร์ ลำโพง และจอแสดงผลบนแว่นตาได้
• Jetpack Compose Glimmer - ภาษาการออกแบบและคอมโพเนนต์ UI ใหม่สำหรับการสร้างและจัดรูปแบบประสบการณ์การใช้งานความจริงเสริมในแว่นตา AI ที่แสดงผล

Jetpack Compose Glimmer เป็นการสาธิตแนวทางปฏิบัติแนะนำด้านการออกแบบสำหรับประสบการณ์การใช้งานแบบออปติคัลซีทรูที่สวยงามและสมจริง Jetpack Compose Glimmer ได้รับการออกแบบมาเพื่อความชัดเจน ความสามารถในการอ่าน และการรบกวนน้อยที่สุด โดยมีคอมโพเนนต์ UI ที่ได้รับการเพิ่มประสิทธิภาพสำหรับรูปแบบการป้อนข้อมูลและข้อกำหนดด้านสไตล์ของแว่นตา AI ที่แสดงผล

เราขอแนะนำโปรแกรมจำลองแว่นตา AI ใน Android Studio เพื่อช่วยให้คุณเห็นภาพและทดสอบ UI แบบกะพริบของ Jetpack Compose โปรแกรมจำลองแว่นตา AI ใหม่สามารถจำลองการโต้ตอบเฉพาะแว่นตา เช่น ทัชแพดและการป้อนข้อมูลด้วยเสียง 

นอกเหนือจากไลบรารี Jetpack Projected และ Jetpack Compose Glimmer ใหม่แล้ว เรายังขยาย ARCore สำหรับ Jetpack XR เพื่อรองรับแว่นตา AI ด้วย เราจะเริ่มต้นด้วยการติดตามการเคลื่อนไหวและความสามารถด้านข้อมูลเชิงพื้นที่เพื่อประสบการณ์การใช้งานแบบอาร์กิวเมนต์ ซึ่งเป็นฟีเจอร์ที่ช่วยให้คุณสร้างประสบการณ์การนำทางที่เป็นประโยชน์และเหมาะสำหรับอุปกรณ์ที่สวมใส่ได้ตลอดทั้งวัน เช่น แว่นตา AI

ขยายการรองรับประสบการณ์การใช้งานที่สมจริง

เราจะลงทุนต่อไปในไลบรารีและเครื่องมือที่ขับเคลื่อนประสบการณ์ที่สมจริงสำหรับชุดหูฟัง XR เช่น Samsung Galaxy XR และแว่นตา XR แบบใช้สาย เช่น Project Aura จาก XREAL ที่กำลังจะเปิดตัว เรารับฟังความคิดเห็นของคุณและได้เพิ่มฟีเจอร์ที่ได้รับการร้องขอเป็นจำนวนมากหลายรายการลงใน Jetpack XR SDK ตั้งแต่เวอร์ชันตัวอย่างสำหรับนักพัฒนา 2

Jetpack SceneCore มาพร้อมการโหลดโมเดล glTF แบบไดนามิกผ่าน URI และการรองรับวัสดุที่ปรับปรุงแล้วสำหรับการสร้างวัสดุ PBR ใหม่ขณะรันไทม์ นอกจากนี้ คอมโพเนนต์ SurfaceEntity ยังได้รับการปรับปรุงให้รองรับการจัดการสิทธิ์ดิจิทัล (DRM) ของ Widevine อย่างเต็มรูปแบบและมีรูปร่างใหม่ ซึ่งช่วยให้แสดงวิดีโอ 360 องศาและ 180 องศาในทรงกลมและครึ่งทรงกลมได้

ใน Jetpack Compose สำหรับ XR คุณจะเห็นฟีเจอร์ใหม่ๆ เช่น คอมโพเนนต์ UserSubspace สำหรับลักษณะการทำงานแบบติดตาม ซึ่งช่วยให้มั่นใจได้ว่าเนื้อหาจะยังคงอยู่ในมุมมองของผู้ใช้ไม่ว่าผู้ใช้จะมองไปที่ใด นอกจากนี้ คุณยังใช้ภาพเคลื่อนไหวเชิงพื้นที่เพื่อการเปลี่ยนผ่านที่ราบรื่น เช่น การเลื่อนหรือการจางได้ด้วย และเพื่อรองรับระบบนิเวศที่ขยายตัวของอุปกรณ์ที่สมจริงซึ่งมีความสามารถในการแสดงผลที่หลากหลาย ตอนนี้คุณสามารถระบุขนาดเลย์เอาต์เป็นเศษส่วนของขอบเขตการมองเห็นที่ผู้ใช้รู้สึกสบายได้แล้ว

ใน Material Design สำหรับ XR คอมโพเนนต์ใหม่จะปรับเปลี่ยนเชิงพื้นที่โดยอัตโนมัติผ่านการลบล้าง ซึ่งรวมถึงกล่องโต้ตอบที่ยกระดับเชิงพื้นที่ และแถบนำทางที่ปรากฏเป็น Orbiter นอกจากนี้ ยังมีคอมโพเนนต์ SpaceToggleButton ใหม่ที่ช่วยให้เปลี่ยนไปมาระหว่างพื้นที่ทำงานแบบเต็มกับแบบย่อได้ง่ายๆ

และใน ARCore สำหรับ Jetpack XR เราได้เพิ่มความสามารถในการรับรู้ใหม่ๆ ซึ่งรวมถึงการติดตามใบหน้าที่มีค่า Blendshape 68 ค่า ซึ่งจะเปิดโลกแห่งการแสดงสีหน้า นอกจากนี้ คุณยังใช้การติดตามดวงตาเพื่อขับเคลื่อนอวาตาร์เสมือน และแผนที่ความลึกเพื่อเปิดใช้การโต้ตอบที่สมจริงยิ่งขึ้นกับสภาพแวดล้อมของผู้ใช้ได้ด้วย

สำหรับอุปกรณ์อย่าง Project Aura จาก XREAL เราจะเปิดตัวโปรแกรมจำลองแว่นตา XR ใน Android Studio เครื่องมือที่จำเป็นนี้ออกแบบมาเพื่อให้คุณเห็นภาพเนื้อหาที่ถูกต้อง พร้อมทั้งจับคู่ข้อกำหนดของอุปกรณ์จริงสำหรับขอบเขตการมองเห็น (FoV), ความละเอียด และ DPI เพื่อเร่งการพัฒนา

หากคุณสร้างประสบการณ์การใช้งานที่สมจริงด้วย Unity เราจะขยายความสามารถในการรับรู้ของคุณใน Android XR SDK สำหรับ Unity ด้วย นอกจากการแก้ไขข้อบกพร่องและการปรับปรุงอื่นๆ อีกมากมายแล้ว เรายังขยายความสามารถในการติดตามให้ครอบคลุมถึงคิวอาร์โค้ดและโค้ด ArUco, รูปภาพระนาบ และการติดตามร่างกาย (ทดลอง) นอกจากนี้ เรายังเปิดตัวฟีเจอร์ที่ผู้ใช้ขอมาเป็นจำนวนมาก นั่นก็คือการผสานฉาก ซึ่งช่วยให้คุณโต้ตอบกับสภาพแวดล้อมของผู้ใช้ได้ลึกซึ้งยิ่งขึ้น โดยตอนนี้เนื้อหาดิจิทัลสามารถกระดอนจากผนังและปีนขึ้นไปบนโซฟาได้แล้ว

และนี่เป็นเพียงส่วนเล็กๆ เท่านั้น ดูข้อมูลเพิ่มเติมได้ที่หน้าประสบการณ์การใช้งานแบบสมจริง

เริ่มต้นใช้งานวันนี้เลย

เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ Android XR SDK 3 พร้อมให้บริการแล้ววันนี้ ดาวน์โหลด Android Studio Canary เวอร์ชันล่าสุด (Otter 3, Canary 4 ขึ้นไป) และอัปเกรดเป็นโปรแกรมจำลองเวอร์ชันล่าสุด (36.4.3 Canary ขึ้นไป) จากนั้นไปที่ developer.android.com/xr เพื่อเริ่มต้นใช้งานไลบรารีและตัวอย่างล่าสุดที่คุณต้องใช้ในการสร้างสำหรับอุปกรณ์ Android XR ที่มีให้เลือกมากขึ้น เรากำลังสร้าง Android XR ไปพร้อมกับคุณ อย่าลืมแชร์ความคิดเห็น ข้อเสนอแนะ และไอเดียกับทีมของเราเมื่อคุณก้าวหน้าไปในเส้นทาง Android XR