ข่าวสารผลิตภัณฑ์

สร้างแอปสำหรับแว่นตา AI ด้วย Android XR SDK เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 และปลดล็อกฟีเจอร์ใหม่ๆ เพื่อประสบการณ์การใช้งานที่สมจริง

ใช้เวลาอ่าน 4 นาที
Matthew McCullough
รองประธานฝ่ายการจัดการผลิตภัณฑ์ของ Android Developer

ในเดือนตุลาคม Samsung ได้เปิดตัว Galaxy XR ซึ่งเป็นอุปกรณ์เครื่องแรกที่ขับเคลื่อนโดย Android XR และเราก็รู้สึกทึ่งกับสิ่งที่พวกคุณบางคนสร้างขึ้นมา นักพัฒนาแอปบางรายได้กล่าวถึงเส้นทางการเข้าสู่โลกของ Android XR ไว้ดังนี้

Android XR เปิดโลกใหม่ให้เราสร้างแอป ทีมควรตั้งคำถามกับตัวเองว่าประสบการณ์การใช้งานเวอร์ชันที่ยิ่งใหญ่และกล้าหาญที่สุดที่คุณสร้างได้คืออะไร นี่คือโอกาสที่คุณจะได้ลงมือทำในสิ่งที่อยากทำมาตลอด เพราะตอนนี้คุณมีแพลตฟอร์มที่จะทำให้สิ่งนั้นเป็นจริงได้ - Kristen Coke, Calm, ผู้จัดการผลิตภัณฑ์อาวุโส

นอกจากนี้ คุณยังได้เห็นเราแชร์ภาพแรกของอุปกรณ์อื่นๆ ที่กำลังจะเปิดตัวซึ่งทำงานร่วมกับ Android XR เช่น Project Aura จาก XREAL และแว่นตาดีไซน์เก๋จาก Gentle Monster และ Warby Parker

เราขอประกาศเปิดตัวเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ Android XR SDK 3 เพื่อรองรับอุปกรณ์ XR ที่มีให้เลือกมากขึ้น

image.png

ในเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ Android XR SDK 3 นอกเหนือจากการสร้างประสบการณ์ที่สมจริงสำหรับอุปกรณ์ต่างๆ เช่น Galaxy XR แล้ว ตอนนี้คุณยังสร้างประสบการณ์ที่เพิ่มประสิทธิภาพสำหรับแว่นตา AI ที่กำลังจะเปิดตัวด้วย Android XR ได้ด้วย

เครื่องมือและไลบรารีใหม่สำหรับประสบการณ์การใช้งานแบบเพิ่มความเป็นจริง

ใน Developer Preview 3 เราจะปลดล็อกเครื่องมือและไลบรารีที่คุณต้องใช้ในการสร้างประสบการณ์การใช้งานความจริงเสริมอัจฉริยะแบบแฮนด์ฟรีสำหรับแว่นตา AI แว่นตา AI มีน้ำหนักเบาและพกพาสะดวก จึงใส่ได้ตลอดวัน คุณสามารถขยายแอปบนอุปกรณ์เคลื่อนที่ที่มีอยู่เพื่อใช้ประโยชน์จากลำโพง กล้อง และไมโครโฟนในตัว เพื่อมอบการโต้ตอบกับผู้ใช้แบบใหม่ที่รอบคอบและเป็นประโยชน์ การเพิ่มจอแสดงผลขนาดเล็กในแว่นตา AI ที่แสดงผลจะช่วยให้คุณนำเสนอข้อมูลต่อผู้ใช้ได้อย่างเป็นส่วนตัว แว่นตา AI เหมาะอย่างยิ่งสำหรับประสบการณ์ที่จะช่วยเพิ่มสมาธิและการรับรู้ของผู้ใช้ในโลกแห่งความเป็นจริง

image.png

เราขอแนะนำไลบรารีใหม่ 2 รายการที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะสำหรับ Jetpack XR SDK เพื่อขับเคลื่อนประสบการณ์การใช้งานแบบเพิ่มความเป็นจริงบนแว่นตา AI

  • Jetpack Projected - สร้างขึ้นเพื่อเชื่อมต่ออุปกรณ์เคลื่อนที่และแว่นตา AI ด้วยฟีเจอร์ที่ช่วยให้คุณเข้าถึงเซ็นเซอร์ ลำโพง และจอแสดงผลบนแว่นตาได้
  • Jetpack Compose Glimmer - ภาษาการออกแบบและคอมโพเนนต์ UI ใหม่สำหรับการสร้างและจัดรูปแบบประสบการณ์การใช้งานความจริงเสริมในแว่นตา AI ที่แสดงผล

Jetpack Compose Glimmer เป็นการสาธิตแนวทางปฏิบัติแนะนำในการออกแบบเพื่อประสบการณ์การมองเห็นแบบออปติคัลที่สวยงามและสมจริง Jetpack Compose Glimmer ได้รับการออกแบบมาเพื่อความชัดเจน ความสามารถในการอ่าน และการรบกวนน้อยที่สุด โดยมีคอมโพเนนต์ UI ที่เพิ่มประสิทธิภาพสำหรับรูปแบบการป้อนข้อมูลและข้อกำหนดด้านสไตล์ของแว่นตา AI ที่แสดงผล

image.png

เราขอแนะนำโปรแกรมจำลองแว่นตา AI ใน Android Studio เพื่อช่วยให้คุณเห็นภาพและทดสอบ UI แบบกะพริบของ Jetpack Compose โปรแกรมจำลองแว่นตา AI ใหม่สามารถจำลองการโต้ตอบเฉพาะของแว่นตา เช่น ทัชแพดและการป้อนข้อมูลด้วยเสียง 

AI Glasses Emulator.gif

นอกเหนือจากไลบรารี Jetpack Projected และ Jetpack Compose Glimmer ใหม่แล้ว เรายังขยาย ARCore สำหรับ Jetpack XR เพื่อรองรับแว่นตา AI ด้วย เราจะเริ่มต้นด้วยการติดตามการเคลื่อนไหวและความสามารถด้านข้อมูลเชิงพื้นที่สำหรับประสบการณ์การใช้งานแบบอาร์กิวเมนต์ ซึ่งเป็นฟีเจอร์ที่ช่วยให้คุณสร้างประสบการณ์การนำทางที่เป็นประโยชน์และเหมาะสำหรับอุปกรณ์ที่สวมใส่ได้ตลอดทั้งวัน เช่น แว่นตา AI

navigation.webp

ขยายการรองรับประสบการณ์สมจริง

เราจะลงทุนต่อไปในไลบรารีและเครื่องมือที่ขับเคลื่อนประสบการณ์ที่สมจริงสำหรับชุดหูฟัง XR เช่น Samsung Galaxy XR และแว่นตา XR แบบใช้สาย เช่น Project Aura จาก XREAL ที่กำลังจะเปิดตัว เรารับฟังความคิดเห็นของคุณและได้เพิ่มฟีเจอร์หลายอย่างที่มีการร้องขอเข้ามาเป็นจำนวนมากใน Jetpack XR SDK ตั้งแต่เวอร์ชันตัวอย่างสำหรับนักพัฒนา 2

Jetpack SceneCore มาพร้อมการโหลดโมเดล glTF แบบไดนามิกผ่าน URI และการรองรับวัสดุที่ได้รับการปรับปรุงสำหรับการสร้างวัสดุ PBR ใหม่ขณะรันไทม์ นอกจากนี้ คอมโพเนนต์ SurfaceEntity ยังได้รับการปรับปรุงให้รองรับการจัดการสิทธิ์ดิจิทัล (DRM) ของ Widevine อย่างเต็มรูปแบบและมีรูปร่างใหม่ ซึ่งช่วยให้แสดงวิดีโอ 360 องศาและ 180 องศาในทรงกลมและครึ่งทรงกลมได้

ใน Jetpack Compose สำหรับ XR คุณจะเห็นฟีเจอร์ใหม่ๆ เช่น คอมโพเนนต์ UserSubspace สำหรับลักษณะการทำงานแบบติดตาม ซึ่งช่วยให้มั่นใจได้ว่าเนื้อหาจะยังคงอยู่ในมุมมองของผู้ใช้ไม่ว่าผู้ใช้จะมองไปที่ใด นอกจากนี้ ตอนนี้คุณยังใช้ภาพเคลื่อนไหวเชิงพื้นที่เพื่อการเปลี่ยนผ่านที่ราบรื่น เช่น การเลื่อนหรือการจางได้ด้วย และเพื่อรองรับระบบนิเวศที่ขยายตัวของอุปกรณ์ที่สมจริงซึ่งมีความสามารถในการแสดงผลที่หลากหลาย ตอนนี้คุณสามารถระบุขนาดเลย์เอาต์เป็นเศษส่วนของขอบเขตการมองเห็นที่ผู้ใช้มองเห็นได้อย่างสบายตา

ใน Material Design สำหรับ XR คอมโพเนนต์ใหม่จะปรับเปลี่ยนเชิงพื้นที่โดยอัตโนมัติผ่านการลบล้าง ซึ่งรวมถึงกล่องโต้ตอบที่ยกระดับเชิงพื้นที่ และแถบนำทางที่ปรากฏขึ้นใน Orbiter นอกจากนี้ ยังมีคอมโพเนนต์ SpaceToggleButton ใหม่สำหรับการเปลี่ยนไปใช้และออกจากพื้นที่ทำงานแบบเต็มได้อย่างง่ายดาย


และใน ARCore สำหรับ Jetpack XR เราได้เพิ่มความสามารถในการรับรู้ใหม่ๆ ซึ่งรวมถึงการติดตามใบหน้าด้วยค่า Blendshape 68 ค่าที่จะเปิดโลกแห่งการแสดงสีหน้า นอกจากนี้ คุณยังใช้การติดตามดวงตาเพื่อขับเคลื่อนอวาตาร์เสมือน และแผนที่ความลึกเพื่อเปิดใช้การโต้ตอบที่สมจริงยิ่งขึ้นกับสภาพแวดล้อมของผู้ใช้ได้ด้วย

สำหรับอุปกรณ์อย่าง Project Aura จาก XREAL เราจะเปิดตัวโปรแกรมจำลองแว่นตา XR ใน Android Studio เครื่องมือที่จำเป็นนี้ออกแบบมาเพื่อให้คุณเห็นภาพเนื้อหาที่ถูกต้อง พร้อมทั้งจับคู่ข้อกำหนดของอุปกรณ์จริงสำหรับขอบเขตการมองเห็น (FoV), ความละเอียด และ DPI เพื่อเร่งการพัฒนา

xrglasses-emulator-haxr-cropped.webp

หากคุณสร้างประสบการณ์การใช้งานที่สมจริงด้วย Unity เราจะขยายความสามารถในการรับรู้ของคุณใน Android XR SDK สำหรับ Unity ด้วย นอกจากการแก้ไขข้อบกพร่องและการปรับปรุงอื่นๆ อีกมากมายแล้ว เรายังขยายความสามารถในการติดตามให้ครอบคลุมถึงคิวอาร์โค้ดและโค้ด ArUco, รูปภาพระนาบ และการติดตามร่างกาย (ทดลอง) นอกจากนี้ เรายังเปิดตัวฟีเจอร์ที่ได้รับคำขอเป็นจำนวนมาก นั่นก็คือการผสานฉาก ซึ่งจะช่วยให้คุณโต้ตอบกับสภาพแวดล้อมของผู้ใช้ได้ลึกซึ้งยิ่งขึ้น โดยตอนนี้เนื้อหาดิจิทัลของคุณสามารถกระดอนจากผนังและปีนขึ้นไปบนโซฟาได้แล้ว

และนี่เป็นเพียงส่วนเล็กๆ เท่านั้น โปรดดูข้อมูลเพิ่มเติมในหน้าประสบการณ์การใช้งานแบบสมจริง

เริ่มต้นใช้งานวันนี้เลย

เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ Android XR SDK 3 พร้อมให้บริการแล้ววันนี้ ดาวน์โหลด Android Studio Canary เวอร์ชันล่าสุด (Otter 3, Canary 4 ขึ้นไป) และอัปเกรดเป็นโปรแกรมจำลองเวอร์ชันล่าสุด (36.4.3 Canary ขึ้นไป) จากนั้นไปที่ developer.android.com/xr เพื่อเริ่มต้นใช้งานไลบรารีและตัวอย่างล่าสุดที่คุณต้องใช้ในการสร้างสำหรับอุปกรณ์ Android XR ที่มีให้เลือกมากขึ้น เรากำลังสร้าง Android XR ไปพร้อมกับคุณ อย่าลืมแชร์ความคิดเห็น ข้อเสนอแนะ และไอเดียกับทีมของเราในระหว่างที่คุณก้าวหน้าไปในเส้นทาง Android XR

เขียนโดย

อ่านต่อ