ข่าวผลิตภัณฑ์

สร้างแอปสำหรับแว่นตา AI ด้วย Android XR SDK เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 และปลดล็อกฟีเจอร์ใหม่สำหรับประสบการณ์การใช้งานที่สมจริงยิ่งขึ้น

ใช้เวลาอ่าน 4 นาที
Matthew McCullough
รองประธานฝ่ายการจัดการผลิตภัณฑ์ นักพัฒนาแอป Android

ในเดือนตุลาคม Samsung ได้เปิดตัว Galaxy XR ซึ่งเป็นอุปกรณ์เครื่องแรกที่ขับเคลื่อนโดย Android XR และเรายินดีเป็นอย่างยิ่งที่ได้เห็นผลงานที่บางท่านสร้างขึ้น นี่คือสิ่งที่นักพัฒนาแอปบางรายพูดถึงเส้นทางการพัฒนาแอปสำหรับ Android XR

Android XR ได้มอบโลกใหม่ทั้งหมดให้เราสร้างแอป ทีมควรถามตัวเองว่า "ประสบการณ์การใช้งานเวอร์ชันที่ยิ่งใหญ่และโดดเด่นที่สุดที่คุณสร้างได้คืออะไร" นี่คือโอกาสที่คุณจะได้ลงมือทำในสิ่งที่อยากทำมาตลอด เพราะตอนนี้คุณมีแพลตฟอร์มที่ทำให้สิ่งนั้นเป็นจริงได้แล้ว - Kristen Coke, Calm, ผู้จัดการผลิตภัณฑ์อาวุโส

นอกจากนี้ คุณยังได้เห็นเราแชร์ข้อมูลเบื้องต้นเกี่ยวกับอุปกรณ์อื่นๆ ที่กำลังจะเปิดตัวซึ่งทำงานร่วมกับ Android XR เช่น Project Aura จาก XREAL และ แว่นตาสุดเก๋ จาก Gentle Monster และ Warby Parker

เราขอประกาศเปิดตัว Android XR SDK เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 เพื่อรองรับอุปกรณ์ XR ที่มีให้เลือกมากขึ้น

image.png

Android XR SDK เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 ไม่เพียงช่วยให้คุณสร้างประสบการณ์ที่สมจริง สำหรับอุปกรณ์ต่างๆ เช่น Galaxy XR แต่ยังช่วยให้คุณสร้างประสบการณ์ความจริงเสริม สำหรับแว่นตา AI ที่กำลังจะเปิดตัวซึ่งทำงานร่วมกับ Android XR ได้ด้วย

เครื่องมือและไลบรารีใหม่สำหรับประสบการณ์การใช้งานความจริงเสริม

ในเวอร์ชันตัวอย่างสำหรับนักพัฒนาแอป 3 เราได้ปลดล็อกเครื่องมือและไลบรารีที่คุณต้องใช้เพื่อสร้างประสบการณ์การใช้งานความจริงเสริมที่ชาญฉลาดและไม่ต้องใช้มือสำหรับแว่นตา AI แว่นตา AI มีน้ำหนักเบาและพกพาสะดวก จึงใส่ได้ตลอดวัน คุณสามารถขยายแอปบนอุปกรณ์เคลื่อนที่ที่มีอยู่เพื่อใช้ประโยชน์จากลำโพง กล้อง และไมโครโฟนในตัวเพื่อมอบการโต้ตอบกับผู้ใช้แบบใหม่ที่รอบคอบและเป็นประโยชน์ นอกจากนี้ คุณยังสามารถนำเสนอข้อมูลต่อผู้ใช้แบบส่วนตัวได้ด้วยการเพิ่มจอแสดงผลขนาดเล็กในแว่นตา AI ที่มีจอแสดงผล แว่นตา AI เหมาะอย่างยิ่งสำหรับประสบการณ์การใช้งานที่ช่วยเพิ่มสมาธิและความรู้สึกถึงการมีอยู่ของผู้ใช้ในโลกแห่งความเป็นจริง

image.png

เราขอแนะนำไลบรารีใหม่ 2 รายการที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะสำหรับ Jetpack XR SDK เพื่อขับเคลื่อนประสบการณ์การใช้งานความจริงเสริมในแว่นตา AI

  • Jetpack Projected - สร้างขึ้นเพื่อเชื่อมอุปกรณ์เคลื่อนที่และแว่นตา AI ด้วยฟีเจอร์ที่ช่วยให้คุณเข้าถึงเซ็นเซอร์ ลำโพง และจอแสดงผลในแว่นตาได้
  • Jetpack Compose Glimmer - ภาษาการออกแบบและคอมโพเนนต์ UI ใหม่สำหรับการสร้างและจัดสไตล์ประสบการณ์การใช้งานความจริงเสริมในแว่นตา AI ที่มีจอแสดงผล

Jetpack Compose Glimmer เป็นการสาธิตแนวทางปฏิบัติแนะนำด้านการออกแบบสำหรับประสบการณ์การใช้งานความจริงเสริมแบบมองทะลุได้ที่สวยงาม Jetpack Compose Glimmer ได้รับการออกแบบมาเพื่อความชัดเจน อ่านง่าย และรบกวนน้อยที่สุด โดยมีคอมโพเนนต์ UI ที่ปรับให้เหมาะกับรูปแบบการป้อนข้อมูลและข้อกำหนดด้านการจัดสไตล์ของแว่นตา AI ที่มีจอแสดงผล

image.png

เราขอแนะนำโปรแกรมจำลองแว่นตา AI ใน Android Studio เพื่อช่วยให้คุณเห็นภาพและทดสอบ UI ของ Jetpack Compose Glimmer โปรแกรมจำลองแว่นตา AI ใหม่สามารถจำลองการโต้ตอบเฉพาะของแว่นตา เช่น ทัชแพดและการป้อนข้อมูลด้วยเสียง

AI Glasses Emulator.gif

นอกเหนือจากไลบรารี Jetpack Projected และ Jetpack Compose Glimmer ใหม่แล้ว เรายังขยาย ARCore สำหรับ Jetpack XR เพื่อรองรับแว่นตา AI ด้วย เราจะเริ่มต้นด้วยความสามารถในการติดตามการเคลื่อนไหวและความสามารถด้านภูมิสารสนเทศสำหรับประสบการณ์การใช้งานความจริงเสริม ซึ่งเป็นฟีเจอร์ที่ช่วยให้คุณสร้างประสบการณ์การใช้งานการนำทางที่เป็นประโยชน์และเหมาะสำหรับอุปกรณ์ที่ใส่ได้ตลอดวัน เช่น แว่นตา AI

navigation.webp

การขยายการสนับสนุนสำหรับประสบการณ์การใช้งานที่สมจริงยิ่งขึ้น

เรายังคงลงทุนในไลบรารีและเครื่องมือที่ขับเคลื่อนประสบการณ์การใช้งานที่สมจริงยิ่งขึ้นสำหรับชุดหูฟัง XR เช่น Samsung Galaxy XR และแว่นตา XR แบบใช้สาย เช่น Project Aura ที่กำลังจะเปิดตัวจาก XREAL เราได้รับฟังความคิดเห็นของคุณและได้เพิ่มฟีเจอร์ที่ได้รับการร้องขอจำนวนมากใน Jetpack XR SDK ตั้งแต่เวอร์ชันตัวอย่างสำหรับนักพัฒนาแอป 2

Jetpack SceneCore  ตอนนี้มีฟีเจอร์การโหลดโมเดล glTF แบบไดนามิกผ่าน URI และการรองรับวัสดุ ที่ดีขึ้นสำหรับการสร้างวัสดุ PBR ใหม่ในรันไทม์ นอกจากนี้ คอมโพเนนต์ SurfaceEntity ยังได้รับการ ปรับปรุงด้วยการรองรับ Widevine การจัดการสิทธิ์ดิจิทัล (DRM) แบบเต็มและรูปทรงใหม่ ซึ่งช่วยให้ แสดงวิดีโอ 360 องศาและ 180 องศา ในทรงกลมและครึ่งทรงกลมได้

ใน Jetpack Compose for XR คุณจะเห็นฟีเจอร์ใหม่ๆ เช่น คอมโพเนนต์ UserSubspace สำหรับลักษณะการทำงานแบบติดตาม ซึ่งช่วยให้มั่นใจได้ว่าเนื้อหาจะยังคงอยู่ในมุมมองของผู้ใช้ไม่ว่าผู้ใช้จะมองไปทางไหนก็ตาม นอกจากนี้ ตอนนี้คุณยังใช้ภาพเคลื่อนไหวเชิงมิติพื้นที่สำหรับการเปลี่ยนภาพที่ราบรื่น เช่น การเลื่อนหรือการจางได้แล้ว และเพื่อรองรับระบบนิเวศที่ขยายตัวของอุปกรณ์ที่สมจริงยิ่งขึ้นซึ่งมีความสามารถในการแสดงผลที่หลากหลาย ตอนนี้คุณสามารถระบุขนาดเลย์เอาต์เป็นเศษส่วนของขอบเขตการมองเห็นที่สบายตาของผู้ใช้ได้แล้ว

ใน Material Design for XR คอมโพเนนต์ใหม่จะปรับให้เหมาะกับมิติพื้นที่โดยอัตโนมัติผ่าน การลบล้าง ซึ่งรวมถึงกล่องโต้ตอบที่ยกระดับมิติพื้นที่และแถบการนำทางที่ปรากฏขึ้นใน Orbiter นอกจากนี้ ยังมีคอมโพเนนต์ SpaceToggleButton ใหม่สำหรับการเปลี่ยนไปใช้และออกจากพื้นที่เต็มได้อย่างง่ายดาย


และใน ARCore สำหรับ Jetpack XR เราได้เพิ่มความสามารถในการรับรู้ใหม่ๆ ซึ่งรวมถึง การติดตามใบหน้า ด้วยค่า Blendshape 68 ค่าที่ปลดล็อกโลกแห่งท่าทางบนใบหน้า นอกจากนี้ คุณยังใช้การติดตามดวงตาเพื่อขับเคลื่อนอวตาร์เสมือนจริง และใช้แผนที่ความลึกเพื่อโต้ตอบกับสภาพแวดล้อมของผู้ใช้ได้อย่างสมจริงยิ่งขึ้นได้ด้วย

สำหรับอุปกรณ์ต่างๆ เช่น Project Aura จาก XREAL เราขอแนะนำโปรแกรมจำลองแว่นตา XR ใน Android Studio เครื่องมือที่จำเป็นนี้ได้รับการออกแบบมาเพื่อให้คุณเห็นภาพเนื้อหาได้อย่างถูกต้องแม่นยำ พร้อมทั้งตรงตามข้อกำหนดของอุปกรณ์จริงสำหรับขอบเขตการมองเห็น (FoV), ความละเอียด และ DPI เพื่อเร่งการพัฒนา

xrglasses-emulator-haxr-cropped.webp

หากคุณสร้างประสบการณ์การใช้งานที่สมจริงยิ่งขึ้นด้วย Unity เรายังขยายความสามารถในการรับรู้ของคุณใน Android XR SDK สำหรับ Unity ด้วย นอกเหนือจากการแก้ไขข้อบกพร่องและการปรับปรุงอื่นๆ มากมายแล้ว เรายังขยายความสามารถในการติดตามให้ครอบคลุมถึงคิวอาร์โค้ดและโค้ด ArUco, รูปภาพระนาบ และการติดตามร่างกาย (เวอร์ชันทดลอง) นอกจากนี้ เรายังขอแนะนำฟีเจอร์ที่ได้รับการร้องขอจำนวนมาก นั่นคือ การสร้างตาข่ายฉาก ซึ่งช่วยให้คุณโต้ตอบกับสภาพแวดล้อมของผู้ใช้ได้ลึกซึ้งยิ่งขึ้น โดยตอนนี้เนื้อหาดิจิทัลของคุณสามารถกระดอนออกจากผนังและปีนขึ้นไปบนโซฟาได้แล้ว

และนี่เป็นเพียงส่วนหนึ่งเท่านั้น โปรดดูข้อมูลเพิ่มเติมในหน้าประสบการณ์การใช้งานที่สมจริงยิ่งขึ้น

เริ่มต้นใช้งานได้แล้ววันนี้

Android XR SDK เวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ 3 พร้อมให้บริการแล้ววันนี้ ดาวน์โหลด Android Studio Canary เวอร์ชันล่าสุด (Otter 3, Canary 4 ขึ้นไป) และอัปเกรดเป็นโปรแกรมจำลองเวอร์ชันล่าสุด (36.4.3 Canary ขึ้นไป) จากนั้นไปที่ developer.android.com/xr เพื่อเริ่มต้นใช้งานไลบรารีและตัวอย่างล่าสุดที่คุณต้องใช้เพื่อสร้างแอปสำหรับอุปกรณ์ Android XR ที่มีให้เลือกมากขึ้น เราจะสร้าง Android XR ไปพร้อมกับคุณ อย่าลืมแชร์ความคิดเห็น ข้อเสนอแนะ และแนวคิดกับทีมของเราเมื่อคุณพัฒนาแอปสำหรับ Android XR

เขียนโดย

อ่านต่อ