Android XR, Geospatial API, और Gemini की मदद से, मिक्स्ड रिएलिटी टूर गाइड बनाना

इस साल के Google I/O में, हमने स्पेशल एक्सपीरियंस के लिए एक अपडेट का एलान किया था: Geospatial API अब ARCore for Jetpack XR में प्रीव्यू के तौर पर उपलब्ध है. Android XR में Google का विज़ुअल पोज़िशनिंग सिस्टम (वीपीए) उपलब्ध है. इसकी मदद से, Android XR, डिजिटल कॉन्टेंट को असल दुनिया से जोड़ता है. यह काम, उन इलाकों में सब-मीटर की सटीक दूरी और सटीक ओरिएंटेशन के साथ किया जाता है जहां यह सुविधा काम करती है.* जियोस्पेशल एपीआई की मदद से क्या-क्या किया जा सकता है, यह दिखाने के लिए हमारी टीम ने एक डेमो बनाया है: XR Geospatial Tour.

कल्पना करें कि आप किसी नए शहर में घूम रहे हैं. आपने तार वाले एक्सआर स्मार्ट ग्लास (जैसे कि आने वाला XREAL Project Aura) पहने हैं. इसके बाद, आपको तुरंत एक जानकार और स्थानीय गाइड मिल जाती है, जो आपको शहर के बारे में बताती है. आपको 2D मैप को देखने की ज़रूरत नहीं है. इसके बजाय, 3D मॉडल आपको रास्ते के बारे में बताते हैं. साथ ही, एक स्मार्ट वॉइस आपको ऐतिहासिक जगहों के बारे में जानकारी देती है. हमने जियोस्पेशल एपीआई, Firebase AI Logic का इस्तेमाल करने वाला Gemini API, Google Maps Grounding, और Jetpack XR SDK को मिलाकर, बिना हाथ का इस्तेमाल किए चलने के दौरान टूर का शानदार अनुभव देने वाला ऐप्लिकेशन बनाया है.

डिसक्लेमर: वीडियो और टूर गाइड ऐप्लिकेशन सिर्फ़ दिखाने के लिए हैं. कुछ सीक्वेंस की अवधि कम कर दी गई है. दिखाया गया कोई भी हार्डवेयर, डेवलपमेंट के चरण में हो सकता है. प्रॉडक्ट की फ़ाइनल जानकारी अलग हो सकती है.

आइए, हम आपको इन एपीआई को लागू करने के बारे में जानकारी देते हैं. साथ ही, यह भी बताते हैं कि हमने इन एपीआई को एक साथ इस्तेमाल करके, दुनिया भर के लोगों के लिए स्पेशल अनुभव कैसे बनाया.

1. ARCore Geospatial API (VPS) की मदद से उपयोगकर्ता की सटीक जगह की जानकारी पाना

जीपीएस और वीपीएस की मदद से, XR पर नेविगेशन के अनुभव को बेहतर बनाएं. वीपीएस की मदद से, सटीक जानकारी और ओरिएंटेशन मिलता है. इससे 3D वेपॉइंट को असल दुनिया के साथ अलाइन किया जा सकता है.

इसलिए, Android XR पर Geospatial API की मदद से, अपनी पसंद के मुताबिक अनुभव बनाए जा सकते हैं. वीपीएस, अडवांस कंप्यूटर विज़न का इस्तेमाल करके, जीपीएस की तुलना में ज़्यादा सटीक GeospatialPose (इसमें अक्षांश, देशांतर, और हेडिंग शामिल है) उपलब्ध कराने की कोशिश करता है.

यहां बताया गया है कि हम डिवाइस के ओरिएंटेशन को जियोस्पेशल कोऑर्डिनेट पर मैप करके, उपयोगकर्ता की जियोस्पेशल पोज़ की जानकारी कैसे पाते हैं:

// Retrieve the current geospatial pose from the ARCore session
val result = geospatial.createGeospatialPoseFromPose(arDevice.state.value.devicePose)
if (result is CreateGeospatialPoseFromPoseSuccess) {
    val pose = result.pose
    Log.d("VPS", "Accurate Location: ${pose.latitude}, ${pose.longitude}")
}

इस सुविधा के काम करने के लिए, horizontalAccuracy और orientationYawAccuracy का सटीक होना ज़रूरी है. इसलिए, हम इन पर तब तक नज़र रखते हैं, जब तक ये हमारे थ्रेशोल्ड को पूरा नहीं कर लेते. अगर उपयोगकर्ता घर के अंदर है या किसी ऐसी जगह पर है जिसकी पहचान नहीं हो पा रही है, तो हम उसे "किसी सार्वजनिक जगह पर जाएं और आस-पास देखें" का सुझाव देते हैं.

2. Gemini API और Google Maps Grounding की मदद से यात्रा की योजना बनाना

जगह की जानकारी मिलने के बाद, हम Firebase AI Logic का इस्तेमाल करने वाले Gemini API का इस्तेमाल करते हैं. इससे Gemini मॉडल को लोकल टूर गाइड के तौर पर काम करने का प्रॉम्प्ट मिलता है. हम उपयोगकर्ता के निर्देशांकों को मॉडल को भेजते हैं और उससे आस-पास की पैदल यात्राओं के बारे में स्ट्रक्चर्ड JSON फ़ॉर्मैट में जवाब देने के लिए कहते हैं:

   val configForTools = ToolConfig(
      functionCallingConfig = null,
      retrievalConfig = retrievalConfig {
        latLng = FirebaseLatLng(pose.latitude, pose.longitude)
        languageCode = "en"
      }
    )

    val responseJsonSchema = Schema.obj(
      mapOf(
        "locationIntro" to Schema.string(),
        "tours" to Schema.array(
          Schema.obj(
            mapOf(
              "title" to Schema.string(),
              "description" to Schema.string(),
              "stops" to Schema.array(
                Schema.obj(
                  mapOf(
                    "name" to Schema.string(),
                    "detailedName" to Schema.string(),
                    "description" to Schema.string()
                  )
                )
              )
            )
          )
        )
      )
    )

    val model = Firebase.ai(backend = GenerativeBackend.googleAI()).generativeModel(
      modelName = "gemini-3.5-flash",
      tools = listOf(Tool.googleMaps()),
      generationConfig = generationConfig {
        responseMimeType = "application/json"
        responseSchema = responseJsonSchema
      }
    )

   val result = model.generateContent("The user is at latitude ${pose.latitude} and longitude ${pose.longitude}. Generate exactly 3 diverse tours near this location (e.g., historical, food, nature). All tour ideas should be walking distance only.")

लार्ज लैंग्वेज मॉडल, बेहतर जानकारी जनरेट करने में काफ़ी मददगार होते हैं. हालांकि, कभी-कभी ये अक्षांश/देशांतर के सटीक निर्देशांकों की गलत जानकारी दे सकते हैं. इस समस्या को हल करने के लिए, हमने एआई को Google Maps से जानकारी लेने की सुविधा का इस्तेमाल करके जानकारी दी.

3. आपकी मदद के लिए आवाज़: Gemini 2.5 TTS

टूर गाइड को असल में मौजूद दिखाने के लिए, हमने डाइनैमिक वॉइसओवर की सुविधा लागू की है.

gemini-2.5-flash-tts model का इस्तेमाल करके, हम अपने मॉडल जनरेशन कॉन्फ़िगरेशन को कॉन्फ़िगर कर सकते हैं, ताकि वह सिर्फ़ टेक्स्ट के बजाय ऑडियो डेटा भी दिखा सके! ResponseModality.AUDIO के लिए अनुरोध करने का तरीका यहां बताया गया है:

val ttsModel = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-2.5-flash-tts",
        generationConfig = generationConfig {
            // Instruct the model to return Audio
            responseModalities = listOf(ResponseModality.AUDIO)
        }
    )

val response = ttsModel.generateContent("Say in a neutral but positive voice:\n$prompt")

// Extract the raw audio bytes from the response
val audioBytes = response.candidates.firstOrNull()?.content?.parts
    ?.filterIsInstance<InlineDataPart>()
    ?.firstOrNull { it.mimeType.contains("audio") }?.inlineData

4. Jetpack XR की मदद से, 3D में बेहतर तरीके से दिखाना

पज़ल का आखिरी हिस्सा, इस डेटा को उपयोगकर्ता के फ़ील्ड ऑफ़ व्यू में रेंडर करना है. Jetpack XR SDK की मदद से, 2D Android यूज़र इंटरफ़ेस (यूआई) से स्पेशल कंप्यूटिंग पर आसानी से स्विच किया जा सकता है.

हमने स्पेशल कॉम्पोनेंट बनाने के लिए, XR के लिए Jetpack Compose का इस्तेमाल किया. टूर के दौरान दिलचस्पी की जगहों को दिखाने के लिए, हमने InfoSphere नाम का एक कंपोज़ेबल बनाया है. इसमें 3D ऑर्ब का GltfModel होता है, जो स्पेस में तैरता है. इसके साथ इंटरैक्ट करके जानकारी देखी जा सकती है.

Jetpack XR SDK का इस्तेमाल करके, हम 3D मॉडल को Compose यूज़र इंटरफ़ेस (यूआई) के साथ रख सकते हैं. इसके लिए, हमें SpatialBox और SceneCoreEntity का इस्तेमाल करना होगा. हमने उपयोगकर्ता के टैप का जवाब देने के लिए, InteractableComponent का भी इस्तेमाल किया.

पारंपरिक Compose UI प्लैटफ़ॉर्म के लिए AnimatedSpatialVisibility को SceneCoreEntity 3D एलिमेंट के साथ जोड़कर, हम डेटा को आसानी से असल दुनिया में ब्लेंड कर सकते हैं.

@Composable
fun InfoSphere(
    content: InfoBubbleContent,
    session: Session,
    sphereModel: GltfModel,
    isSelected: Boolean,
    onClick: () -> Unit
) {
    // SpatialBox lets us arrange 3D components and SpatialPanels together
    SpatialBox(
        SubspaceModifier
            .offset(x = 2.dp, y = 1.dp, z = (-3).dp) // Positioned in 3D space
    ) {
        // Smoothly animate the visibility of our 2D Compose UI Panel
        AnimatedSpatialVisibility(visible = isSelected) {
            SpatialPanel {
                InfoBubble(content) // Regular 2D Compose UI
            }
        }
        // Render our interactive 3D sphere
        SceneCoreEntity(
            factory = {
                GltfModelEntity.create(session, sphereModel).also { entity ->
                    // Make the 3D model respond to user taps
                    entity.addComponent(InteractableComponent.create(session) { inputEvent ->
                        if (inputEvent.action == InputEvent.Action.UP) {
                            onClick()
                        }
                    })
                }
            }
        )
    }
}

जानें कि Android XR की मदद से आज क्या-क्या किया जा सकता है

एक्सआर जियोस्पेशल टूर ऐप्लिकेशन बनाने से हमें पता चला कि दुनिया भर में स्पेशल एक्सपीरियंस देने वाले ऐप्लिकेशन बनाने के लिए, Android डेवलपर को पहले की तुलना में कम चुनौतियों का सामना करना पड़ता है. Android XR पर Geospatial API का प्रीव्यू उपलब्ध है. इससे आपके ऐप्लिकेशन, अपने आस-पास की असल दुनिया को आसानी से समझ सकते हैं. Compose for XR के एपीआई को वीपीएस के सटीक जगह की जानकारी का डेटा और Gemini की जनरेटिव क्षमताओं के साथ जोड़कर, हम ऐसे अनुभव बना सकते हैं जो यह समझ सकें कि उपयोगकर्ता कहां है और वह क्या देख रहा है.

Android XR का इस्तेमाल करने में आपकी मदद करने के लिए, हमें Android XR डेवलपर कैटलिस्ट प्रोग्राम के लिए आवेदन स्वीकार करते हुए खुशी हो रही है. इसमें XREAL Project Aura शामिल है. आज से, XREAL Project Aura devkit या डिसप्ले ग्लास devkit का ऐक्सेस पाने के लिए आवेदन किया जा सकता है. यह ऐक्सेस आपको आने वाले महीनों में मिलेगा! 

*डिसक्लेमर: यह सुविधा चुनिंदा डिवाइसों पर उपलब्ध है. इंटरनेट कनेक्शन ज़रूरी है. इस सुविधा का इस्तेमाल उन ऐप्लिकेशन और प्लैटफ़ॉर्म पर किया जा सकता है जो इसके साथ काम करते हैं. नतीजे अलग-अलग हो सकते हैं.