ML Kit और Gemini Nano की मदद से, Android पर फ़ॉर्मूला ई को-ड्राइवर बनाना

नमस्ते.

मेरा नाम एलिस्टर है. आज मुझे आपके साथ एक प्रोजेक्ट के बारे में बात करके बहुत खुशी हो रही है. यह प्रोजेक्ट हमने पिछले साल Formula E के साथ शुरू किया था.

आज हमारे साथ ओली भी हैं. वे हमें बताएंगे कि हमने साथ मिलकर क्या किया.

मैं Google Cloud में सीटीओ के ऑफ़िस में काम करता हूं. हम अक्सर यह कोशिश करते हैं कि आज के समय में मोबाइल और क्लाउड पर क्या-क्या किया जा सकता है. साथ ही, ये दोनों एक साथ कैसे काम कर सकते हैं.

मैं आपको एक छोटा सा वीडियो दिखाऊंगा. इससे आपको इस बारे में थोड़ी जानकारी मिलेगी कि हमने क्या किया.

चौथी जनरेशन की कार में 600 किलोवॉट की पावर है.

पूरी तरह से इलेक्ट्रिक पावर, परमानेंट ऑल-व्हील ड्राइव.

मैं इसे बहुत तेज़ कहूंगा.

क्या हम Pixel फ़ोन पर किसी एजेंट का इस्तेमाल कर सकते हैं, जो कार से मिलने वाले टेलीमेट्री डेटा से कनेक्ट हो?

जब ड्राइवर, गुडवुड में पहाड़ी पर चढ़ेगा, तो वह कार से बात कर पाएगा.

यह तो बहुत अच्छी बात है!

नमस्ते Gemma, मेरी गाड़ी के टायर कैसे हैं?

टायर में हवा का दबाव ठीक है, करीब 1.4 बार.

एक फ़ोन सीधे ईसीयू में प्लग किया गया है. यह फ़ोन, ड्राइवर के तौर पर मेरी हर गतिविधि के डेटा पॉइंट को पढ़ रहा है.

यह पहली बार है, जब किसी रेस कार में ऐसा हुआ है.

मुझे लगता है कि इसे दिखाने के लिए, इससे बेहतर कोई और जगह नहीं है.

नमस्ते Gemma, क्या हम तैयार हैं?

आपके साथ ही तैयार रहता है.

इसलिए, हमने वहां एक प्रोजेक्ट देखा. इसमें हम ड्राइवर के साथ कॉकपिट में को-ड्राइवर एजेंट को लाने की कोशिश करना चाहते थे.

हमारा मकसद, डिवाइस पर मौजूद एआई एजेंट की क्षमताओं को बढ़ाना है. यह एक मुश्किल चुनौती का बेहतरीन उदाहरण है.

रेस कार में आपको जिस तरह की चुनौतियां देखने को मिलती हैं उनमें से एक है, बहुत ज़्यादा गर्मी.

रेस कारें गर्म होने के लिए बदनाम हैं. यह सबसे बड़ी चुनौती है.

कनेक्टिविटी में समस्या है.

इसलिए, हम इसे गुडवुड फ़ेस्टिवल ऑफ़ स्पीड में कर रहे हैं. यहां लाखों मोटर स्पोर्ट फ़ैन इकट्ठा होते हैं और कारों को पहाड़ी पर रेस करते हुए देखते हैं.

जैसा कि आप सोच सकते हैं, जब किसी मैदान में लाखों लोग हों, तो इंटरनेट कनेक्टिविटी काफ़ी मुश्किल हो सकती है.

ब्लूटूथ भी.

जैसे, यह कार फ़ैराडे केज की तरह है. इसलिए, रेस ड्राइवर के हेलमेट से कनेक्ट करने में आने वाली चुनौतियों का अंदाज़ा लगाया जा सकता है.

आखिर में, कम इंतज़ार समय की ज़रूरी शर्तें.

यह ड्राइवर 200 किलोमीटर प्रति घंटे से ज़्यादा की रफ़्तार से गाड़ी चला रहा है. इसलिए, यह बहुत ज़रूरी है कि को-ड्राइवर एजेंट से मिलने वाले जवाब तुरंत और सटीक हों.

हम इसमें काफ़ी दिलचस्पी रखते हैं, क्योंकि हमारा मानना है कि एजेंट हर जगह मौजूद होंगे.

हमें पहले से ही इसके असर दिखने लगे हैं.

अब ये सिर्फ़ हमारे कंप्यूटर तक सीमित नहीं हैं.

ये हमारे फ़ोन, स्मार्टवॉच, स्मार्ट ग्लास, स्मार्ट होम, और अब हमारी कारों में भी मौजूद हैं.

इसलिए, हम वाकई यह देखना चाहते थे कि इस तरह की मुश्किल स्थिति में हम क्या हासिल कर सकते हैं.

जब हम इस बारे में सोच रहे थे कि इसे कैसे बनाया जाए, तो हमने सोचा कि क्या हम एक छोटा सा माइक्रोकंप्यूटर बनाएं, जिसमें एक छोटा सा एक्सेलरेटर हो, ताकि उसमें एक मॉडल हो?

हमें अचानक यह एहसास हुआ कि हमें जिन चीज़ों की ज़रूरत थी वे पहले से ही मौजूद थीं. वह चीज़ Android थी.

Android, इसके लिए सबसे सही होस्ट है, क्योंकि इसमें ADK है. यह हमारा एजेंट डेवलपर किट है.

यह एक बेहतरीन लाइब्रेरी है. इसकी मदद से, सीधे अपने ऐप्लिकेशन में एजेंट बनाए जा सकते हैं.

इसके अरबों उपयोगकर्ता हैं. इसलिए, इसे अलग-अलग फ़ॉर्म फ़ैक्टर पर आसानी से चलाया जा सकता है. इससे, कोड को टेस्ट करना और उसे डिस्ट्रिब्यूट करना बहुत आसान हो जाता है.

डेवलपर टूल, जिनकी मदद से डीबग किया जा सकता है, अलग-अलग चीज़ें आज़माई जा सकती हैं, और गड़बड़ी का पता लगाया जा सकता है.

डिवाइस पर मौजूद एआई, Google Pixel फ़ोन में अब टीपीयू की सुविधा पहले से मौजूद होती है. इसे डिवाइस पर मौजूद मॉडल के लिए ऑप्टिमाइज़ किया गया है. इससे ML Kit जैसे एपीआई का इस्तेमाल करके, एक बेहतरीन मॉडल को ऐक्सेस करना आसान हो जाता है.

इसके अलावा, हमारे पास लिखे गए शब्दों को सुनने की सुविधा और बोली पहचानने की सुविधा जैसी चीज़ें भी हैं. ये पूरी तरह से ऑफ़लाइन एपीआई हैं. इनकी मदद से, आपको बातचीत वाली सुविधा का बेहतरीन अनुभव मिलता है.

इसके बाद, कनेक्टिविटी की बारी आती है.

फ़ोन को कनेक्टिविटी के लिए बनाया गया है. इसके लिए, मोबाइल नेटवर्क, वाई-फ़ाई या अन्य तरीकों का इस्तेमाल किया जा सकता है.

हालांकि, एक चुनौती यह है कि डिवाइस पर मौजूद एजेंट हर काम नहीं कर सकते. ऐसे में, वे क्लाउड पर मौजूद एजेंट के साथ कैसे काम करेंगे?

अगर हाइब्रिड मॉडल का इस्तेमाल किया जाए, तो क्या होगा?

अगर फ़ोन में मौजूद एजेंट, क्लाउड में मौजूद एजेंट से सीधे बात कर पाए, तो क्या होगा? इससे वह ज़्यादा मुश्किल काम कर पाएगा.

उदाहरण के लिए, मान लें कि ड्राइवर को यह जानना है कि रेस में उसकी पोज़िशन क्या है.

कार को खुद यह नहीं पता होगा कि रेस में उसकी पोज़िशन क्या है. हालांकि, क्लाउड में मौजूद किसी एजेंट को यह पता हो सकता है.

हमारे पास एजेंट-टू-एजेंट नाम का एक प्रोटोकॉल है. इसका मतलब है कि आपके पास एज और क्लाउड पर एजेंट बनाने का विकल्प है. साथ ही, ज़्यादा जटिल कार्रवाइयां करने के लिए, उन्हें एक-दूसरे से बातचीत करने की अनुमति दी जा सकती है.

तो, हमने इसे कैसे बनाया?

इसलिए, मैं आपको इस सिस्टम के कॉम्पोनेंट के बारे में बताने जा रहा हूं.

हार्नेस से शुरुआत करें.

यहां हार्नेस, Android के लिए Agent Developer Kit का इस्तेमाल करने वाला एक Android ऐप्लिकेशन है.

दूसरा हिस्सा, मॉडल है.

इसके लिए, आपको एक मॉडल की ज़रूरत होती है. हम ML Kit के ज़रिए Gemini Nano का इस्तेमाल कर रहे थे. यह उपयोगकर्ता के डिवाइस पर मौजूद एक बेहतरीन मॉडल है, जो आपके लिए उपलब्ध है.

इसके बाद, डेटा.

ओली इस बारे में थोड़ी देर में बात करेंगे. हालांकि, आपके पास कार से मिलने वाला डेटा तो होता ही है, लेकिन ड्राइवर की आवाज़ पहचानने की सुविधा भी हो सकती है.

इसके बाद, एजेंट की कार्रवाइयां भी जोड़ी जा सकती हैं.

यह लिखे गए शब्दों को सुनने की सुविधा हो सकती है, ताकि ड्राइवर से बात की जा सके और फ़ॉलो-अप सवाल पूछे जा सकें या ज़रूरी जानकारी दी जा सके. इसके अलावा, जैसा कि पहले बताया गया है, एजेंट से एजेंट की बातचीत, क्लाउड में मौजूद एजेंट के साथ बातचीत करके कुछ और जटिल कार्रवाइयां की जा सकती हैं.

अब मैं ओली को स्टेज पर बुलाना चाहूंगा, ताकि वे आपको बता सकें कि हमने फ़ॉर्मूला ई के साथ यह कैसे किया.

धन्यवाद, ऐलस्टेयर.

तो, हमारे पास सभी ज़रूरी चीज़ें हैं. अब सबसे मुश्किल काम है: हम फ़ॉर्मूला ई कार में एआई एजेंट को कैसे इंटिग्रेट करें?

इसकी शुरुआत वीसीयू या वीइकल कंट्रोल यूनिट से होती है.

अब कार में मौजूद हर सेंसर और कॉम्पोनेंट, सीएएन बस के ज़रिए कार को रिपोर्ट करता है.

कार हर सेकंड टेलीमेट्री के हज़ारों पॉइंट जनरेट करती है. जैसे, स्पीड, ऐक्सेलरेशन, थ्रॉटल, ब्रेकिंग वगैरह.

इसलिए, इस टेलीमेट्री को पढ़ने के लिए, हमने इस CAN कनेक्शन के ज़रिए Raspberry Pi को सीधे कार के वीसीयू में प्लग करने का फ़ैसला किया.

अब Raspberry Pi कुछ अलग काम करता है.

सबसे पहले, यह रॉ सिग्नल को डिकोड करता है, उन्हें ट्रांसफ़ॉर्म करता है, और उन्हें करीब 10 हर्ट्ज़ तक डाउनसैंपल करता है. यह को-ड्राइवर के लिए काफ़ी जानकारी है.

इसके बाद, Raspberry Pi इस डेटा को एमक्यूटीटी के ज़रिए, कार के कॉकपिट में मौजूद Pixel 10 Pro पर पब्लिश करता है.

यह एक ऐसा इनपुट है जिसे हमारे एजेंट ऐप्लिकेशन को होस्ट करने वाला ऐप्लिकेशन स्वीकार कर सकता है.

दूसरा है, Android की बोली पहचानने की सुविधा.

इसलिए, जब ड्राइवर बोलता है, तो ऐप्लिकेशन इनपुट को टेक्स्ट में बदल देता है. इसके बाद, Gemini Nano इन दोनों इनपुट का विश्लेषण कर पाता है.

अब एजेंट दो फ़ैसले ले सकता है: पहला, वह ड्राइवर से बात करने के लिए, Android के टेक्स्ट-टू-स्पीच इंजन का इस्तेमाल कर सकता है.

दूसरा, जैसा कि एलिस्टर ने पहले बताया था, यह ए2ए प्रोटोकॉल के ज़रिए क्लाउड एजेंट से बात कर सकता है.

अब, इस एजेंट का फ़्लो काफ़ी आसान है: हॉटवर्ड बोलें, इस मामले में "Ok, Gemma.", कोई सवाल पूछें, और जवाब पाएँ.

इसके बाद, एजेंट करीब पांच सेकंड तक आपकी बात सुनता है, ताकि आप फ़ॉलो-अप सवाल पूछ सकें. इसके लिए, आपको फिर से शुरुआत करने की ज़रूरत नहीं पड़ती. यह ठीक वैसा ही है जैसे किसी असली रेस इंजीनियर से बात करना.

यह ऐप्लिकेशन, मल्टी-टर्न एजेंट भी है. इसका मतलब है कि यह बातचीत के इतिहास को ऐक्सेस कर सकता है, ताकि बातचीत को ज़्यादा बेहतर बनाया जा सके.

इसलिए, आपको लग रहा होगा कि इसका कोड थोड़ा मुश्किल होगा, है न?

दरअसल, यह बहुत आसान है.

शुरुआत की कुछ लाइनें, ML Kit का इस्तेमाल करके onDeviceModel को कॉल करती हैं और उसे Gemini Nano के तौर पर रैप करती हैं.

val generativeModel: GenerativeModel = Generation.getClient()
val onDeviceModel = GenaiPrompt.create(
    generativeModel = generativeModel,
    name = "gemini-nano",
)
val agent = LlmAgent(
    name = "race_engineer",
    model = onDeviceModel,
    staticInstruction = /* System prompt */,
    instruction = Instruction {
        /* Dynamic context */
    },
    tools = listOf(
        /* Custom tools */
    )
)

इसके बाद, हम ADK की मदद से अपने एजेंट को तय करते हैं.

इसे कोई नाम दें और दो तरह के निर्देश दें: पहला, स्टैटिक निर्देश. इसमें जेम की पर्सनैलिटी और उसके बारे में जानकारी शामिल होती है.

इसमें यह जानकारी शामिल हो सकती है कि वह ड्राइवर से कैसे बात करता है और रेसट्रैक के बारे में कुछ जानकारी.

दूसरा, डाइनैमिक निर्देश.

अब यह हर क्वेरी पर जनरेट होता है. इसमें टेलीमेट्री की सबसे नई खास जानकारी शामिल होती है. इससे एजेंट को हमेशा पता रहता है कि ड्राइवर किसी भी समय क्या कर रहा है.

इसमें मौजूदा बातचीत का इतिहास भी शामिल होता है, जैसा कि पहले बताया गया है.

इसके अलावा, हम कुछ टूल भी तय करते हैं. उदाहरण के लिए, पिछले सेशन के डेटा से बात करने की सुविधा, क्लाउड एजेंट से बात करने की सुविधा, और टेक्स्ट-टू-स्पीच का इस्तेमाल करके ड्राइवर से बात करने की सुविधा.

चलिए, अब हम आपको एक डेमो दिखाते हैं. इसमें एजेंट, Formula E के ऑफ़िस में हमारे सिम रिग पर काम करता हुआ दिख रहा है.

Hey Gemma, मैं कितनी तेज़ी से स्टीयरिंग घुमा रहा हूं?

मधुर और सामान्य आवाज़.

पीक लॉक 48 डिग्री था और आपने व्हील को औसतन 11 डिग्री प्रति सेकंड की रफ़्तार से घुमाया.

Hey Gemma, मेरा पीक जी-फ़ोर्स क्या है?

कोनों पर पीक जी-फ़ोर्स 2.2 G था.

नमस्ते Gemma, मेरी रनिंग कैसी रही?

शानदार दौड़, डैन.

इसकी सबसे ज़्यादा रफ़्तार 306 कि॰मी॰/घंटा थी. साथ ही, 35 सेकंड में इसकी औसत रफ़्तार 186 कि॰मी॰/घंटा थी.

आपने 58% समय तक पूरी रफ़्तार से गाड़ी चलाई और 2.2 G की रफ़्तार तक पहुंचे.

बस इतना ही.

यह Gemini Nano है, जो फ़ोन पर ड्राइवर से बात कर रहा है और रीयल टाइम में उसके सवालों के जवाब दे रहा है.

सिम्युलेटर रिग एक अलग चीज़ है और फ़ॉर्मूला ई कार पूरी तरह से अलग चीज़ है.

तो हमने यह सब कैसे किया?

सबसे पहले, हमें पेरिस में स्पार्क रेसिंग टेक्नोलॉजी की यात्रा करनी थी, जहां हमारी कारें बनाई जाती हैं.

बाईं ओर मौजूद इस फ़ोटो में, मैं Raspberry Pi को फ़ॉर्मूला ई कार की असल वीसीयू से कनेक्ट कर रहा हूं.

हमने अब तक जो कुछ भी बनाया था वह एम्युलेट किए गए डेटा पर चलता था और उसे टेस्ट सेशन से फिर से चलाया जाता था. इसलिए, हमें वाकई नहीं पता था कि यह असल डेटा के साथ काम करेगा या नहीं.

इसलिए, हमने इसे प्लग इन किया, चालू किया, इंतज़ार किया, थोड़ा और इंतज़ार किया, और आखिरकार डिवाइस पर टेलीमेट्री डेटा आने लगा. इससे यह साबित हुआ कि डेटा, सिस्टम में हमारी उम्मीद के मुताबिक मूव कर रहा था.

दाईं ओर, आपको पूरा सिस्टम दिख रहा है. साथ ही, यह भी दिख रहा है कि फ़ोन को कॉकपिट में, ड्राइवर के बैठने की जगह के ठीक बगल में लगाया गया है.

इसलिए, हम सभी गुडवुड के लिए तैयार थे.

तो, उस दिन असल में क्या हुआ था?

क्या आपको वे चार चुनौतियां याद हैं जिनके बारे में एलिस्टर ने पहले बात की थी?

गुडवुड ने इनमें से दो कारों की अच्छी तरह से जांच की.

सबसे पहले, गर्मी की बात करते हैं.

ब्रिटेन में, हम आम तौर पर धूप को छोड़कर, किसी भी मौसम के लिए प्लान बनाते हैं.

इसलिए, हमें रिकॉर्ड के हिसाब से सबसे गर्म हफ़्तों में से एक मिला. यह हफ़्ता, हीट वेव के बीच में था.

यह फ़ॉर्मूला ई कार में कंप्यूटर लगाने का सबसे सही समय था.

लेकिन इसमें एक ट्विस्ट है.

फ़ोन असल में ठीक था.

Android को इससे कोई नुकसान नहीं हुआ.

इससे पता चला कि Raspberry Pi को सबसे ज़्यादा मुश्किल हुई.

हम इसे सीधे कार में प्लग नहीं कर सकते थे. इसलिए, हमें यूपीएस का इस्तेमाल करना पड़ा. अगर आपको नहीं पता, तो बता दें कि यह एक तरह से पाई के नीचे चिपकी हुई बैटरी के लोड की तरह दिखता है.

हालांकि, हमने दिनभर इसे थोड़ा-थोड़ा चार्ज करके इस समस्या को ठीक कर लिया. इसके बिना, कार शायद उस पहाड़ी पर नहीं चढ़ पाती. इसमें कोई एआई एजेंट भी नहीं था.

इसके बाद, ब्लूटूथ की सुविधा आई.

उस समय तक, हमने ड्राइवर के हेलमेट के साथ कभी भी टेस्ट नहीं किया था. यह हेलमेट, ब्लूटूथ के ज़रिए ऐप्लिकेशन से कनेक्ट होता है.

यह थोड़ा मुश्किल काम था.

इसलिए, इसे टेस्ट करने के लिए, हम घास पर बैठ गए. ऐसा लग रहा है कि हम वाकई अच्छा समय बिता रहे हैं, है न?

हमने अपने लैपटॉप निकाले और बातचीत शुरू की.

असल में, वह मेरे करियर का सबसे तनाव भरा दौर था.

हम उस कोड को ठीक करने की पूरी कोशिश कर रहे थे, ताकि ब्लूटूथ हेलमेट को दोपहर में पहाड़ी पर जाने से पहले ऐप्लिकेशन से कनेक्ट किया जा सके.

हालांकि, आखिरी समय में की गई कुछ हॉट फ़िक्सिंग और Android के बेहतरीन डीबगिंग टूल की मदद से, हमने इसे समय रहते ठीक कर लिया. इसके बाद, कार पहाड़ी पर चढ़ गई और एआई एजेंट ने बेहतरीन तरीके से काम किया.

अब मैं अलेस्टेयर को बुलाना चाहूंगा, जो हमें इस प्रोजेक्ट से मिली सीख के बारे में थोड़ा और बताएंगे.

धन्यवाद.

धन्यवाद, ओली.

तो इस प्रोजेक्ट से हमें क्या सीखने को मिला?

सबसे पहले, Android आपके एजेंट के लिए एक बेहतरीन होस्ट है.

हमारा सुझाव है कि आप Android की अलग-अलग सुविधाओं, उपलब्ध एपीआई, उपयोगकर्ता के डिवाइस पर मौजूद मॉडल, और ADK का इस्तेमाल करें.

इन्हें आज़माएं, क्योंकि आपको यह जानकर हैरानी होगी कि इतनी आसान चीज़ से आपको कितने बेहतरीन अनुभव मिल सकते हैं.

इंटिग्रेशन से जुड़ी समस्याएं अब भी मौजूद हैं.

इस कमरे में मौजूद ज़्यादातर लोगों को अपने करियर में कभी न कभी इस समस्या का सामना करना पड़ा होगा.

आप सभी सब-कॉम्पोनेंट अलग-अलग बनाते हैं. इसके बाद, जब आप उन्हें एक साथ जोड़ते हैं, तो कुछ काम नहीं करता.

ड्राइवर का रेसिंग हेलमेट बिलकुल ऐसा ही था.

हालांकि, अच्छी बात यह है कि हमने उसी दिन इसे ठीक कर लिया. इससे यह साबित होता है कि टेस्टिंग अब भी बहुत ज़रूरी है.

इसके बाद, Gemini Nano.

Gemini Nano ने इस काम में मेरी बहुत मदद की.

यह काफ़ी असरदार मॉडल है और आपके डिवाइस पर तेज़ी से काम करता है. साथ ही, यह मुश्किल टास्क भी कर सकता है. हालांकि, यह सीधे तौर पर ऐसा नहीं करता.

इसके पीछे एक खास वजह है.

आपको प्रॉम्प्ट इंजीनियरिंग करनी होगी.

आपको इसे टेस्ट करना होगा.

आपको यह सोचना होगा कि आपको डाइनैमिक निर्देश और स्टैटिक निर्देश किस तरह देने हैं.

आपको यह सोचना होगा कि आपको इसे कौनसे टूल देने हैं और इसे कैसे बेहतर तरीक़े से निर्देश देने हैं.

हालांकि, सही तरीके से टेस्टिंग और आकलन करने पर, Gemini Nano जैसे मॉडल से डिवाइस पर ही काफ़ी कुछ हासिल किया जा सकता है.

आप सभी का बहुत-बहुत धन्यवाद.

हम बाद में बूथ पर मौजूद रहेंगे. इसलिए, आप वहां आकर हमसे कुछ सवाल पूछ सकते हैं.