उपयोगकर्ता के डिवाइस पर उपलब्ध इंटेलिजेंस की सुविधा देने वाले Gemini Nano और Gemma 4 के बारे में जानकारी

सारा स्मूट

नमस्ते, इस बातचीत में आपका स्वागत है.

मेरा नाम सारा है. मैं Gemma की मॉडलिंग टीम में इंजीनियरिंग लीड हूं.

आज मैं आपको हमारे मॉडल के बारे में बताने के लिए यहां मौजूद हूं.

मैं आपको मोबाइल के लिए डिज़ाइन करने के तरीके और इसकी क्षमताओं के बारे में बताऊंगी.

मैं उन तकनीकों के बारे में बात करने जा रहा हूं जिन्हें हम मॉडल में शामिल करते हैं, ताकि वे मोबाइल पर बेहतर तरीके से काम कर सकें.

मैं आपको बताऊंगा कि इसे कैसे ऐक्सेस किया जा सकता है और हम इसे AICore के साथ कैसे इंटिग्रेट करते हैं.

इसके बाद, मैं कुछ डेमो दिखाऊँगा, ताकि आपको मॉडल की क्षमताओं और उसके काम करने के तरीक़े के बारे में पता चल सके.

इसलिए, यह समझने के लिए कि हम कहां जा रहे हैं, यह समझना ज़रूरी है कि हम कहां थे.

हमने 2024 में Gemma 1 लॉन्च किया था.

हमने 2 अरब और 7 अरब पैरामीटर वाला मॉडल लॉन्च किया था. यह सिर्फ़ टेक्स्ट वाला मॉडल था. उस समय के हिसाब से, यह बहुत ही छोटा मॉडल था.

Gemma 1 के बाद, हमने Gemma 2 लॉन्च किया. इसमें कुछ और सुविधाएं जोड़ी गईं.

हमने कोडिंग की सुविधा लॉन्च की.

हमने बड़े साइज़ वाला मॉडल, 27B भी लॉन्च किया. इससे Gemma सीरीज़ की क्षमताओं में काफ़ी बढ़ोतरी हुई.

इसके कुछ समय बाद, Gemma 3 को लॉन्च किया गया.

हमने इसमें और सुविधाएं जोड़ीं. जैसे, मल्टीमोडल और 27 करोड़ पैरामीटर वाला छोटा मॉडल. ऐसा इसलिए, क्योंकि हमें एहसास हुआ कि छोटे मॉडल के कई इस्तेमाल हैं. हम मोबाइल पर ज़्यादा से ज़्यादा ऑनलाइन इस्तेमाल के मामलों को चालू करने की कोशिश कर रहे हैं.

इसलिए, हर रिलीज़ के साथ हमारी क्षमताएं बढ़ रही हैं. ऐसा जान-बूझकर किया जा रहा है.

हम सिंगल-डिवाइस हार्डवेयर के लिए डिज़ाइन कर रहे हैं. इसमें फ़ोन, लैपटॉप, और जीपीयू शामिल हैं. हमारा लक्ष्य बड़ा मॉडल बनाना नहीं है. हालांकि, हम 12 से 27 अरब पैरामीटर तक गए हैं. हमारा लक्ष्य हर बार एक ही फ़ुटप्रिंट पर ज़्यादा क्षमताएं फ़िट करना है, क्योंकि हम उपयोगकर्ता के डिवाइस पर और लोकल रहना चाहते हैं.

इसलिए, हमने इसे बेहतर तरीके से बनाया है.

मैं आपको Gemma 4 के लिए किए गए हमारे काम और उसे करने के तरीके के बारे में बताऊंगी.

हमने E2B लॉन्च किया. मैं कुछ ही देर में "E" के बारे में बताऊँगा. हमने E4B लॉन्च किया. हमने 12B यूनिफ़ाइड मॉडल लॉन्च किया. मैं बताऊँगा कि हमने ऐसा क्यों किया. इसके बाद, हमने MoE मॉडल भी लॉन्च किया.

इन सभी का मकसद, डेवलपर को यह दिखाना है कि यह प्लैटफ़ॉर्म कितना असरदार है. साथ ही, उन्हें ऐप्लिकेशन और अन्य चीज़ें बनाने के लिए ज़्यादा सुविधाएं देना है.

इसकी क्षमताओं को थोड़ा और करीब से देखने पर, आपको वे क्षमताएं दिखेंगी जिन्हें हमने समय के साथ जोड़ा है.

मैं कुछ चीज़ों के बारे में बताना चाहता हूँ. जैसे, कॉन्टेक्स्ट की लंबाई.

हमने Gemma के पिछले वर्शन की तुलना में, इसमें ज़्यादा कॉन्टेक्स्ट लेंथ जोड़ी है.

Gemma 4 में 128 हज़ार टोकन तक का कॉन्टेक्स्ट है.

बड़े मॉडल में 256 तक टोकन हो सकते हैं.

मैं यह बताना चाहूंगा कि ML Kit, कॉन्टेक्स्ट की लंबाई पर एक सीमा लगाता है. इसलिए, 128k टोकन के साथ लॉन्च करने से पहले, पक्का करें कि आपके पास ज़रूरी बजट हो.

हालांकि, यह लंबे दस्तावेज़ों को पढ़ने, ज़्यादा तर्क करने, और फ़ंक्शन कॉलिंग के लिए काफ़ी है. साथ ही, इससे आपको मल्टीमोडैलिटी, विज़न, और ऑडियो का इस्तेमाल करने के लिए काफ़ी बजट मिलता है.

वीडियो, एक नई सुविधा है जिसे हमने Gemma 3n से जोड़ना शुरू किया है. Gemma 4 के लिए, हमने इस पर थोड़ा और ध्यान दिया है.

इसलिए, अब हमारे पास कई भाषाओं में सहायता उपलब्ध है.

हम अब भी कई भाषाओं में ट्रेनिंग दे रहे हैं. इसलिए, आपके पास पहले से मौजूद भाषा और पहले से ट्रेनिंग दी गई भाषा, दोनों का इस्तेमाल करने का विकल्प है.

यह सब अब एक नए Apache 2 लाइसेंस के साथ आ रहा है. हम इसे लेकर काफ़ी उत्साहित हैं, क्योंकि इससे आपको ज़्यादा सुविधाएं मिलेंगी. साथ ही, इससे आपको ज़्यादा सुविधाएं मिलेंगी.

मॉडल को बनाना और डाउनलोड करना अब पहले से ज़्यादा आसान हो गया है.

सारा स्मूट

ठीक है, तो विज़न का क्या करें?

Gemma 4 के लिए विज़न की सुविधा में, अलग-अलग आसपेक्ट रेशियो (लंबाई-चौड़ाई का अनुपात) इस्तेमाल किए जा सकते हैं.

इससे यह होता है कि यह एक इमेज लेता है और उसे किसी अजीब स्क्वेयर में स्क्विश करने के बजाय, हम मॉडल के असल आसपेक्ट रेशियो (लंबाई-चौड़ाई का अनुपात) को बनाए रखते हैं.

इसका मतलब है कि आपके टेक्स्ट और ऑब्जेक्ट में कोई बदलाव नहीं हो रहा है.

इससे मॉडल की क्षमता में काफ़ी सुधार होता है.

आसपेक्ट रेशियो (लंबाई-चौड़ाई का अनुपात) बदलने की सुविधा की मदद से, ओसीआर की सुविधा को काफ़ी बेहतर बनाया गया है. इससे इमेज में मौजूद शेप को सही तरीके से पहचाना जा सकता है.

यह विज़न, चार्ट, स्प्रेडशीट, और ग्राफ़ भी पढ़ सकता है.

यह विज़ुअल क्यू से भी अनुवाद कर सकता है. इसका मतलब है कि शब्दों की फ़ोटो खींचकर, उनका अनुवाद पाया जा सकता है.

यह असल दुनिया के बारे में भी तर्क दे सकता है.

यह किसी इमेज को देख सकता है, उसमें मौजूद चीज़ों को समझ सकता है, और यह भी समझ सकता है कि इमेज में क्या है.

यह कई काम कर सकता है.

हमारे Gemma मॉडल की एक और सुविधा के बारे में कम ही लोग जानते हैं. वह यह है कि इसमें विज़ुअल टोकन का बजट सेट किया जा सकता है.

इसलिए, अभी एमएल टूलकिट में जाकर देखें कि इसमें क्या-क्या है. इसमें आपको कई तरह के टूल मिलेंगे.

अगर आपको हाई रिज़ॉल्यूशन वाली इमेज को समझने के लिए, ज़्यादा पावर और एनर्जी खर्च करनी है, तो इसे सेट किया जा सकता है.

अगर आपको इस तरह के इस्तेमाल के उदाहरण का फ़ायदा नहीं उठाना है, तो इमेज टोकन के बजट को काफ़ी कम किया जा सकता है. इससे, आपको टेक्स्ट ऐप्लिकेशन के लिए मॉडल कंप्यूट साइकल में काफ़ी क्षमता वापस मिल सकती है.

ऑडियो हमारे लिए काफ़ी नया मोड है.

हमने इसे सबसे पहले Gemma 3n में पेश किया था.

अब हम Gemma 4 के लिए, इस पर पूरी तरह से भरोसा कर रहे हैं.

ऑडियो की सुविधा सिर्फ़ हमारे सबसे छोटे मॉडल में उपलब्ध है: E2B, E4B, और 12B मॉडल.

यह पूरी तरह से ऑडियो फ़ाइल के आधार पर ट्रांसक्रिप्ट तैयार करेगा.

यह बोले जा रहे शब्दों का अनुवाद करता है.

यह 35 से ज़्यादा भाषाओं में काम करता है.

हमने इसे 140 से ज़्यादा भाषाओं में पहले से ट्रेनिंग दी है. इसलिए, अगर आपको 35 भाषाओं में से किसी एक भाषा के लिए ट्रेनिंग देनी है, तो आपको फ़ाइन-ट्यून करने और ऐसी भाषा के लिए बेहतर सहायता पाने की सुविधा मिलनी चाहिए जो पहले से उपलब्ध नहीं है.

हमने एजेंटिक रीज़निंग की सुविधा जोड़ी है.

यह Gemma 4 की एक नई सुविधा है.

यह प्लान बनाता है.

यह कई चरणों में काम करता है.

यह टूल इस्तेमाल करता है.

यह निर्देशों का सटीक तरीके से पालन करता है.

यह स्ट्रक्चर्ड JSON दिखाता है.

यह वे सभी काम कर सकता है जिनकी उम्मीद आपको किसी एजेंटिक मॉडल से होती है.

मैं कहूंगा कि पक्का करें कि आप एमएल टूलकिट का इस्तेमाल कर रहे हैं. अगर आप एमएल टूलकिट का इस्तेमाल नहीं कर रहे हैं, तो आपको खुद ही चीज़ें करनी होंगी. पक्का करें कि आप चैट टेंप्लेट पर ध्यान दे रहे हैं.

चैट टेंप्लेट मुश्किल होते हैं.

इन्हें सावधानी से इस्तेमाल करना चाहिए.

अगर एमएल टूलकिट का इस्तेमाल किया जा रहा है, तो यह सब आपके लिए किया जाता है.

आखिर में, Gemma टेक्स्ट को समझने में लगातार बेहतर परफ़ॉर्म कर रहा है.

ज़्यादा कॉन्टेक्स्ट विंडो की मदद से, अब हम कोड और लंबे दस्तावेज़ों का विश्लेषण कर सकते हैं. साथ ही, अनुवाद भी कर सकते हैं.

कोडिंग की सुविधा के साथ, Android Studio अब ऑफ़लाइन मोड में Gemma 4 के साथ काम करता है.

इसलिए, अगर आपको Android Studio का इस्तेमाल ऑफ़लाइन करना है, तो कोडिंग से जुड़े टास्क करने के लिए Gemma 4 का इस्तेमाल किया जाएगा.

एक और अहम बात: E2B और E4B का साइज़ इतना छोटा है कि ये आपके फ़ोन पर आसानी से फ़िट हो जाएंगे और अच्छी तरह से काम करेंगे.

इसलिए, इसमें बहुत सारी सुविधाएं कम जगह में उपलब्ध हैं.

यह वाकई में एक मुश्किल इंजीनियरिंग चैलेंज है. इसलिए, Gemma टीम को इस पर बहुत गर्व है.

यहां कुछ उदाहरण दिए गए हैं, जिनसे Gemini की क्षमताओं के बारे में पता चलता है.

बाईं ओर, हमने दिखाया है कि मॉडल, लैपटॉप को ढूंढ सकता है और उसके निर्देशांक दिखा सकता है.

इसके बाद, ऐप्लिकेशन एक पॉइंटर बना सकता है और दिखा सकता है कि लैपटॉप कहां है.

बीच में, मॉडल ऑब्जेक्ट की पहचान कर सकता है. इसके बाद, उन ऑब्जेक्ट के आस-पास बाउंडिंग बॉक्स बना सकता है.

I इसके कुछ दिलचस्प ऐप्लिकेशन हैं: ऑब्जेक्ट का पता लगाने की सुविधा, ऑब्जेक्ट से बचना.

यह काफ़ी अच्छी सुविधा है.

दाईं ओर, यह दिखाया गया है कि मॉडल टेक्स्ट को कैसे पढ़ सकता है.

इसलिए, इसका अनुवाद "सावधान, यहां एक बिल्ली है" के तौर पर किया जाता है.

यह इमेज में मौजूद कॉन्टेंट को भी समझता है. इसे इस बिल्ली की यह मज़ेदार पोज़िशन दिखती है. यह इमेज में मौजूद टेक्स्ट का अनुवाद कर सकता है और बता सकता है कि यह एक पंचलाइन है. इसके नीचे मौजूद टेक्स्ट में लिखा है, "कुछ हो सकता है."

मुझे लगता है कि यह काफ़ी प्यारा है.

इसलिए, यह पॉइंटिंग, ऑब्जेक्ट का पता लगाने की सुविधा, ओसीआर करने, और अनुवाद करने जैसे काम कर सकता है. इसके लिए, इसे किसी खास विज़न पाइपलाइन की ज़रूरत नहीं होती.

चलिए, अब इवैलुएशन के आंकड़ों पर नज़र डालते हैं.

मुझे लगता है कि क्षमता दिखाना हमेशा ज़रूरी होता है. हालांकि, कई लोग इन्हें देखते हैं और मुझे लगता है कि यहां आपको मॉडल की क्षमता दिख सकती है.

अगर आखिरी दो कॉलम देखें, तो पता चलता है कि E2B ने Gemma 3 27B को पीछे छोड़ दिया है. यह रीज़निंग, कोडिंग, और एजेंटिक टास्क में Gemma 3 27B से कहीं ज़्यादा बड़ा मॉडल है.

इसलिए, LiveCodeBench को देखें.

Gemma 4 को 44 और Gemma 3 27B को 29 अंक मिले.

AIME भी काफ़ी ज़्यादा है.

Tau2, जो कि एक एजेंटिक इवैल है, उसमें भी काफ़ी ज़्यादा स्कोर मिला है. इससे पता चलता है कि यह मॉडल काफ़ी मज़बूत है.

अगर हम कुछ और पैरामीटर जोड़ें, तो हमारा E4B मॉडल हर मानदंड पर हमारे 27B मॉडल से बेहतर परफ़ॉर्म करता है.

इसलिए, Gemma 3 से Gemma 4 पर स्विच करने पर, आपको उतने ही पैरामीटर में ज़्यादा सुविधाएं मिलेंगी.

सारा स्मूट

तो, हम ऐसा कैसे करें?

मॉडल को बड़ा बनाए बिना उसे ज़्यादा सक्षम बनाना एक मुश्किल काम है.

अगर सिर्फ़ हार्डवेयर की बात करें, तो फ़ोन में मेमोरी बहुत कम होती है.

मेरा मतलब है कि हम 12 से 16 जीबी की तुलना, सर्वर पर मिलने वाले 80 जीबी से कर रहे हैं.

बैंडविड्थ भी बहुत कम होती है: 50 से 80 जीबी, जबकि सर्वर में आपको टेराबाइट में बैंडविड्थ मिलती है.

इसके अलावा, बिजली की भी भारी कमी है.

इसलिए, मॉडल को चलाते समय हमें इन सभी बातों का ध्यान रखना होगा.

मैं आपको जो भी तकनीकें दिखाने जा रहा हूं वे इनमें से हर एक समस्या को टारगेट करती हैं. साथ ही, मॉडल को मोबाइल हार्डवेयर पर बेहतर तरीके से काम करने में मदद करती हैं.

ठीक है, सबसे पहले हम यह करते हैं कि हर साइज़ के लिए एक आर्किटेक्चर नहीं रखते.

हर मॉडल साइज़ का अपना अलग आर्किटेक्चर होता है.

इसलिए, हमारे E2B और E4B मॉडल में कुछ खास एलिमेंट हैं. मैं अपनी बाकी की बातचीत में मुख्य रूप से इन पर फ़ोकस करने जा रहा हूं. हालांकि, मुझे लगता है कि यह जानना मददगार होगा कि हमारे 12B मॉडल में विज़न एन्कोडर नहीं है.

इसलिए, इस मॉडल में हमने विज़न एन्कोडर को हटा दिया, ताकि डिप्लॉयमेंट को आसान बनाया जा सके और मॉडल के लिए ज़रूरी पैरामीटर की संख्या को कम किया जा सके.

यह आम तौर पर हमारे लैपटॉप हार्डवेयर को टारगेट करता है.

हमारे बड़े मॉडल, बेहतरीन क्षमता दिखाने के लिए हैं.

ये दोनों ही मॉडल, फ़ुल डेंस और मिक्सचर ऑफ़ एक्सपर्ट्स (एमओई) आर्किटेक्चर पर आधारित हैं.

एमओई मॉडल को लैपटॉप पर भी चलाया जा सकता है. हमने इसे इसलिए बनाया है, क्योंकि एक्सपर्ट आर्किटेक्चर से आपको कम इंतज़ार का समय मिलता है.

इसलिए, बाकी की बातचीत में, मैं मोबाइल मॉडल पर फ़ोकस करने जा रहा हूँ. ये E2B और E4B हैं. साथ ही, मैं इस बारे में बात करूँगा कि हमने उन्हें आपके फ़ोन पर बेहतर तरीक़े से चलाने के लिए क्या किया है.

ठीक है, "E" का मतलब है, हर लेयर के लिए एंबेडिंग.

यह एक दिलचस्प तकनीक है, जिसे हमने मॉडल में जोड़ा है.

मॉडल के काम करने के तरीके को देखें, तो मॉडल को ज़्यादा स्मार्ट बनाने के लिए ज़्यादा पैरामीटर की ज़रूरत होती है.

हम पैरामीटर की क्षमता को बेहतर बनाने की कोशिश कर रहे हैं. हालांकि, आम तौर पर, मॉडल को बेहतर बनाने के लिए ज़्यादा पैरामीटर की ज़रूरत होती है.

इसलिए, पीएलई यह कहता है कि "ठीक है, हमें और पैरामीटर की ज़रूरत है."

हालांकि, मॉडल में सीधे तौर पर ज़्यादा पैरामीटर जोड़ने के बजाय, हमारे पास एक अतिरिक्त एंबेडिंग टेबल है.

इस एंबेडिंग टेबल को हर लेयर के लिए पढ़ा जाता है.

इसलिए, आपके पास यह विकल्प है कि जब आपके पास वे टोकन हों जिनकी मॉडल को ज़रूरत होगी, तब आप किसी दिए गए इनपुट सीक्वेंस के लिए ज़रूरी हर लेयर की एंबेडिंग को पुल कर सकते हैं. इसके बाद, सिर्फ़ उन एंबेडिंग को मॉडल में लोड किया जा सकता है.

इसलिए, यह आपको दो अरब पैरामीटर वाले मॉडल देता है. हालांकि, पैरामीटर की संख्या इससे काफ़ी ज़्यादा है.

इसलिए, हम इसे दो अरब पैरामीटर वाला मॉडल कहते हैं. ऐसा इसलिए, क्योंकि आपकी मेमोरी में सिर्फ़ दो अरब पैरामीटर लोड होते हैं.

आम तौर पर, एंबेडिंग टेबल को रैम के बजाय फ़्लैश में सेव किया जाता है.

इसलिए, बैंडविड्थ को सीमित किया जा रहा है, क्योंकि आपको ज़्यादा पैरामीटर ट्रांसफ़र नहीं करने पड़ रहे हैं. हालांकि, आपको अब भी बड़े मॉडल की पूरी क्षमता मिल रही है.

यह डिवाइस पर कम रैम का इस्तेमाल करता है.

इसके बाद, हमने एक ड्राफ़्टर मॉडल जोड़ा.

Gemma के लिए इस्तेमाल किया जाने वाला ड्राफ़्टर मॉडल, मल्टी-टोकन प्रेडिक्शन मॉडल है.

यह स्पेक्युलेटिव डिकोडिंग का एक तरीका है.

यह आपको एक सामान्य ऑटोरिग्रेसिव मॉडल की तुलना में, हर पास में ज़्यादा टोकन का अनुमान देता है.

इसलिए, सामान्य ऑटोरिग्रेसिव मॉडल को एक बार में सिर्फ़ एक टोकन देने के बजाय, आपको हर टोकन के लिए पूरे मॉडल से गुज़रना होगा.

एमटीपी एक बार में तीन या चार टोकन का अनुमान लगाता है. इसके बाद, हम उन टोकन की पुष्टि करने के लिए मुख्य मॉडल का इस्तेमाल करते हैं.

अगर ये टोकन स्वीकार कर लिए जाते हैं, तो इनका इस्तेमाल किया जाता है. इसके बाद, हमें आम तौर पर एक बार में एक टोकन के बजाय, दो, तीन या चार टोकन मिल सकते हैं.

यह एक आम तकनीक है.

ड्राफ़्टर मॉडल मौजूद हैं.

हमने Gemma के लिए जो अलग और खास काम किया है वह यह है कि हम बेस मॉडल से केवी कैश मेमोरी शेयर करते हैं.

इसलिए, E2B के लिए हम पूरी जानकारी पहले से भरते हैं, कैश मेमोरी बनाते हैं, और फिर हमारा ड्राफ़्टर मॉडल उस KV कैश मेमोरी का इस्तेमाल करता है.

इसलिए, आपको 100 टोकन या 1,000 टोकन वाले प्रॉम्प्ट पर करीब 130 मिलीसेकंड की बचत होती है. ऐसा इसलिए होता है, क्योंकि आपको अपने ड्राफ़्टर मॉडल के लिए, पहले से भरे गए जवाब को फिर से जनरेट नहीं करना पड़ता.

इसलिए, हमारा ड्राफ़्टर मॉडल, अन्य ड्राफ़्टर मॉडल की तुलना में 30 से 40 गुना ज़्यादा तेज़ है.

अगर आप आंकड़ों पर नज़र डालें, तो आपको पता चलेगा कि ड्राफ़्टर मॉडल का इस्तेमाल करने पर, स्पीड बढ़ जाती है.

हमें ज़्यादातर ड्राफ़्टर मॉडल की तुलना में, 40 से 60% ज़्यादा स्वीकार्यता दर मिलती है.

ड्राफ़्टर मॉडल का इस्तेमाल करने से, हमें डिकोड करने में लगने वाले समय में 40% की कमी देखने को मिली. साथ ही, इस मॉडल का इस्तेमाल करने से, हमें 30 से 40% कम ऊर्जा की ज़रूरत पड़ी.

इससे आपको तेज़ी से जवाब मिलते हैं, बैटरी लाइफ़ ज़्यादा मिलती है, और कोड में कोई बदलाव नहीं करना पड़ता.

यह एक आसान और बेहतरीन टूल है.

सारा स्मूट

हमारा अगला इनोवेशन, क्वांटाइज़ेशन से जुड़ा है.

आम तौर पर, क्वांटाइज़ेशन भी कोई नई तकनीक नहीं है. हालांकि, हम अपने मोबाइल मॉडल के लिए खास तौर पर ध्यान रखते हैं, ताकि यह पक्का किया जा सके कि हमारे पास ऐसा क्वांटाइज़ेशन हो जो मोबाइल हार्डवेयर के साथ वाकई अच्छी तरह से काम करे.

हम अपने क्यूएटी मॉडल के बारे में कुछ बातों का ध्यान रखते हैं.

पहला तरीका है, क्यूएटी. इसका मतलब है, क्वांटाइज़ेशन-अवेयर ट्रेनिंग.

इसका मतलब है कि ट्रेनिंग के दौरान, हम इस बात का ध्यान रखते हैं कि हमें क्वांटाइज़ करना है.

इससे मॉडल को यह समझने में मदद मिलती है कि पैरामीटर को बकेट किया जाएगा. साथ ही, इससे क्वालिटी को बनाए रखने में मदद मिलती है.

इससे क्वालिटी भी बनी रहती है. साथ ही, आम तौर पर हम मॉडल को उसके साइज़ के एक छोटे हिस्से तक छोटा कर सकते हैं.

इसलिए, अगर 16-बिट वाले मॉडल से 4-बिट वाले मॉडल पर स्विच किया जाए और क्वालिटी को भी बरकरार रखा जाए, तो इससे काफ़ी मेमोरी बचाई जा सकती है.

इसलिए, E2B दो अलग-अलग क्वांटाइज़ेशन में उपलब्ध है.

हमारे पास Q4_0 फ़ॉर्मैट है.

यह अलग-अलग कामों के लिए इस्तेमाल किया जाने वाला क्वांटाइज़ेशन है.

इसे पसंद के मुताबिक बनाया जा सकता है.

यह अन्य क्वांटाइज़ेशन लाइब्रेरी के साथ बहुत अच्छी तरह से काम करता है.

इससे आपको क्वांटाइज़ेशन के साथ एक्सपेरिमेंट करने और ऐसा क्वांटाइज़ेशन चुनने की सुविधा मिलती है जो आपके इस्तेमाल के उदाहरण के लिए सही हो.

हमारे पास एक खास क्वांटाइज़ेशन भी है, जिसे हम मोबाइल क्वांट कहते हैं. यह क्वांटाइज़ेशन में बहुत आक्रामक है. हमने इसे बेहतर बनाने के लिए काफ़ी रिसर्च की है.

ज़्यादातर रनटाइम में इसे सपोर्ट नहीं किया जाता. हालांकि, ML Kit और Android Studio में इसे सपोर्ट किया जाता है. इसलिए, इसका इस्तेमाल किया जा सकता है.

इसका इस्तेमाल वहां किया जा सकता है.

हमने कुछ नए इनोवेशन किए हैं: हम स्टैटिक, ऐक्टिवेशन क्वांट का इस्तेमाल करते हैं.

इसलिए, क्वांटाइज़ेशन करते समय, आम तौर पर मॉडल, अगर डाइनैमिक रेंज ऐक्टिवेशन किया जा रहा है, तो आपको रेंज को तुरंत कैलकुलेट करना होगा. इसके बाद, क्वांटाइज़ेशन करने के लिए उसका इस्तेमाल करना होगा.

स्टैटिक रेंज क्वांट, हमने आपके लिए यह काम किया है. इसलिए, आपको रेंज को पहले से कैलकुलेट करने की ज़रूरत नहीं है.

हमने चैनल के हिसाब से क्वांटाइज़ेशन भी किया है.

हमने मॉडल को चैनल के हिसाब से स्ट्रक्चर और कंप्रेस किया है. यह ज़्यादातर मोबाइल हार्डवेयर के साथ बहुत अच्छी तरह से काम करता है.

हमने 2-बिट क्वांटाइज़ेशन को टारगेट किया है.

इसलिए, दो-बिट क्वांटाइज़ेशन में आम तौर पर काफ़ी डेटा लॉस होता है.

पीटीक्यू करना बहुत मुश्किल है.

हमने रिसर्च की है और अपने मॉडल को अच्छी तरह से समझा है. इससे हमें पता है कि पैरामीटर को कहां 2-बिट तक कंप्रेस किया जा सकता है. साथ ही, क्वांटाइज़ेशन-अवेयर ट्रेनिंग के साथ बेहतर तरीके से काम किया जा सकता है.

इससे काफ़ी स्टोरेज बचता है. साथ ही, फ़ोटो की क्वालिटी भी करीब-करीब वैसी ही रहती है.

इसलिए, हमारा खास क्वांट मॉडल एक गीगाबाइट से भी कम का है. यह हमारे 4-बिट क्वांट से भी काफ़ी छोटा है.

हमने कस्टम क्वांटाइज़ेशन में एक और चीज़ जोड़ी है. हमने एंबेडिंग और केवी कैश मेमोरी का क्वांटाइज़ेशन किया है.

इन दोनों कामों को करने के लिए कई तकनीकें हैं.

हमने इस पर रिसर्च की है और हमें लगता है कि यह हमारे मॉडल के लिए बहुत अच्छा रहेगा.

हमने इन सभी चीज़ों को इन चेकपॉइंट में शामिल किया है.

इन सभी वजहों से, आपके डिवाइस की ऐक्टिव मेमोरी काफ़ी कम हो जाती है.

इससे, पैरामीटर को आगे-पीछे करने में लगने वाले बैंडविड्थ की काफ़ी बचत होती है.

साथ ही, इससे आपको लंबी चैट और अन्य चीज़ों को मैनेज करने और उन्हें सेव रखने की सुविधा मिलती है. इसके लिए, आपको स्टोरेज खत्म होने की चिंता करने की ज़रूरत नहीं है.

सारा स्मूट

ठीक है, तो हम AICore के ज़रिए इंटिग्रेट करते हैं.

AICore के साथ आपको Gemini Nano 4 मॉडल मिलता है.

Gemini Nano 4, Gemma पर आधारित है और AICore के ज़रिए काम करता है.

AICore आपके लिए कई काम आसान बनाता है.

यह सबसे आसान तरीका है. हालांकि, मैं दूसरे तरीके के बारे में भी जल्दी से बता देता हूं.

दूसरा तरीका, LiteRT का इस्तेमाल करना है. यह ज़्यादा कस्टम और आसान तरीका है.

अगर आपको यह तरीका अपनाना है, तो मॉडल को आपके ऐप्लिकेशन के साथ बंडल किया जाएगा.

यह शेयर किए गए उस मॉडल का इस्तेमाल नहीं करेगा जो उपयोगकर्ता के डिवाइस पर होस्ट किया गया है.

इसलिए, आपको अपनी याददाश्त का ध्यान रखना होगा.

आपको बिजली की खपत पर ध्यान देना होगा.

आपको फ़ोन पर मौजूद संसाधनों और उन्हें मैनेज करने के तरीके के बारे में ज़्यादा जानकारी होनी चाहिए.

हालांकि, इससे आपको पूरा कंट्रोल मिलता है.

LiteRT के साथ फ़ाइन-ट्यून का इस्तेमाल किया जा सकता है. इससे आपको पसंद के मुताबिक बनाने के ज़्यादा विकल्प मिलते हैं.

AICore का इस्तेमाल करने पर, एमएल टूलकिट एपीआई इस्तेमाल किए जा सकते हैं. यह सबसे आसान तरीका है.

इसका इस्तेमाल करने पर, आपको वे सभी सुविधाएं मिलती हैं जिनके बारे में मैंने बताया है. हर लेयर की एंबेडिंग को सही तरीके से मैनेज किया जाता है. साथ ही, रनटाइम में पैरामीटर और एंबेडिंग पैरामीटर को रैम में सेव करने की ज़रूरत नहीं होती.

इसमें एमटीपी पहले से मौजूद है, इसलिए यह अपने-आप काम करेगा.

यह हमारे मोबाइल क्वांट का भी इस्तेमाल कर रहा है.

साथ ही, यह एक ऐसे रनटाइम पर काम करता है जिसे क्वांटाइज़ेशन को होस्ट करने और उसके साथ बेहतर तरीके से काम करने के लिए डिज़ाइन किया गया है.

ठीक है, तो यह असल में 2-बिट प्रिसिज़न में काम कर सकता है और चीज़ें कर सकता है, जहाँ हमें इसकी ज़रूरत होती है. इससे यह काफ़ी काफ़ी कुशल बन जाता है.

अगर आपको इस बारे में ज़्यादा जानना है, तो दो और टॉक हैं जो या तो हो चुकी हैं या होने वाली हैं.

डेविड के एमएल किट सेशन में, Gemini Nano 4 पाथ के बारे में बताया गया है. साथ ही, एमएल किट के ज़रिए मॉडल को इस्तेमाल करने का तरीका बताया गया है. इसके बाद, चिंतन और फ़र्गस के LiteRT सेशन में, LiteRT को इस्तेमाल करने और इसके साथ डेवलप करने का तरीका बताया गया है.

Gemma के लिए अनुरोध का फ़्लो कुछ इस तरह दिखता है.

इसमें एक एपीआई प्लैटफ़ॉर्म है, जो इनपुट को प्रोसेस करता है. यह सुविधा पहले से मौजूद है.

इनपुट प्रोसेसिंग का एक हिस्सा, सुरक्षा सिग्नल है.

AICore में सुरक्षा से जुड़ी कुछ सुविधाएं पहले से मौजूद होती हैं.

यह मॉडल में मौजूद सुरक्षा से जुड़ी कई सुविधाओं की जांच करता है.

यह मोबाइल ऐप्लिकेशन के लिए सुरक्षा की एक अतिरिक्त लेयर है.

यह सुविधा के कॉन्फ़िगरेशन और फिर हमारे उपयोगकर्ता के डिवाइस पर रनटाइम से होकर गुज़रेगा.

यह आउटपुट पर भी सुरक्षा की दोबारा जांच करता है.

यह आउटपुट सिग्नल की जांच करता है, ताकि यह पक्का किया जा सके कि सुरक्षित आउटपुट जनरेट हो रहा है.

यह सुरक्षा की एक और लेयर है, जो मॉडल में पहले से मौजूद सुरक्षा सुविधाओं के अलावा है.

यह अपडेट भी करता है और इसे सभी ऐप्लिकेशन पर शेयर किया जाता है.

इसलिए, अगर आपको कई ऐप्लिकेशन बनाने हैं या बंडल किए गए मॉडल को मैनेज नहीं करना है, तो यह आपके लिए सबसे अच्छा तरीका है. इसमें आपको पहले से मौजूद कई सुविधाएं मिलेंगी.

सारा स्मूट

ठीक है, अब मैं डेमो शुरू करता हूं.

यह एक वॉइस असिस्टेंट है.

मैं इसे लैपटॉप पर दिखाऊंगा.

मैं कुछ चीज़ों पर आपका ध्यान खींचना चाहता हूं. यह पूरी तरह से डिवाइस पर काम करता है.

इसे वीएडी का इस्तेमाल करके कैस्केड किया जाता है.

यह एसटीटी से होकर गुज़रता है. इसके बाद, यह Gemma में जाता है और फिर टीटीएस से होकर गुज़रता है. टीटीएस, लिखे गए शब्दों को सुनने की सुविधा वाला मॉडल है.

यह स्ट्रीमिंग कर रहा है और इसे E2B मॉडल पर भी चलाया जा रहा है.

यह मॉडल लैपटॉप पर चल रहा है, लेकिन यह वही मॉडल है जो फ़ोन पर चल रहा है.

यह सब फ़ोन पर किया जा सकता है.

यह डेमो, LiteRT की मदद से बनाया गया है.

इसे ML Kit की मदद से भी बनाया जा सकता है.

लेटेंसी पर नज़र रखें. सर्वर पर कोई राउंड ट्रिप नहीं होती. साथ ही, देखें कि यह रुकावटों को कैसे हैंडल करता है.

नमस्ते Gemma, मुझे अपने बारे में कुछ बताओ.

मैं Gemma 4 हूँ. मुझे Google DeepMind ने बनाया है. मैं एक लार्ज लैंग्वेज मॉडल हूँ.

मैं जानकारी देने और टास्क पूरे करने के लिए, टेक्स्ट और इमेज प्रोसेस करता हूँ.

चलिए.

क्या तुम मुझे शेक्सपियर के बारे में कुछ बता सकती हो?

विलियम शेक्सपियर एक अंग्रेज़ी नाटककार और कवि थे. उन्हें अंग्रेज़ी भाषा का सबसे महान लेखक माना जाता है.

रुकिए.

क्या आपको पता है?

मुझे सौर मंडल के बारे में जानना है.

क्या मुझे इस बारे में और जानकारी मिल सकती है?

सौर मंडल में सूर्य और गुरुत्वाकर्षण की वजह से उससे जुड़ी हर चीज़ शामिल है. इसमें आठ ग्रह, बौने ग्रह, चंद्रमा, ऐस्टरॉइड, और धूमकेतु शामिल हैं.

यह तो बहुत अच्छी बात है.

क्या तुम ब्लैक होल के बारे में बता सकते हो?

ब्लैक होल तब बनता है, जब कोई विशाल तारा अपने ही गुरुत्वाकर्षण की वजह से टूट जाता है. इससे स्पेसटाइम का एक ऐसा क्षेत्र बनता है जहां गुरुत्वाकर्षण इतना मज़बूत होता है कि कुछ भी, यहां तक कि रोशनी भी बाहर नहीं निकल पाती.

वाह, आप कितने कमाल की हो।

धन्यवाद.

अब शर्मिंदा मत कीजिए.

क्या आपके पास कोई और सवाल है जिसका जवाब आपको चाहिए?

ठीक है।

ऑडियो असिस्टेंट की सुविधा.

ठीक है, अब अगला सवाल.

यह एक लोकल असिस्टेंट होगा, जो वीडियो की सुविधाओं का इस्तेमाल करेगा.

यह पूरी तरह से ऑफ़लाइन काम करता है. इस बात को साबित करने के लिए, डेमो को कैंपिंग के दौरान दिखाया गया है. ऐसा लगता है कि यह डेमो किसी जंगल में रिकॉर्ड किया गया है.

आपको इस बात पर ध्यान देना चाहिए कि यह E4B मॉडल पर आधारित है.

यह नैचुरल तरीके से बात करता है.

हम इसे काम करने का तरीका सिखाएंगे.

यह बैकग्राउंड में टूल कॉल का इस्तेमाल कर रहा है और फ़ोन पर अलग-अलग चीज़ें ऐक्सेस कर सकता है.

यह काफ़ी मज़ेदार है.

नमस्ते Gemma, क्या अब हमारे पास इंटरनेट है?

नहीं, फ़िलहाल हमारे पास इंटरनेट कनेक्शन नहीं है.

यह चेतावनी किस बारे में है?

यह स्पैनिश में है.

यह साइन, प्यूमा के रहने की जगह के बारे में चेतावनी देता है.

इसमें बताया गया है कि प्यूमा स्थानीय पर्यावरण का हिस्सा हैं. इसलिए, अगर आपको कोई प्यूमा दिखे, तो सावधान रहें.

इस फ़ंक्शन का डेरिवेटिव क्या है?

x स्क्वेयर प्लस 7x प्लस 10 का डेरिवेटिव, 2x प्लस 7 है.

मज़ेदार होना

नमस्ते मेरे प्यारे दोस्तो।

नमस्ते, सिंडी.

Gemma, आज रात हमारी ग्रुप हाइक कब है?

ग्रुप हाइक शाम 6:00 बजे के लिए शेड्यूल किया गया है.

आज.

क्या यह प्यूमा है?

नहीं, वह एक कुत्ता है.

गुड बॉय.

सारा स्मूट

ठीक है, अब ऐप्लिकेशन बनाना शुरू करें.

यहां दिए गए लिंक, असल में चेकपॉइंट के लिंक हैं.

अगर आपको सीधे चेकपॉइंट और हमारे मॉडल कोड को देखना है, तो वह भी उपलब्ध है.

एमएल का इस्तेमाल किया जा सकता है. इसके लिए, Gemma, Gemini Nano 4, और ML Kit का लिंक मौजूद है.

चेकपॉइंट Hugging Face पर हैं और हमारा कोड Transformers के कोड बेस में है.

आप जाकर देख सकते हैं कि हमने क्या किया है.

Kaggle से भी चेकपॉइंट डाउनलोड किए जा सकते हैं.

मैं आपको फिर से याद दिलाना चाहता हूं कि अगर आपको एमएल किट के बारे में ज़्यादा जानना है, तो कृपया डेविड का एमएल किट प्रज़ेंटेशन देखें.

इसके बाद, चिंतन और फ़र्गस, LiteRT के बारे में प्रज़ेंटेशन देंगे.

अगर आपको LiteRT के ज़रिए अपने ऐप्लिकेशन में मॉडल को ऐक्सेस करने और इस्तेमाल करने का तरीका देखना है.

धन्यवाद.

मुझे यह देखने का बेसब्री से इंतज़ार है कि आप सभी क्या बनाने वाले हैं.