ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन की सुविधा, ML Kit के GenAI Prompt API के लिए क्वालिटी को बेहतर बनाने में कैसे मदद करती है

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ)

एमएल किट के प्रॉम्प्ट एपीआई के इस्तेमाल के उदाहरणों को प्रोडक्शन में लाने में आपकी मदद करने के लिए, हमें Vertex AI पर ऑन-डिवाइस मॉडल को टारगेट करने वाले, अपने-आप प्रॉम्प्ट ऑप्टिमाइज़ होने की सुविधा (एपीओ) के बारे में बताते हुए खुशी हो रही है. ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन एक ऐसा टूल है जो आपके इस्तेमाल के उदाहरणों के लिए, सबसे सही प्रॉम्प्ट अपने-आप ढूंढने में आपकी मदद करता है.

डिवाइस पर एआई की सुविधा अब कोई सपना नहीं रहा, बल्कि यह हकीकत में बदल गई है. Gemini Nano v3 को रिलीज़ करने के साथ ही, हम उपयोगकर्ताओं को भाषा समझने और मल्टीमॉडल की बेहतरीन सुविधाएं उपलब्ध करा रहे हैं. Gemini Nano मॉडल की मदद से, हम Android ईकोसिस्टम के अलग-अलग डिवाइसों पर काम कर सकते हैं. हालांकि, आने वाली पीढ़ी के स्मार्ट ऐप्लिकेशन बनाने वाले डेवलपर के लिए, एक शक्तिशाली मॉडल का ऐक्सेस पाना सिर्फ़ पहला चरण है. असल चुनौती कस्टम बनाने में है: मोबाइल हार्डवेयर की सीमाओं का उल्लंघन किए बिना, अपने खास इस्तेमाल के उदाहरण के लिए, फ़ाउंडेशन मॉडल को एक्सपर्ट लेवल की परफ़ॉर्मेंस के हिसाब से कैसे बनाया जाए?

सर्वर-साइड पर काम करने वाले बड़े एलएलएम, ज़्यादा बेहतर होते हैं. साथ ही, इन्हें डोमेन के हिसाब से कम अडजस्ट करने की ज़रूरत होती है. ज़रूरत पड़ने पर भी, LoRA (लो-रैंक अडैप्टेशन) फ़ाइन-ट्यूनिंग जैसे ज़्यादा बेहतर विकल्पों का इस्तेमाल किया जा सकता है. हालांकि, Android AICore के यूनीक आर्किटेक्चर में, शेयर किए गए, मेमोरी का कम इस्तेमाल करने वाले सिस्टम मॉडल को प्राथमिकता दी जाती है. इसका मतलब है कि शेयर की गई इन सिस्टम सेवाओं पर, हर ऐप्लिकेशन के लिए कस्टम LoRA अडैप्टर डिप्लॉय करने में समस्याएं आती हैं.

हालांकि, एक और तरीका है जो उतना ही असरदार हो सकता है. Vertex AI पर प्रॉम्प्ट को अपने-आप ऑप्टिमाइज़ करने की सुविधा (एपीओ) का इस्तेमाल करके, डेवलपर फ़ाइन-ट्यूनिंग जैसी क्वालिटी हासिल कर सकते हैं. साथ ही, वे Android के नेटिव एक्ज़ीक्यूशन एनवायरमेंट में आसानी से काम कर सकते हैं. बेहतर सिस्टम इंस्ट्रक्शन पर फ़ोकस करके, एपीओ की मदद से डेवलपर, मॉडल के व्यवहार को ज़्यादा मज़बूती और स्केलेबिलिटी के साथ अपनी ज़रूरत के मुताबिक बना सकते हैं. ऐसा फ़ाइन-ट्यूनिंग के पारंपरिक तरीकों से नहीं किया जा सकता.

ध्यान दें: Gemini Nano V3, Gemma 3N मॉडल का क्वालिटी ऑप्टिमाइज़ किया गया वर्शन है. ओपन सोर्स Gemma 3N मॉडल पर किए गए सभी प्रॉम्प्ट ऑप्टिमाइज़ेशन, Gemini Nano V3 पर भी लागू होंगे. ज़रूरी शर्तें पूरी करने वाले डिवाइसों पर, ML Kit GenAI API, Android डेवलपर के लिए क्वालिटी को बेहतर बनाने के लिए nano-v3 मॉडल का इस्तेमाल करते हैं

एपीओ, प्रॉम्प्ट को स्टैटिक टेक्स्ट के तौर पर नहीं, बल्कि प्रोग्राम की जा सकने वाली ऐसी सुविधा के तौर पर देखता है जिसे ऑप्टिमाइज़ किया जा सकता है. यह सर्वर-साइड मॉडल (जैसे, Gemini Pro और Flash) का इस्तेमाल करके, प्रॉम्प्ट के सुझाव देता है. साथ ही, अलग-अलग वर्शन का आकलन करता है और आपके टास्क के लिए सबसे सही वर्शन ढूंढता है. इस प्रोसेस में, परफ़ॉर्मेंस को बेहतर बनाने के लिए तीन खास तकनीकी तरीकों का इस्तेमाल किया जाता है:

1. गड़बड़ी का अपने-आप विश्लेषण करना: एपीओ, ट्रेनिंग डेटा से गड़बड़ी के पैटर्न का विश्लेषण करता है. इससे, शुरुआती प्रॉम्प्ट में मौजूद कमियों का अपने-आप पता चलता है.
2. सिमेंटिक इंस्ट्रक्शन डिस्टिलेशन: यह ट्रेनिंग के लिए दिए गए कई उदाहरणों का विश्लेषण करता है, ताकि किसी टास्क के "असल मकसद" का पता लगाया जा सके. इससे ऐसे निर्देश तैयार किए जाते हैं जो डेटा के असल डिस्ट्रिब्यूशन को ज़्यादा सटीक तरीके से दिखाते हैं.
3. पैरलल कैंडिडेट टेस्टिंग: एपीओ, एक बार में एक आइडिया की टेस्टिंग करने के बजाय, कई प्रॉम्प्ट कैंडिडेट जनरेट करता है और उनकी टेस्टिंग करता है. इससे क्वालिटी के लिए ग्लोबल मैक्सिमम की पहचान की जा सकती है.

एपीओ, फ़ाइन ट्यूनिंग क्वालिटी को क्यों बेहतर बना सकता है

आम तौर पर यह माना जाता है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग के मुकाबले हमेशा बेहतर क्वालिटी मिलती है. हालांकि, ऐसा नहीं है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट को डेटा के किसी खास डिस्ट्रिब्यूशन पर ओवर-इंडेक्स करने के लिए मजबूर किया जाता है. इससे अक्सर "कैटस्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. एपीओ, वेट में कोई बदलाव नहीं करता है. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को मुश्किल सिस्टम निर्देशों का पालन करने के लिए, अच्छी तरह से ट्रेन किया गया है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने के लिए, निर्देश के सही स्ट्रक्चर का पता लगाकर इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों का पता लगाता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने पर हमें पता चला है कि अलग-अलग इस्तेमाल के मामलों में, 5 से 8% तक सटीक नतीजे मिले हैं.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

डेवलपर के लिए, बिना किसी रुकावट वाला एंड-टू-एंड वर्कफ़्लो

आम तौर पर यह माना जाता है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग के मुकाबले हमेशा बेहतर क्वालिटी मिलती है. हालांकि, ऐसा नहीं है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट को डेटा के किसी खास डिस्ट्रिब्यूशन पर ओवर-इंडेक्स करने के लिए मजबूर किया जाता है. इससे अक्सर "कैटस्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. एपीओ, वेट में कोई बदलाव नहीं करता है. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को मुश्किल सिस्टम निर्देशों का पालन करने के लिए, अच्छी तरह से ट्रेन किया गया है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने के लिए, निर्देश के सही स्ट्रक्चर का पता लगाकर इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों का पता लगाता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने पर, हमें अलग-अलग इस्तेमाल के उदाहरणों में 5 से 8% तक की सटीक जानकारी मिली है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

नतीजा

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की रिलीज़, उपयोगकर्ता के डिवाइस पर जनरेटिव एआई के लिए एक अहम पड़ाव है. हम फ़ाउंडेशन मॉडल और एक्सपर्ट-लेवल परफ़ॉर्मेंस के बीच के अंतर को कम कर रहे हैं. साथ ही, डेवलपर को ज़्यादा बेहतर मोबाइल ऐप्लिकेशन बनाने के लिए टूल उपलब्ध करा रहे हैं. चाहे आपने ज़ीरो-शॉट ऑप्टिमाइज़ेशन का इस्तेमाल अभी शुरू किया हो या डेटा पर आधारित रिफ़ाइनमेंट की मदद से प्रोडक्शन को बढ़ाया हो, डिवाइस पर मौजूद अच्छी क्वालिटी की इंटेलिजेंस का इस्तेमाल करने का तरीका अब ज़्यादा आसान हो गया है.ML Kit के Prompt API और Vertex AI के Automated Prompt Optimization की मदद से, उपयोगकर्ता के डिवाइस पर इस्तेमाल के उदाहरणों को आज ही प्रोडक्शन में लॉन्च करें. 

इसी विषय से जुड़े लिंक: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer का दस्तावेज़
• Gemma 3N की सूचना देने वाला ब्लॉग