ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ)

हम आपको यह बताते हुए बेहद खुशी हो रही है कि हम ML Kit Prompt API के इस्तेमाल के उदाहरणों को प्रोडक्शन में लाने में आपकी मदद करने के लिए, Vertex AI पर डिवाइस पर मौजूद मॉडल को टारगेट करने वाले, ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की सुविधा लॉन्च कर रहे हैं. ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन एक ऐसा टूल है जो इस्तेमाल के उदाहरणों के लिए, सबसे सही प्रॉम्प्ट अपने-आप ढूंढने में आपकी मदद करता है.

डिवाइस पर मौजूद एआई की सुविधा अब सिर्फ़ एक वादा नहीं है, बल्कि यह एक वास्तविकता है. Gemini Nano v3 के रिलीज़ होने के साथ, हम भाषा को समझने और मल्टीमॉडल की क्षमताओं को सीधे तौर पर उपयोगकर्ताओं के हाथों में दे रहे हैं. Gemini Nano मॉडल फ़ैमिली के ज़रिए, हम Android इकोसिस्टम में काम करने वाले डिवाइसों को ज़्यादा से ज़्यादा कवरेज दे रहे हैं. हालांकि, अगली पीढ़ी के स्मार्ट ऐप्लिकेशन बनाने वाले डेवलपर के लिए, एक शक्तिशाली मॉडल का ऐक्सेस पाना सिर्फ़ पहला चरण है. असली चुनौती कस्टम बनाने में है: मोबाइल हार्डवेयर की सीमाओं का उल्लंघन किए बिना, अपने इस्तेमाल के खास उदाहरण के लिए, फ़ाउंडेशन मॉडल को विशेषज्ञ-स्तर के परफ़ॉर्मेंस के हिसाब से कैसे बनाया जाए?

सर्वर-साइड पर, बड़े एलएलएम ज़्यादा बेहतर होते हैं और इन्हें डोमेन के हिसाब से कम अडैप्टेशन की ज़रूरत होती है. अगर ज़रूरत हो, तो LoRA (लो-रैंक अडैप्टेशन) फ़ाइन-ट्यूनिंग जैसे ज़्यादा बेहतर विकल्पों का इस्तेमाल किया जा सकता है. हालांकि, Android AICore के यूनीक आर्किटेक्चर में, शेयर किए गए, मेमोरी-इफ़िशिएंट सिस्टम मॉडल को प्राथमिकता दी जाती है. इसका मतलब है कि शेयर की गई इन सिस्टम सेवाओं पर, हर ऐप्लिकेशन के लिए कस्टम LoRA अडैप्टर डिप्लॉय करने में समस्याएं आती हैं.

हालांकि, एक और तरीका है जो उतना ही असरदार हो सकता है. Vertex AI पर प्रॉम्प्ट को अपने-आप ऑप्टिमाइज़ करने की सुविधा (एपीओ) का इस्तेमाल करके, डेवलपर फ़ाइन-ट्यूनिंग जैसी क्वालिटी हासिल कर सकते हैं. साथ ही, वे Android के नेटिव एक्ज़ीक्यूशन एनवायरमेंट में आसानी से काम कर सकते हैं. बेहतर सिस्टम इंस्ट्रक्शन पर फ़ोकस करके, एपीओ की मदद से डेवलपर, मॉडल के व्यवहार को ज़्यादा मज़बूती और स्केलेबिलिटी के साथ अपनी ज़रूरत के मुताबिक बना सकते हैं. ऐसा फ़ाइन-ट्यूनिंग के पारंपरिक तरीकों से नहीं किया जा सकता.

ध्यान दें: Gemini Nano V3, Gemma 3N मॉडल का बेहतर वर्शन है. Gemma 3N के ओपन सोर्स मॉडल पर किए गए सभी प्रॉम्प्ट ऑप्टिमाइज़ेशन, Gemini Nano V3 पर भी लागू होंगे. ज़रूरी शर्तें पूरी करने वाले डिवाइसों पर, ML Kit GenAI API, Android डेवलपर के लिए क्वालिटी को बेहतर बनाने के लिए nano-v3 मॉडल का इस्तेमाल करते हैं

एपीओ, प्रॉम्प्ट को स्टैटिक टेक्स्ट के तौर पर नहीं, बल्कि प्रोग्राम की जा सकने वाली ऐसी सुविधा के तौर पर देखता है जिसे ऑप्टिमाइज़ किया जा सकता है. यह सर्वर-साइड मॉडल (जैसे, Gemini Pro और Flash) का इस्तेमाल करके, प्रॉम्प्ट के सुझाव देता है. साथ ही, अलग-अलग वर्शन का आकलन करता है और आपके टास्क के लिए सबसे सही वर्शन ढूंढता है. इस प्रोसेस में, परफ़ॉर्मेंस को बेहतर बनाने के लिए तीन खास तकनीकी सिस्टम का इस्तेमाल किया जाता है:

1. गड़बड़ियों का अपने-आप विश्लेषण करने की सुविधा: APO, ट्रेनिंग डेटा से गड़बड़ी के पैटर्न का विश्लेषण करता है. इससे, शुरुआती प्रॉम्प्ट में मौजूद खास कमियों का अपने-आप पता चलता है.
2. सिमेंटिक इंस्ट्रक्शन डिस्टिलेशन: यह ट्रेनिंग के लिए दिए गए कई उदाहरणों का विश्लेषण करता है, ताकि किसी टास्क के "असल मकसद" का पता लगाया जा सके. इससे ऐसे निर्देश तैयार किए जाते हैं जो डेटा के असल डिस्ट्रिब्यूशन को ज़्यादा सटीक तरीके से दिखाते हैं.
3. पैरलल कैंडिडेट टेस्टिंग: एपीओ, एक बार में एक आइडिया की टेस्टिंग करने के बजाय, कई प्रॉम्प्ट कैंडिडेट जनरेट करता है और उनकी टेस्टिंग करता है. इससे क्वालिटी के लिए ग्लोबल मैक्सिमम की पहचान की जा सकती है.

एपीओ, फ़ाइन ट्यूनिंग क्वालिटी को क्यों बेहतर बना सकता है

आम तौर पर यह माना जाता है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग के मुकाबले हमेशा बेहतर क्वालिटी मिलती है. हालांकि, ऐसा नहीं है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट, डेटा के किसी खास डिस्ट्रिब्यूशन पर ज़्यादा इंडेक्स हो जाते हैं. इससे अक्सर "कैटास्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. APO में वेट में कोई बदलाव नहीं किया जाता. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को सिस्टम के मुश्किल निर्देशों का पालन करने के लिए, काफ़ी ट्रेनिंग दी गई है. APO इस सुविधा का इस्तेमाल करके, निर्देशों का सही स्ट्रक्चर पता लगाता है. इससे मॉडल की छिपी हुई क्षमताओं का पता चलता है. साथ ही, ऐसी रणनीतियों का पता चलता है जिन्हें इंजीनियर शायद ही खोज पाते हैं. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने पर हमें पता चला है कि अलग-अलग इस्तेमाल के मामलों में, सटीकता में 5 से 8% की बढ़ोतरी हुई है.डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

डेवलपर के लिए, बिना किसी रुकावट वाला एंड-टू-एंड वर्कफ़्लो

आम तौर पर यह माना जाता है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग के मुकाबले हमेशा बेहतर क्वालिटी मिलती है. हालांकि, ऐसा नहीं है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट, डेटा के किसी खास डिस्ट्रिब्यूशन पर ज़्यादा इंडेक्स हो जाते हैं. इससे अक्सर "कैटास्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. APO में वेट में कोई बदलाव नहीं किया जाता. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को सिस्टम के मुश्किल निर्देशों का पालन करने के लिए, काफ़ी ट्रेनिंग दी गई है. APO इस सुविधा का इस्तेमाल करके, निर्देशों का सही स्ट्रक्चर पता लगाता है. इससे मॉडल की छिपी हुई क्षमताओं का पता चलता है. साथ ही, ऐसी रणनीतियों का पता चलता है जिन्हें इंजीनियर शायद ही खोज पाते हैं. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने पर हमें पता चला है कि अलग-अलग इस्तेमाल के मामलों में, सटीकता में 5 से 8% की बढ़ोतरी हुई है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

नतीजा

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की रिलीज़, डिवाइस पर जनरेटिव एआई के लिए एक अहम पड़ाव है. फ़ाउंडेशन मॉडल और एक्सपर्ट-लेवल की परफ़ॉर्मेंस के बीच के अंतर को कम करके, हम डेवलपर को ज़्यादा बेहतर मोबाइल ऐप्लिकेशन बनाने के लिए टूल उपलब्ध करा रहे हैं. चाहे आपने ज़ीरो-शॉट ऑप्टिमाइज़ेशन का इस्तेमाल अभी शुरू किया हो या डेटा पर आधारित रिफ़ाइनमेंट के साथ प्रोडक्शन को स्केल किया हो, डिवाइस पर बेहतर एआई की सुविधा पाने का तरीका अब ज़्यादा आसान हो गया है. ML Kit के प्रॉम्प्ट एपीआई और Vertex AI के ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन की मदद से, डिवाइस पर इस्तेमाल के उदाहरणों को आज ही प्रोडक्शन में लॉन्च करें. 

इसी विषय से जुड़े लिंक: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer का दस्तावेज़
• Gemma 3N की सूचना देने वाला ब्लॉग