ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन की मदद से, ML Kit के GenAI Prompt API की क्वालिटी को कैसे बेहतर बनाया जा सकता है

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ)

हम आपको यह बताते हुए बेहद खुशी हो रही है कि हम ML Kit Prompt API के इस्तेमाल के उदाहरणों को प्रोडक्शन में लाने में आपकी मदद करने के लिए, Vertex AI पर डिवाइस पर मौजूद मॉडल को टारगेट करने वाले, ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की सुविधा लॉन्च कर रहे हैं. ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन एक ऐसा टूल है जो आपके इस्तेमाल के उदाहरणों के लिए, सबसे सही प्रॉम्प्ट अपने-आप ढूंढने में आपकी मदद करता है.

डिवाइस पर मौजूद एआई का दौर अब कोई सपना नहीं रहा, बल्कि यह हकीकत में बदल चुका है. Gemini Nano v3 को रिलीज़ करने के साथ ही, हम उपयोगकर्ताओं को भाषा समझने और मल्टीमॉडल की बेहतरीन सुविधाएं उपलब्ध करा रहे हैं. Gemini Nano के मॉडल की मदद से, हम Android ईकोसिस्टम के अलग-अलग डिवाइसों पर काम कर सकते हैं. हालांकि, अगली पीढ़ी के स्मार्ट ऐप्लिकेशन बनाने वाले डेवलपर के लिए, एक शक्तिशाली मॉडल का ऐक्सेस पाना सिर्फ़ पहला चरण है. असल चुनौती, कस्टम बनाने में है: मोबाइल हार्डवेयर की सीमाओं का उल्लंघन किए बिना, अपने खास इस्तेमाल के उदाहरण के लिए फ़ाउंडेशन मॉडल को एक्सपर्ट लेवल की परफ़ॉर्मेंस के हिसाब से कैसे बनाया जाए?

सर्वर-साइड पर काम करने वाले बड़े एलएलएम, ज़्यादा बेहतर होते हैं. साथ ही, इन्हें डोमेन के हिसाब से कम अडैप्ट करने की ज़रूरत होती है. ज़रूरत पड़ने पर भी, LoRA (लो-रैंक अडैप्टेशन) फ़ाइन-ट्यूनिंग जैसे ज़्यादा बेहतर विकल्पों का इस्तेमाल किया जा सकता है. हालांकि, Android AICore के यूनीक आर्किटेक्चर में, शेयर किए गए, मेमोरी का कम इस्तेमाल करने वाले सिस्टम मॉडल को प्राथमिकता दी जाती है. इसका मतलब है कि शेयर की गई इन सिस्टम सेवाओं पर, हर ऐप्लिकेशन के लिए कस्टम LoRA अडैप्टर डिप्लॉय करने में समस्याएं आती हैं.

हालांकि, एक और तरीका है जो उतना ही असरदार हो सकता है. Vertex AI पर ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) का इस्तेमाल करके, डेवलपर फ़ाइन-ट्यूनिंग के बराबर क्वालिटी हासिल कर सकते हैं. साथ ही, वे Android के नेटिव एक्ज़ीक्यूशन एनवायरमेंट में आसानी से काम कर सकते हैं. बेहतर सिस्टम इंस्ट्रक्शन पर फ़ोकस करके, एपीओ की मदद से डेवलपर, मॉडल के व्यवहार को ज़्यादा मज़बूत और स्केलेबल बना सकते हैं. ऐसा फ़ाइन-ट्यूनिंग के पारंपरिक समाधानों की तुलना में ज़्यादा आसानी से किया जा सकता है.

ध्यान दें: Gemini Nano V3, Gemma 3N मॉडल का बेहतर वर्शन है. ओपन सोर्स Gemma 3N मॉडल पर किए गए सभी प्रॉम्प्ट ऑप्टिमाइज़ेशन, Gemini Nano V3 पर भी लागू होंगे. इन डिवाइसों पर, ML Kit GenAI API, Android डेवलपर के लिए क्वालिटी को बेहतर बनाने के लिए nano-v3 मॉडल का इस्तेमाल करते हैं

एपीओ, प्रॉम्प्ट को स्टैटिक टेक्स्ट के तौर पर नहीं, बल्कि प्रोग्राम की जा सकने वाली ऐसी सुविधा के तौर पर देखता है जिसे ऑप्टिमाइज़ किया जा सकता है. यह सर्वर-साइड मॉडल (जैसे, Gemini Pro और Flash) का इस्तेमाल करके, प्रॉम्प्ट के सुझाव देता है. साथ ही, अलग-अलग वर्शन का आकलन करता है और आपके टास्क के लिए सबसे सही वर्शन ढूंढता है. इस प्रोसेस में, परफ़ॉर्मेंस को बेहतर बनाने के लिए तीन खास तकनीकी सिस्टम का इस्तेमाल किया जाता है:

1. गड़बड़ी का अपने-आप विश्लेषण करना: एपीओ, ट्रेनिंग डेटा से गड़बड़ी के पैटर्न का विश्लेषण करता है. इससे, शुरुआती प्रॉम्प्ट में मौजूद कमियों का अपने-आप पता चलता है.
2. सिमेंटिक इंस्ट्रक्शन डिस्टिलेशन: यह ट्रेनिंग के बड़े उदाहरणों का विश्लेषण करके, किसी टास्क के "असल मकसद" को समझता है. इसके बाद, ऐसे निर्देश बनाता है जो असल डेटा डिस्ट्रिब्यूशन को ज़्यादा सटीक तरीके से दिखाते हैं.
3. पैरलल कैंडिडेट टेस्टिंग: एपीओ, एक बार में एक आइडिया टेस्ट करने के बजाय, कई प्रॉम्प्ट कैंडिडेट जनरेट करता है और उन्हें पैरलल में टेस्ट करता है. इससे क्वालिटी के लिए ग्लोबल मैक्सिमम की पहचान की जा सकती है.

एपीओ, फ़ाइन ट्यूनिंग की क्वालिटी को क्यों बेहतर बना सकता है

आम तौर पर यह माना जाता है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग की तुलना में हमेशा बेहतर क्वालिटी मिलती है. हालांकि, यह एक गलत धारणा है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में काफ़ी असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट को डेटा के किसी खास डिस्ट्रिब्यूशन पर ओवर-इंडेक्स करने के लिए मजबूर किया जाता है. इससे अक्सर "कैटस्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. एपीओ, वेट में कोई बदलाव नहीं करता है. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को मुश्किल सिस्टम निर्देशों का पालन करने के लिए, अच्छी तरह से ट्रेन किया गया है. एपीओ, इस सिद्धांत का इस्तेमाल करके, निर्देश देने का सही तरीका ढूंढता है. इससे मॉडल की छिपी हुई क्षमताओं का पता चलता है. साथ ही, ऐसी रणनीतियों का पता चलता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने के लिए किए गए टेस्ट से पता चला है कि अलग-अलग इस्तेमाल के मामलों में, 5 से 8% तक की सटीकता में लगातार सुधार हुआ है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

डेवलपर के लिए आसान और एंड-टू-एंड वर्कफ़्लो

आम तौर पर यह माना जाता है कि फ़ाइन-ट्यूनिंग से, प्रॉम्प्टिंग की तुलना में हमेशा बेहतर क्वालिटी मिलती है. हालांकि, यह एक गलत धारणा है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट को डेटा के किसी खास डिस्ट्रिब्यूशन पर ओवर-इंडेक्स करने के लिए मजबूर किया जाता है. इससे अक्सर "कैटस्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स को बेहतर तरीके से समझ पाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में उसकी परफ़ॉर्मेंस खराब हो जाती है. एपीओ, वेट में कोई बदलाव नहीं करता है. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति का पता लगाना: Gemini Nano v3 को मुश्किल सिस्टम निर्देशों का पालन करने के लिए, अच्छी तरह से ट्रेन किया गया है. एपीओ, इस सिद्धांत का इस्तेमाल करके, निर्देश देने का सही तरीका ढूंढता है. इससे मॉडल की छिपी हुई क्षमताओं का पता चलता है. साथ ही, ऐसी रणनीतियों का पता चलता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में APO का आकलन किया. पुष्टि करने के लिए किए गए टेस्ट से पता चला है कि अलग-अलग इस्तेमाल के मामलों में, 5 से 8% तक की सटीकता में लगातार सुधार हुआ है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, APO ने क्वालिटी में काफ़ी सुधार किया है.

नतीजा

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) के लॉन्च होने से, उपयोगकर्ता के डिवाइस पर जनरेटिव एआई के इस्तेमाल में एक बड़ा बदलाव आया है. हम फ़ाउंडेशन मॉडल और एक्सपर्ट-लेवल परफ़ॉर्मेंस के बीच के अंतर को कम कर रहे हैं. साथ ही, डेवलपर को ज़्यादा बेहतर मोबाइल ऐप्लिकेशन बनाने के लिए टूल उपलब्ध करा रहे हैं. चाहे आपको ज़ीरो-शॉट ऑप्टिमाइज़ेशन का इस्तेमाल शुरू करना हो या डेटा पर आधारित रिफ़ाइनमेंट की मदद से प्रोडक्शन को स्केल करना हो, अब डिवाइस पर मौजूद इंटेलिजेंस को बेहतर बनाने का तरीका ज़्यादा आसान हो गया है.आज ही ML Kit के Prompt API और Vertex AI के Automated Prompt Optimization की मदद से, उपयोगकर्ता के डिवाइस पर इस्तेमाल के उदाहरणों को प्रोडक्शन में लॉन्च करें. 

इसी विषय से जुड़े कुछ लिंक: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer के बारे में जानकारी देने वाला दस्तावेज़
• Gemma 3N की सूचना देने वाला ब्लॉग