Android Bench की मदद से, एआई की मदद से Android ऐप्लिकेशन बनाने की प्रोसेस को बेहतर बनाना और एलएलएम को बेहतर बनाना

हम चाहते हैं कि आप अच्छी क्वालिटी वाले Android ऐप्लिकेशन को तेज़ी से और आसानी से बना पाएं. इसके लिए, हम एआई को आपके लिए उपलब्ध करा रहे हैं, ताकि आप ज़्यादा बेहतर तरीके से काम कर सकें. हम जानते हैं कि आपको ऐसा एआई चाहिए जो Android प्लैटफ़ॉर्म की बारीकियों को समझ सके. इसलिए, हम यह मेज़र कर रहे हैं कि एलएलएम, Android डेवलपमेंट के टास्क कैसे पूरे करते हैं. आज हमने Android Bench का पहला वर्शन रिलीज़ किया है. यह Android डेवलपमेंट के लिए, LLM का आधिकारिक लीडरबोर्ड है.

हमारा लक्ष्य, मॉडल बनाने वाले क्रिएटर्स को एक ऐसा बेंचमार्क उपलब्ध कराना है जिससे वे Android ऐप्लिकेशन बनाने के लिए, एलएलएम की क्षमताओं का आकलन कर सकें. Android ऐप्लिकेशन बनाने के लिए, अच्छी क्वालिटी के स्टैंडर्ड तय करके हम मॉडल बनाने वालों की मदद कर रहे हैं. इससे वे कमियों का पता लगा सकते हैं और उन्हें तेज़ी से ठीक कर सकते हैं. इससे डेवलपर को ज़्यादा कुशलता से काम करने में मदद मिलती है. साथ ही, वे एआई की मदद पाने के लिए, ज़्यादा मददगार मॉडल चुन सकते हैं. इससे Android के पूरे नेटवर्क में, बेहतर क्वालिटी वाले ऐप्लिकेशन उपलब्ध कराए जा सकेंगे.

इसे Android डेवलपमेंट के असल दुनिया के टास्क के हिसाब से डिज़ाइन किया गया है

हमने Android डेवलपमेंट के सामान्य पहलुओं से जुड़े टास्क का एक सेट तैयार करके, बेंचमार्क बनाया है. इसमें अलग-अलग मुश्किल लेवल की असली चुनौतियां शामिल हैं. इन्हें सार्वजनिक तौर पर उपलब्ध GitHub Android रिपॉज़िटरी से लिया गया है. इनमें Android के अलग-अलग वर्शन में हुए बड़े बदलावों को ठीक करना, डोमेन से जुड़े टास्क (जैसे, पहनने लायक डिवाइसों पर नेटवर्किंग) करना, और Jetpack Compose के नए वर्शन पर माइग्रेट करना शामिल है.

हर आकलन में, एलएलएम को टास्क में बताई गई समस्या को ठीक करने के लिए कहा जाता है. इसके बाद, हम यूनिट या इंस्ट्रुमेंटेशन टेस्ट का इस्तेमाल करके इसकी पुष्टि करते हैं. मॉडल से अलग इस अप्रोच की मदद से, हम यह मेज़र कर पाते हैं कि कोई मॉडल, मुश्किल कोडबेस को नेविगेट करने, डिपेंडेंसी को समझने, और रोज़मर्रा की समस्याओं को हल करने में कितना सक्षम है. 

हमने इस तरीके की पुष्टि, एलएलएम बनाने वाली कई कंपनियों के साथ की है. इनमें JetBrains भी शामिल है. 

“Android पर एआई के असर का आकलन करना एक बड़ी चुनौती है. इसलिए, इस तरह के बेहतरीन और भरोसेमंद फ़्रेमवर्क को देखकर बहुत अच्छा लगा. हम खुद को बेंचमार्क करने के लिए लगातार काम कर रहे हैं. ऐसे में, Android Bench एक यूनीक और बेहतरीन प्लैटफ़ॉर्म है. यह तरीका, Android डेवलपर के लिए काफ़ी मददगार है.” 
- किरिल स्मेलोव, JetBrains में एआई इंटिग्रेशन के हेड.

Android Bench के पहले नतीजे

इस शुरुआती रिलीज़ के लिए, हम सिर्फ़ मॉडल की परफ़ॉर्मेंस को मेज़र करना चाहते थे. हमारा फ़ोकस, एजेंटिक या टूल के इस्तेमाल पर नहीं था. मॉडल, 16 से 72% टास्क को पूरा कर पाए. यह एक बड़ी रेंज है. इससे पता चलता है कि कुछ एलएलएम के पास Android के बारे में पहले से ही अच्छी जानकारी है, जबकि अन्य एलएलएम को इस बारे में और जानकारी देने की ज़रूरत है. फ़िलहाल, मॉडल की परफ़ॉर्मेंस कैसी भी हो, हम उम्मीद करते हैं कि इसमें लगातार सुधार होता रहेगा. ऐसा इसलिए, क्योंकि हम एलएलएम बनाने वाली कंपनियों को Android डेवलपमेंट के लिए अपने मॉडल को बेहतर बनाने के लिए बढ़ावा दे रहे हैं. 

पहली रिलीज़ के लिए, सबसे ज़्यादा औसत स्कोर पाने वाला एलएलएम Gemini 3.1 Pro है. इसके बाद, Claude Opus 4.6 का स्कोर सबसे ज़्यादा है. Android प्रोजेक्ट के लिए एआई की मदद से काम करने वाले सभी मॉडल को आज़माया जा सकता है. इसके लिए, Android Studio के नए स्टेबल वर्शन में एपीआई पासकोड का इस्तेमाल करें.

डेवलपर और एलएलएम बनाने वालों को पारदर्शिता के साथ जानकारी देना

हम ओपन और पारदर्शी तरीके को अहमियत देते हैं. इसलिए, हमने अपनी कार्यप्रणाली, डेटासेट, और टेस्ट हार्नेस को GitHub पर सार्वजनिक तौर पर उपलब्ध कराया है.

किसी भी सार्वजनिक बेंचमार्क के लिए, डेटा में गड़बड़ी होने का जोखिम एक चुनौती है. ऐसा इसलिए, क्योंकि ट्रेनिंग के दौरान मॉडल ने आकलन के टास्क देखे हो सकते हैं. हमने यह पक्का करने के लिए कई कदम उठाए हैं कि हमारे नतीजे, रटने या अनुमान लगाने के बजाय असली गहराई से विश्लेषण को दिखाएं. इनमें एजेंट के जवाबों की मैन्युअल तरीके से पूरी समीक्षा करना या ट्रेनिंग को हतोत्साहित करने के लिए कैनरी स्ट्रिंग को इंटिग्रेट करना शामिल है.

हम आने वाले समय में, डेटासेट की इंटिग्रिटी बनाए रखने के लिए, अपनी कार्यप्रणाली को बेहतर बनाते रहेंगे. साथ ही, बेंचमार्क के आने वाले वर्शन में सुधार करते रहेंगे. उदाहरण के लिए, टास्क की संख्या और जटिलता को बढ़ाना.

हम यह देखने के लिए उत्सुक हैं कि Android Bench, एआई की मदद से मिलने वाली सुविधाओं को लंबे समय तक कैसे बेहतर बना सकता है. हमारा लक्ष्य, कॉन्सेप्ट और क्वालिटी कोड के बीच के अंतर को कम करना है. हम आने वाले समय के लिए एक ऐसा प्लैटफ़ॉर्म तैयार कर रहे हैं जहां आप अपनी कल्पना को Android पर साकार कर सकें.