تحسين عملية تطوير تطبيقات Android بمساعدة الذكاء الاصطناعي وتحسين النماذج اللغوية الكبيرة باستخدام Android Bench

نريد أن نسهّل عليك إنشاء تطبيقات Android عالية الجودة بشكل أسرع، وإحدى الطرق التي نساعدك بها على زيادة إنتاجيتك هي توفير الذكاء الاصطناعي في متناول يدك. ندرك أنّك بحاجة إلى ذكاء اصطناعي يفهم بدقة الفروق الدقيقة في نظام Android الأساسي، ولهذا السبب كنّا نقيس أداء النماذج اللغوية الكبيرة في مهام تطوير Android. أطلقنا اليوم الإصدار الأول من Android Bench، وهو قائمة الصدارة الرسمية للنماذج اللغوية الكبيرة في مجال تطوير تطبيقات Android.

هدفنا هو تزويد صانعي النماذج بمعيار لتقييم إمكانات النماذج اللغوية الكبيرة في تطوير تطبيقات Android. من خلال وضع معيار واضح وموثوق لما يعنيه تطوير تطبيقات Android عالية الجودة، نساعد صانعي النماذج في تحديد الثغرات وتسريع التحسينات، ما يتيح للمطوّرين العمل بكفاءة أكبر مع مجموعة أوسع من النماذج المفيدة للاختيار من بينها للحصول على مساعدة الذكاء الاصطناعي، وسيؤدي ذلك في النهاية إلى إنشاء تطبيقات عالية الجودة في منظومة Android المتكاملة.

مصمَّمة لتنفيذ مهام تطوير تطبيقات Android في العالم الواقعي

أنشأنا مقياس الأداء من خلال تنظيم مجموعة مهام في مجموعة من مجالات تطوير Android الشائعة. وتتألف من تحديات حقيقية متفاوتة الصعوبة، يتم الحصول عليها من مستودعات GitHub Android العامة. وتشمل السيناريوهات حلّ التغييرات التي قد تؤدي إلى عطل في جميع إصدارات Android، والمهام المتعلّقة بنطاق معيّن، مثل الاتصال بالشبكة على الأجهزة القابلة للارتداء، والترقية إلى أحدث إصدار من Jetpack Compose، على سبيل المثال لا الحصر.

يحاول كل تقييم أن يجعل نموذج LLM يصلح المشكلة التي تم الإبلاغ عنها في المهمة، والتي نتحقق منها بعد ذلك باستخدام اختبارات الوحدة أو اختبار لقياس حالة التطبيق. يتيح لنا هذا النهج المستقل عن النماذج قياس قدرة النموذج على التعامل مع قواعد الرموز البرمجية المعقّدة وفهم التبعيات وحلّ المشاكل التي تواجهها يوميًا. 

وقد تحقّقنا من صحة هذه المنهجية مع العديد من صانعي النماذج اللغوية الكبيرة، بما في ذلك JetBrains. 

"إنّ قياس تأثير الذكاء الاصطناعي على Android يمثّل تحديًا كبيرًا، لذا من الرائع رؤية إطار عمل بهذا المستوى من الدقة والواقعية. ومع أنّنا ننشط في قياس أدائنا، فإنّ Android Bench يمثّل إضافة فريدة ومرحّب بها. هذه المنهجية هي بالضبط نوع التقييم الدقيق الذي يحتاجه مطوّرو برامج Android في الوقت الحالي". 
- كيريل سميلوف، رئيس قسم عمليات دمج الذكاء الاصطناعي في JetBrains.

النتائج الأولى لاختبار Android Bench

في هذا الإصدار الأوّلي، أردنا قياس أداء النموذج فقط وعدم التركيز على استخدام الوكلاء أو الأدوات. تمكّنت النماذج من إكمال %16 إلى %72 من المهام بنجاح. هذا النطاق الواسع يوضّح أنّ بعض نماذج LLM لديها بالفعل قاعدة معرفية قوية حول Android، بينما يحتاج البعض الآخر إلى تحسين. بغض النظر عن مستوى النماذج حاليًا، نتوقّع أن يستمر تحسّنها، لأنّنا نشجّع صانعي النماذج اللغوية الكبيرة على تحسين نماذجهم لتطوير تطبيقات Android. 

النموذج اللغوي الكبير الذي حصل على أعلى متوسط نتيجة في هذا الإصدار الأول هو Gemini 3.1 Pro، يليه عن كثب Claude Opus 4.6. يمكنك تجربة جميع النماذج التي قيّمناها للمساعدة المستندة إلى الذكاء الاصطناعي في مشاريع Android باستخدام مفاتيح واجهة برمجة التطبيقات في أحدث إصدار ثابت من استوديو Android.

توفير الشفافية للمطوّرين وصنّاع النماذج اللغوية الكبيرة

نحن نقدّر النهج المفتوح والشفاف، لذا جعلنا منهجيتنا ومجموعة البيانات ومفعِّل الاختبار متاحة للجميع على GitHub.

من التحديات التي تواجه أي معيار تقييم علني هو خطر تلوّث البيانات، حيث قد تكون النماذج قد اطّلعت على مهام التقييم أثناء عملية تدريبها. لقد اتّخذنا تدابير لضمان أن تعكس نتائجنا الاستدلال الحقيقي بدلاً من الحفظ أو التخمين، بما في ذلك إجراء مراجعة يدوية شاملة لمسارات الوكلاء، أو دمج سلسلة كناري لمنع التدريب. 

في المستقبل، سنواصل تطوير منهجيتنا للحفاظ على سلامة مجموعة البيانات، مع إجراء تحسينات أيضًا على الإصدارات المستقبلية من المعيار، مثل زيادة كمية المهام وتعقيدها.

نتطلّع إلى معرفة كيف يمكن أن يحسّن Android Bench المساعدة المستندة إلى الذكاء الاصطناعي على المدى الطويل. تتمثّل رؤيتنا في سدّ الفجوة بين المفهوم والرمز البرمجي عالي الجودة. نحن نضع الأساس لمستقبل يتيح لك إنشاء أي شيء تتخيّله على Android.