ارتقای توسعه Android با کمک هوش مصنوعی و بهبود مدل‌های زبانی بزرگ با Android Bench

می‌خواهیم ساختن برنامه‌های Android با کیفیت بالا را برای شما سریع‌تر و آسان‌تر کنیم و یکی از راه‌هایی که به شما کمک می‌کنیم بهره‌وری بیشتری داشته باشید، قرار دادن هوش مصنوعی در دسترس شما است. می‌دانیم که شما هوش مصنوعی‌ای می‌خواهید که واقعاً تفاوت‌های ظریف پلاتفرم Android را درک کند، به همین دلیل است که عملکرد مدل‌های زبانی بزرگ را در انجام کارهای توسعه Android اندازه‌گیری کرده‌ایم. امروز اولین نسخه Android Bench، جدول رده‌بندی رسمی مدل‌های زبانی بزرگ برای توسعه Android، را منتشر کردیم.

هدف ما ارائه معیاری به سازندگان مدل برای ارزیابی قابلیت‌های مدل زبانی بزرگ برای توسعه Android است. با ایجاد یک خط پایه واضح و قابل‌اعتماد برای اینکه توسعه Android با کیفیت بالا چگونه است، به سازندگان مدل کمک می‌کنیم تا شکاف‌ها را شناسایی کنند و بهبودها را تسریع بخشند—که به توسعه‌دهندگان امکان می‌دهد با طیف وسیع‌تری از مدل‌های مفید برای انتخاب کمک هوش مصنوعی کارآمدتر کار کنند—که درنهایت منجر به برنامه‌های با کیفیت بالاتر در سراسر بوم‌سازگان Android خواهد شد.

طراحی‌شده با تکالیف توسعه Android در دنیای واقعی

ما این محک را با گردآوری مجموعه‌ای از تکالیف دربرابر طیفی از حوزه‌های رایج توسعه Android ایجاد کردیم. این مجموعه از چالش‌های واقعی با سطوح دشواری مختلف تشکیل شده است که از مخازن عمومی GitHub Android گرفته شده‌اند. سناریوها شامل حل تغییرات مخرب در نسخه‌های Android، تکالیف خاص دامنه مانند شبکه‌سازی در دستگاه‌های پوشیدنی، و انتقال به جدیدترین نسخه Jetpack Compose، و موارد دیگر می‌شود.

هر ارزیابی تلاش می‌کند تا LLM مشکل گزارش‌شده در تکلیف را برطرف کند، سپس ما آن را بااستفاده از آزمایش‌های واحد یا ابزار دقیق درستی‌سنجی می‌کنیم. این رویکرد مستقل از مدل به ما امکان می‌دهد توانایی مدل را در پیمایش پایگاه‌های کد پیچیده، درک وابستگی‌ها، و حل مشکلاتی که هر روز با آن‌ها مواجه می‌شوید بسنجیم. 

ما این روش‌شناسی را با چندین سازنده مدل زبانی بزرگ، ازجمله JetBrains، اعتبارسنجی کردیم. 

«سنجش تأثیر هوش مصنوعی بر Android چالشی بزرگ است، بنابراین دیدن چارچوبی که این‌قدر منطقی و واقع‌بینانه باشد عالی است. درحالی‌که ما فعالانه درحال محک زدن خودمان هستیم، Android Bench یک افزونه منحصربه‌فرد و خوشایند است. این روش دقیقاً همان نوع ارزیابی دقیقی است که توسعه‌دهندگان Android درحال‌حاضر به آن نیاز دارند.» 
- کیریل اسملوف، رئیس ادغام‌های هوش مصنوعی در JetBrains.

اولین نتایج Android Bench

برای این نسخه اولیه، می‌خواستیم صرفاً عملکرد مدل را بسنجیم و روی استفاده از عامل یا ابزار تمرکز نکنیم. مدل‌ها توانستند ۱۶ تا ۷۲ درصد از تکالیف را باموفقیت تکمیل کنند. این طیف گسترده نشان می‌دهد که برخی‌از مدل‌های زبانی بزرگ ازقبل خط مبنای قوی‌ای برای دانش Android دارند، درحالی‌که برخی دیگر جای بیشتری برای بهبود دارند. صرف‌نظر از اینکه مدل‌ها اکنون در چه وضعیتی هستند، ما انتظار بهبود مستمر را داریم زیرا سازندگان مدل زبانی بزرگ را تشویق می‌کنیم تا مدل‌های خود را برای توسعه Android بهبود بخشند. 

مدل زبانی بزرگ با بالاترین میانگین امتیاز برای این نسخه اول Gemini 3.1 Pro است و Claude Opus 4.6 با فاصله کمی پس‌از آن قرار دارد. بااستفاده از کلیدهای API در جدیدترین نسخه پایدار Android Studio، می‌توانید همه مدل‌هایی را که برای کمک هوش مصنوعی برای پروژه‌های Android شما ارزیابی کرده‌ایم امتحان کنید.

ارائه شفاف‌سازی به توسعه‌دهندگان و سازندگان مدل زبانی بزرگ

ما برای رویکرد باز و شفاف ارزش قائل هستیم، بنابراین روش‌شناسی، مجموعه داده‌ها، و مجموعه داده‌های تست خود را به‌طور عمومی در GitHub دردسترس قرار دادیم.

یکی از چالش‌های هر محک عمومی، خطر آلودگی داده‌ها است، جایی که مدل‌ها ممکن است تکالیف ارزیابی را درطول فرایند آموزش خود دیده باشند. ما اقداماتی انجام داده‌ایم تا مطمئن شویم نتایج ما بازتاب‌دهنده استدلال واقعی است، نه حفظ کردن یا حدس زدن. این اقدامات شامل بررسی دستی دقیق مسیرهای عامل یا ادغام یک رشته قناری برای جلوگیری از آموزش است. 

در آینده، ما به توسعه روش خود برای حفظ یکپارچگی مجموعه داده ادامه خواهیم داد و درعین‌حال بهبودهایی را برای نسخه‌های آتی محک ایجاد خواهیم کرد—برای مثال، افزایش کمیت و پیچیدگی تکالیف.

مشتاقیم ببینیم Android Bench چگونه می‌تواند کمک هوش مصنوعی را در درازمدت بهبود بخشد. چشم‌انداز ما این است که فاصله بین مفهوم و کد باکیفیت را ازبین ببریم. ما درحال ساختن پایه‌ای برای آینده‌ای هستیم که در آن هرچه را تصور کنید می‌توانید در Android بسازید.