Android Bench を使用して AI を活用した Android 開発を強化し、LLM を改善する

Google は、高品質な Android アプリをより迅速かつ簡単に構築できるようにしたいと考えています。生産性を高めるための方法の一つとして、AI を活用しています。Google は、Android プラットフォームのニュアンスを真に理解する AI を皆様が求めていることを認識しています。そのため、LLM が Android 開発タスクをどのように実行するかを測定してきました。本日、Android 開発向けの LLM の公式リーダーボードである Android Bench の最初のバージョンをリリースしました。

Google の目標は、Android 開発向けの LLM の機能を評価するためのベンチマークをモデル作成者に提供することです。高品質な Android 開発の明確で信頼性の高いベースラインを確立することで、モデル作成者がギャップを特定して改善を加速できるよう支援します。これにより、デベロッパーは AI アシスタンスに役立つ幅広いモデルを選択して、より効率的に作業できるようになります。最終的には、Android エコシステム全体でアプリの品質が向上します。

実際の Android 開発タスクを想定して設計

ベンチマークは、Android 開発の幅広い一般的領域を対象としたタスクセットを厳選して作成しました。これは、公開 GitHub Android リポジトリから取得したさまざまな難易度の実際の課題で構成されています。たとえば、Android リリース間の破壊的変更の解決、ウェアラブルのネットワーキングなどのドメイン固有のタスク、最新バージョンの Jetpack Compose への移行などがあります。

各評価では、LLM がタスクで報告された問題を修正しようとし、その結果を単体テストまたは計測テストで検証します。このモデルに依存しないアプローチにより、複雑なコードベースをナビゲートし、依存関係を理解し、日常的に発生する問題を解決するモデルの能力を測定できます。

この方法論は、JetBrains を含む複数の LLM メーカーによって検証されています。

「Android における AI の影響を測定することは非常に難しい課題ですが、このフレームワークは健全で現実的です。Google はベンチマークを積極的に行っていますが、Android Bench はユニークで歓迎すべき追加です。この手法は、まさに Android デベロッパーが今必要としている厳密な評価です。」 
- JetBrains の AI 統合責任者、Kirill Smelov 氏。

最初の Android Bench の結果

今回の初回リリースでは、エージェントやツールの使用に焦点を当てるのではなく、モデルのパフォーマンスのみを測定したいと考えました。モデルはタスクの 16 ～ 72% を正常に完了できました。この範囲は、一部の LLM がすでに Android の知識の強力なベースラインを持っている一方で、他の LLM には改善の余地があることを示しています。現在のモデルの状況に関係なく、Google は LLM メーカーに Android 開発向けのモデルの強化を推奨しており、今後も改善が続くことを期待しています。

この初回リリースで最も高い平均スコアを獲得した LLM は Gemini 3.1 Pro で、Claude Opus 4.6 がそれに続いています。Android Studio の最新の安定版で API キーを使用すると、Android プロジェクトの AI アシスタンス用に評価したすべてのモデルを試すことができます。

デベロッパーと LLM メーカーに透明性を提供

Google はオープンで透明性の高いアプローチを重視しているため、Google の方法論、データセット、テストハーネスを GitHub で一般公開しています。

公開ベンチマークの課題の一つは、データ汚染のリスクです。モデルがトレーニング プロセスで評価タスクを見た可能性があるためです。Google では、エージェントの軌跡の徹底的な手動レビューや、トレーニングを抑制するためのカナリア文字列の統合など、結果が暗記や推測ではなく、真の推論を反映するようにするための対策を講じています。

今後も、データセットの完全性を維持しながら、ベンチマークの将来のリリースに向けて改善を続けていく予定です。たとえば、タスクの量と複雑さを増やすなどです。

Google は、Android Bench が長期的に AI アシスタンスをどのように改善できるかを楽しみにしています。Google のビジョンは、コンセプトと高品質なコードのギャップを埋めることです。Google は、どのようなアイデアでも Android で実現できる未来の基盤を構築しています。