Android 向け LLM 測定の進化: 次世代の Android Bench

3 月に、実際の Android 開発タスク向けの LLM リーダーボードである Android Benchを発表しました。 Google の目標は、Android 開発におけるモデルの機能の透明性を高め、モデルの改善を促進して、日々のワークフローで役立つ AI オプションを提供することです。それ以来、オープンウェイト モデルの評価や、リーダーボードへの費用と効率のディメンションの追加など、皆様からのフィードバックに基づいてベンチマークを強化してきました。

AI 機能は常に進化しているため、測定もそれに合わせて進化する必要があります。7 月のリリースでは、モデルの評価に使用されるベンチマークエージェントの更新版を含む Harbor フレームワークを採用しました。 

評価の変更に伴い、7 月のリリースでは、8 つの新しいモデル（Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max）をリーダーボードに追加します。また、Android デベロッパー コミュニティの皆様がベンチマークに貢献できる機会も提供します。

Harbor フレームワークによる方法論のアップグレード

Android Bench の設計では、当時の主要な業界標準に基づいて方法論を策定しました。汎用ベンチマーク エージェントである mini-swe-agent v1 を使用し、一般的な Android 開発タスクのモデルの機能のベースライン測定を提供するために、Android 開発のニュアンスに合わせて調整しました。

Android 開発における最新のモデル機能を正確に測定する最先端の評価を提供し続けるために、ベンチマークを Harbor frameworkに合わせて標準化しています。Harbor は、誰でも簡単にベンチマークを実行し、好みの設定を評価し、結果を共有できるようにする標準と統合を定義し、透明性と可視性を高めます。

このアップグレードにより、モデルとその機能をより厳密に評価できるようになり、すべてのモデルでベンチマークを再実行して、更新されたベースラインを確立しました。スコアにわずかな変化がありますが、ウェブサイトの_アーカイブ_で過去のスコアを引き続き確認できます。

Android Bench が皆様のお役に立てるよう、評価と業界の成熟に合わせて継続的に更新していきます。

8 つの新しいモデルでリーダーボードを拡大

リーダーボードを最新の状態に保つための取り組みの一環として、Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max を Android Bench リーダーボードに追加しました。

Claude Fable 5 が 84.5 のスコアでリーダーボードのトップにランクインし、GPT 5.5 が 80.2 で 2 位、Claude Sonnet 5 が 76.2 で 3 位となっています。

オープンウェイト モデルのみを比較すると、GLM 5.2 が 72.2 でトップ、Kimi K2.7 Code が 70.4 で 2 位となっています。

更新されたリーダーボードでモデルのパフォーマンスと効率の指標を確認して、これらの新しいモデルと以前のモデルが、Jetpack Compose の移行、ウェアラブル ネットワーキング、プラットフォーム API の更新など、Android 固有の課題にどのように対応しているかを確認できます。  

コミュニティからの投稿を受け付ける Android Bench

Google は当初からオープンで透明性の高いアプローチを重視しており、そのため、元の方法論とテストハーネスを GitHub で公開しました。データセットに関するフィードバックを提供する方法を求める声が寄せられていたため、Android デベロッパー コミュニティの皆様が Android Bench を形作ることができるように、コラボレーションをさらに一歩進めます。

本日より、次の 2 つの方法で Android Bench に貢献できます。

1. 独自の Android 開発タスクを設計して送信し、モデルが重要なシナリオをどのように処理するかを評価します。
2. ベンチマーク評価を直接実行して共有し、Google のデータセットまたは独自のカスタムタスクに対して好みのモデルをテストします。

送信されたタスクを確認し、ベンチマークに追加するかどうかを評価します。世界中の Android デベロッパー コミュニティの多様な日常を真に反映するベンチマークを構築したいと考えています。

今後の展望

エージェント開発のオプションが増えるにつれて、最先端のベンチマークを維持することで、信頼できる AI アシスタントがよりスマートで、より便利で、より効果的になります。GitHub リポジトリにアクセスして、タスクを確認してください。タスクを送信して審査を依頼できます。また、Harbor Hubでデータセットを確認したり、評価を送信したりすることもできます。

これまでと同様に、ウェブサイトで 更新されたリーダーボードや 方法論をご確認いただけます。