Google은 개발자가 고품질 Android 앱을 더 빠르고 쉽게 빌드할 수 있도록 지원하고자 하며, 생산성을 높이는 한 가지 방법은 AI를 손쉽게 사용할 수 있도록 하는 것입니다. Google은 개발자가 Android 플랫폼의 미묘한 차이를 제대로 이해하는 AI를 원한다는 것을 알고 있습니다. 그래서 LLM이 Android 개발 작업을 얼마나 잘 수행하는지 측정해 왔습니다. 오늘 Android 개발을 위한 공식 LLM 리더보드인 Android Bench의 첫 번째 버전을 출시했습니다.

목표는 모델 제작자에게 Android 개발을 위한 LLM 기능을 평가할 수 있는 벤치마크를 제공하는 것입니다. 고품질 Android 개발의 명확하고 신뢰할 수 있는 기준을 설정함으로써 모델 제작자가 격차를 파악하고 개선을 가속화할 수 있도록 지원합니다. 이를 통해 개발자는 AI 어시스턴스를 위해 선택할 수 있는 다양한 유용한 모델을 사용하여 더 효율적으로 작업할 수 있으며 궁극적으로 Android 생태계 전반에서 앱 품질이 향상됩니다.

실제 Android 개발 작업으로 설계됨

Google은 다양한 일반적인 Android 개발 영역에 대한 작업 세트를 선별하여 업계 기준치를 만들었습니다. 다양한 난이도의 실제 과제로 구성되어 있으며 공개 GitHub Android 저장소에서 가져옵니다. 시나리오에는 Android 버전 간의 호환성 문제 해결, 웨어러블의 네트워킹과 같은 도메인별 작업, 최신 버전의 Jetpack Compose로의 이전 등이 있습니다.

각 평가에서는 LLM이 작업에 보고된 문제를 수정하도록 시도하며, 그런 다음 단위 또는 계측 테스트를 사용하여 이를 확인합니다. 이 모델에 구애받지 않는 접근 방식을 통해 복잡한 코드베이스를 탐색하고, 종속 항목을 이해하고, 일상적으로 발생하는 종류의 문제를 해결하는 모델의 능력을 측정할 수 있습니다. 

Google은 JetBrains를 비롯한 여러 LLM 제작자와 이 방법론을 검증했습니다. 

Android에 미치는 AI의 영향을 측정하는 것은 매우 어려운 일인데, 이렇게 건전하고 현실적인 프레임워크가 마련되어 기쁩니다. Google은 자체적으로 벤치마킹을 진행하고 있지만 Android Bench는 독특하고 환영할 만한 추가 기능입니다. 이 방법론은 Android 개발자가 지금 필요로 하는 엄격한 평가와 정확히 일치합니다.' 
- 키릴 스멜로프, JetBrains AI 통합 책임자

첫 번째 Android 벤치 결과

이번 초기 출시에서는 에이전트 또는 도구 사용에 초점을 맞추지 않고 순수하게 모델 성능을 측정하고자 했습니다. 모델은 작업의 16~72% 를 성공적으로 완료할 수 있었습니다. 이 범위는 일부 LLM이 이미 Android 지식에 대한 강력한 기준을 갖추고 있는 반면 다른 LLM은 개선의 여지가 더 많다는 것을 보여줍니다. 현재 모델의 수준과 관계없이 Google은 LLM 제작자가 Android 개발을 위해 모델을 개선하도록 장려하므로 지속적인 개선이 이루어질 것으로 예상됩니다. 

이번 첫 출시에서 가장 높은 평균 점수를 받은 LLM은 Gemini 3.1 Pro이며, Claude Opus 4.6이 그 뒤를 바짝 쫓고 있습니다. 최신 안정화 버전의 Android 스튜디오에서 API 키를 사용하여 Android 프로젝트의 AI 지원을 위해 평가된 모든 모델을 사용해 볼 수 있습니다.

개발자 및 LLM 제작자에게 투명성 제공

Google은 개방적이고 투명한 접근 방식을 중요하게 생각하므로 방법론, 데이터 세트, 테스트 하네스를 GitHub에서 공개적으로 제공합니다.

공개 벤치마크의 한 가지 과제는 모델이 학습 과정에서 평가 작업을 보았을 수 있는 데이터 오염 위험입니다. YouTube는 에이전트 궤적에 대한 철저한 수동 검토 또는 학습을 방지하기 위한 카나리아 문자열 통합 등 암기나 추측이 아닌 진정한 추론을 반영하도록 조치를 취했습니다. 

앞으로도 데이터 세트의 무결성을 유지하면서 벤치마크의 향후 출시를 위해 개선해 나갈 예정입니다(예: 작업의 양과 복잡성 증가).

Android Bench가 장기적으로 AI 지원을 어떻게 개선할 수 있을지 기대됩니다. Google의 비전은 개념과 고품질 코드 간의 격차를 해소하는 것입니다. Google은 상상하는 모든 것을 Android에서 빌드할 수 있는 미래를 위한 기반을 구축하고 있습니다.