Android Skills 내부 - 지원 중단을 위해 빌드됨

4월에 공식 Android Skills 를 출시했는데, 반응이 모든 예상을 뛰어넘었습니다. 이 블로그 게시물에서는 프로젝트의 철학과 방법론을 설명하면서 받은 의견 중 일부를 다루겠습니다. 또한 이를 통해 스킬을 설치하고 사용할 때 백그라운드에서 발생하는 상황을 이해하여 토큰과 시간을 더 효율적으로 사용할 수 있기를 바랍니다.

공식 스킬이 너무 적은 이유는 무엇인가요?

현재는 최첨단 (SOTA) 모델에 검증 가능한 지식 격차가 있는 경우에만 새로운 스킬을 고려합니다. 간단히 말해 모델이 이미 알고 있는 것을 가르칠 필요가 없습니다. (몇 가지 예외가 있지만 계속 읽어보세요.)

지금까지 약 20개의 공식 스킬을 출시했으며, 이러한 스킬은 표준 모델이 아직 완전히 기반을 두고 있지 않은 매우 구체적이고 빠르게 변화하는 영역(예: AGP 9, 탐색 3, 고급 카메라 API, Perfetto SQL)을 의도적으로 타겟팅합니다.

더 일반적인 핵심 스킬은 어떤가요? 설치된 모든 스킬은 시작하는 모든 작업의 기준 컨텍스트에 100~200개의 토큰을 삽입합니다. 스킬이 실제로 활성화되면 이 개수가 수천 개로 빠르게 늘어날 수 있습니다. 대부분의 경우 기본 스킬을 축적하는 것은 비생산적이고 비용이 많이 듭니다. 기본 Kotlin 또는 Compose 작성을 위한 스킬을 설치하기 전에 선택한 LLM에 스킬이 정말로 필요한지, 아니면 이미 이러한 주제를 충분히 알고 있는지 고려해 보세요. 

스킬 평가

출시 전에 각 스킬은 스킬이 명확한 가치를 제공함을 증명하는 포괄적인 평가 세트를 대상으로 테스트됩니다. 이러한 평가는 스킬이 활성 상태일 때는 통과해야 하고 그렇지 않은 경우에는 실패해야 합니다. 평가는 스킬에 대한 통합 테스트와 같습니다. 

timeout_s: 1200
repository:
  url: [redacted - internal git repo]
  working_dir: wear_compose_m3_empty_app
category_ids:
  - wear
prompt: |-
  Add a horizontal pager to MainActivity.kt. Have three pages in the pager. Each page should contain
  the text "Page 1", "Page 2", and "Page 3" respectively in the center of the screen.
commands:
  build:
    - ./gradlew assembleDebug
acceptance_criteria:
  project_builds: true
  llm_diff_judge:
    - Must use `HorizontalPagerScaffold`.
    - Each page should use `AnimatedPage` to wrap a `ScreenScaffold`.

웨어 앱에서 가로 페이지 넘기기의 올바른 구현을 확인하는 평가 예

최소한 Android 스튜디오에서 최신 Gemini Flash 모델을 사용하여 스킬을 테스트합니다. 스킬에 따라 Gemini Pro와 같은 다른 모델, Antigravity와 같은 다른 에이전트, 서드 파티 시스템과의 호환성도 보장합니다.

모든 평가는 기술 자료에 액세스하여 실행되므로 정보가 문서에 있고 모델이 검색하기로 결정한 경우 스킬을 게시하지 않습니다.

Android 기술 자료 사용 (Android 스튜디오 또는 Android CLI)

Android 앱을 개발하는 경우 항상 Android 기술 자료를 사용하여 공식 문서에 액세스해야 합니다. Android 스튜디오에서 에이전트를 사용하는 경우 이미 도구로 사용할 수 있지만 다른 에이전트를 사용하는 경우 Android CLI를 설치하세요. 무엇보다도 에이전트가 공식 Android 문서에 액세스할 수 있는 docs 명령어가 포함되어 있습니다. 단일 도구를 사용하는 것이 수백 개의 스킬을 설치하는 것보다 훨씬 효율적입니다.

모델이 지나치게 자신감 있는 태도를 보이고 문서를 더 자주 참조하도록 하려면 AGENTS.md 파일 또는 이와 동등한 파일에 'Android API를 처리할 때는 항상 공식 Android 문서를 참조하세요'를 추가하는 것이 매우 일반적인 방법입니다. 물론 프롬프트에서 에이전트가 문서를 직접 확인하도록 요청하여 이를 강제할 수도 있습니다.

병합 요청이 사용 중지된 이유는 무엇인가요?

평가 프레임워크는 오픈소스화할 수 없는 내부 인프라에 의존하기 때문에 새로운 스킬에 대한 직접 병합 요청을 수락할 수 없습니다. 이 인프라가 없으면 수신되는 PR 변경사항을 재평가할 방법이 없습니다. 하지만 커뮤니티 의견을 적극적으로 모니터링하고 있습니다. 버그를 신고하거나 최적화를 제안하거나 새로운 공식 스킬을 요청하려면 문제를 제출하세요.

핵심 또는 기본 스킬이 유용한 경우는 언제인가요?

SOTA 모델에는 일반적으로 기본 스킬이 필요하지 않지만 핵심 또는 커뮤니티에서 빌드한 스킬을 사용 설정하면 실질적인 가치를 더하는 시나리오가 있습니다. 예를 들면 다음과 같습니다.

• 모호한 프롬프트를 사용하고 있습니다. 스킬은 의도를 증폭합니다. '이 화면에 애니메이션 추가'와 같은 느슨한 프롬프트를 제공하면 특정 Compose 애니메이션 스킬이 모델에 영감을 주어 모델이 고려하지 않았을 수도 있는 최신 API 또는 스크린샷 테스트 패턴으로 모델을 유도할 수 있습니다.
• 더 작고 저렴한 모델을 사용하고 싶습니다: Frontier LLM은 비용이 많이 듭니다. Gemma 4와 같은 더 작은 오픈 웨이트 모델에 일상적인 작업을 오프로드하는 경우 기본 스킬을 사용 설정하면 더 작은 매개변수에서 누락되는 지식 격차를 채울 수 있습니다.
• 기존 코드를 리팩터링하거나 검토하고 있습니다. 모델은 작동하는 코드를 생성하는 데 탁월하지만 이전 코드베이스를 수정할 때는 최신 정확도로 코드를 다시 작성하는 것보다 주변의 기존 패턴과 일관성을 유지하는 것을 우선시하는 경우가 많습니다. 핵심 스킬이 탑재된 전문 검토 에이전트는 이러한 습관을 깨는 데 도움이 될 수 있습니다.
• 표준에서 벗어납니다: LLM은 Android 앱을 설계하는 표준 "Google 방식"을 좋아합니다. 팀에서 고도로 맞춤설정된 뷰 레이어 아키텍처를 사용하는 경우 모델은 일관성을 유지하는 데 어려움을 겪습니다. 아키텍처를 명시적으로 설명하는 맞춤 스킬은 큰 도움이 됩니다.

핵심 스킬은 어디에서 찾을 수 있나요?

Android 커뮤니티가 지원해 드립니다. Chris Banes는 Compose 및 Kotlin용 스킬의 포괄적인 모음을 보유하고 있으며, Ivan Morgillo는 Compose 프로젝트를 감사하는 스킬을 게시했고, Jaewoong Eum은 테스트 및 성능에 관한 두 가지 스킬을 만들었습니다. 

항상 평판이 좋은 소스에서 스킬을 다운로드하세요. 개인적으로 수십 또는 수백 개의 Android 스킬이 포함된 저장소는 신뢰하지 않습니다. AI에서 생성되고 테스트되지 않았을 가능성이 높으며 악성 또는 편향된 안내가 포함되어 있을 수도 있기 때문입니다. 또한 일반적인 소프트웨어 엔지니어링 스킬을 무작정 설치하지 마세요. 많은 스킬이 웹 개발에 맞게 조정되어 있습니다.

목표: 지원 중단

Karpathy를 느슨하게 바꿔 말하면 오늘의 스킬은 내일의 모델에 있을 것입니다. SOTA 모델이 계속 개선됨에 따라 특히 새로운 API를 기반으로 빌드된 스킬은 더 이상 사용되지 않을 것으로 예상됩니다. 스킬을 지원 중단할 시점을 파악하기 위해 새 모델이 출시될 때 평가를 실행합니다. 평가를 통과하면 대부분의 사용자가 전환할 때까지 몇 달 동안 스킬을 유지합니다.