자동화된 프롬프트 최적화 (APO)

ML Kit Prompt API 사용 사례를 프로덕션에 도입하는 데 도움이 되도록 Vertex AI의 온디바이스 모델을 타겟팅하는 자동화된 프롬프트 최적화 (APO)를 발표하게 되어 기쁩니다. 자동화된 프롬프트 최적화는 사용 사례에 가장 적합한 프롬프트를 자동으로 찾는 데 도움이 되는 도구입니다.

온디바이스 AI 시대는 더 이상 약속이 아니라 프로덕션 현실입니다. Gemini Nano v3가 출시되면서 Google은 전례 없는 언어 이해 및 멀티모달 기능을 사용자 손바닥에 직접 제공하고 있습니다. Gemini Nano 모델 제품군을 통해 Android 생태계 전반에서 지원되는 기기를 폭넓게 지원합니다. 하지만 차세대 지능형 앱을 빌드하는 개발자에게 강력한 모델에 대한 액세스는 첫 번째 단계일 뿐입니다. 진정한 과제는 맞춤설정입니다. 모바일 하드웨어의 제약 조건을 위반하지 않고 특정 사용 사례에 맞게 파운데이션 모델을 전문가 수준의 성능으로 맞춤설정하려면 어떻게 해야 할까요?

서버 측에서는 더 큰 LLM이 매우 유능하고 도메인 적응이 덜 필요한 경향이 있습니다. 필요한 경우 LoRA (Low-Rank Adaptation) 미세 조정과 같은 고급 옵션이 실행 가능한 옵션이 될 수 있습니다. 그러나 Android AICore의 고유한 아키텍처는 공유되고 메모리 효율적인 시스템 모델 을 우선시합니다. 즉, 모든 개별 앱에 맞춤 LoRA 어댑터를 배포하는 것은 이러한 공유 시스템 서비스에 문제가 있다는 의미입니다.

하지만 똑같이 큰 영향을 미칠 수 있는 대체 경로가 있습니다. 개발자는 Vertex AI에서 자동화된 프롬프트 최적화 (APO) 를 활용하여 기본 Android 실행 환경 내에서 원활하게 작업하면서 미세 조정에 가까운 품질을 달성할 수 있습니다. 우수한 시스템 명령어에 중점을 두는 APO를 사용하면 개발자가 기존 미세 조정 솔루션보다 더 강력하고 확장 가능한 모델 동작을 맞춤설정할 수 있습니다.

참고: Gemini Nano V3는 호평을 받은 Gemma 3N 모델의 품질 최적화 버전입니다. 오픈소스 Gemma 3N 모델에서 이루어진 프롬프트 최적화는 Gemini Nano V3에도 적용됩니다. 지원되는 기기에서 ML Kit GenAI API는 nano-v3 모델을 활용하여 Android 개발자의 품질을 극대화합니다.

APO는 프롬프트를 정적 텍스트가 아닌 최적화할 수 있는 프로그래밍 가능한 노출 영역으로 취급합니다. 서버 측 모델 (예: Gemini Pro 및 Flash)을 활용하여 프롬프트를 제안하고, 변형을 평가하고, 특정 작업에 가장 적합한 프롬프트를 찾습니다. 이 프로세스는 성능을 극대화하기 위해 세 가지 특정 기술 메커니즘을 사용합니다.

1. 자동화된 오류 분석: APO는 학습 데이터의 오류 패턴을 분석하여 초기 프롬프트의 특정 약점을 자동으로 식별합니다.
2. 의미론적 명령어 증류: 대규모 학습 예시를 분석하여 작업의 '진정한 의도'를 증류하고 실제 데이터 분포를 더 정확하게 반영하는 명령어를 만듭니다.
3. 병렬 후보 테스트: APO는 한 번에 하나의 아이디어를 테스트하는 대신 여러 프롬프트 후보를 병렬로 생성하고 테스트하여 품질의 전역 최댓값을 식별합니다.

APO가 미세 조정 품질에 접근할 수 있는 이유

미세 조정이 항상 프롬프트보다 더 나은 품질을 제공한다는 것은 일반적인 오해입니다. Gemini Nano v3와 같은 최신 기반 모델의 경우 프롬프트 엔지니어링 자체가 큰 영향을 미칠 수 있습니다.

• 일반 기능 유지: 미세 조정 ( PEFT/LoRA)은 모델의 가중치가 특정 데이터 분포에 과도하게 색인되도록 합니다. 이로 인해 모델이 특정 구문에는 더 능숙해지지만 일반적인 논리와 안전에는 더 취약해지는 '재앙적 망각'이 발생하는 경우가 많습니다. APO는 가중치를 그대로 두어 기본 모델의 기능을 유지합니다.
• 명령어 따르기 및 전략 발견: Gemini Nano v3는 복잡한 시스템 명령어를 따르도록 엄격하게 학습되었습니다. APO는 모델의 잠재적 기능을 여는 정확한 명령어 구조를 찾아 이를 활용하며, 인간 엔지니어가 찾기 어려울 수 있는 전략을 발견하는 경우가 많습니다. 

이 접근 방식을 검증하기 위해 다양한 프로덕션 워크로드에서 APO를 평가했습니다. 검증 결과 다양한 사용 사례에서 일관된 5~8% 의 정확도 향상 이 나타났습니다.배포된 여러 온디바이스 기능에서 APO는 상당한 품질 향상을 제공했습니다.

원활한 엔드 투 엔드 개발자 워크플로

미세 조정이 항상 프롬프트보다 더 나은 품질을 제공한다는 것은 일반적인 오해입니다. Gemini Nano v3와 같은 최신 기반 모델의 경우 프롬프트 엔지니어링 자체가 큰 영향을 미칠 수 있습니다.

• 일반 기능 유지: 미세 조정 ( PEFT/LoRA)은 모델의 가중치가 특정 데이터 분포에 과도하게 색인되도록 합니다. 이로 인해 모델이 특정 구문에는 더 능숙해지지만 일반적인 논리와 안전에는 더 취약해지는 '재앙적 망각'이 발생하는 경우가 많습니다. APO는 가중치를 그대로 두어 기본 모델의 기능을 유지합니다.
• 명령어 따르기 및 전략 발견: Gemini Nano v3는 복잡한 시스템 명령어를 따르도록 엄격하게 학습되었습니다. APO는 모델의 잠재적 기능을 여는 정확한 명령어 구조를 찾아 이를 활용하며, 인간 엔지니어가 찾기 어려울 수 있는 전략을 발견하는 경우가 많습니다. 

이 접근 방식을 검증하기 위해 다양한 프로덕션 워크로드에서 APO를 평가했습니다. 검증 결과 다양한 사용 사례에서 일관된 5~8% 의 정확도 향상 이 나타났습니다.배포된 여러 온디바이스 기능에서 APO는 상당한 품질 향상을 제공했습니다.

결론

자동화된 프롬프트 최적화 (APO) 의 출시는 온디바이스 생성형 AI의 전환점을 나타냅니다. 기반 모델과 전문가 수준의 성능 간의 격차를 해소함으로써 개발자에게 더 강력한 모바일 애플리케이션을 빌드할 수 있는 도구를 제공합니다. 제로샷 최적화 로 시작하든 데이터 기반 개선으로 프로덕션으로 확장하든 이제 고품질 온디바이스 인텔리전스로 가는 길이 더 명확해졌습니다. 지금 바로 ML Kit의 Prompt API와 Vertex AI의 자동화된 프롬프트 최적화를 사용하여 온디바이스 사용 사례를 프로덕션에 출시하세요. 

관련 링크: 

• ML Kit Prompt API,
• Vertex AI 프롬프트 최적화 도구 문서
• Gemma 3N 발표 블로그