자동 프롬프트 최적화 (APO)

ML Kit Prompt API 사용 사례를 프로덕션에 적용하는 데 도움이 되도록 Vertex AI의 온디바이스 모델을 타겟팅하는 자동 프롬프트 최적화 (APO)를 발표하게 되어 기쁩니다. 자동 프롬프트 최적화는 사용 사례에 가장 적합한 프롬프트를 자동으로 찾는 데 도움이 되는 도구입니다.

온디바이스 AI 시대는 더 이상 약속이 아니라 프로덕션 현실입니다. Gemini Nano v3가 출시되면서 전례 없는 언어 이해 및 멀티모달 기능이 사용자 손안에 직접 제공됩니다. Gemini Nano 모델 제품군을 통해 Android 생태계 전반에서 지원되는 기기를 폭넓게 지원합니다. 하지만 차세대 지능형 앱을 빌드하는 개발자에게 강력한 모델에 대한 액세스는 첫 번째 단계일 뿐입니다. 진정한 과제는 맞춤설정에 있습니다. 모바일 하드웨어의 제약 조건을 위반하지 않고 특정 사용 사례에 맞게 전문가 수준의 성능을 내도록 파운데이션 모델을 맞춤설정하려면 어떻게 해야 할까요?

서버 측에서는 더 큰 LLM이 성능이 우수하고 도메인 적응이 덜 필요한 경향이 있습니다. 필요한 경우에도 LoRA (Low-Rank Adaptation) 미세 조정과 같은 고급 옵션을 사용할 수 있습니다. 하지만 Android AICore의 고유한 아키텍처는 공유되고 메모리 효율적인 시스템 모델에 우선순위를 둡니다. 즉, 개별 앱마다 맞춤 LoRA 어댑터를 배포하면 이러한 공유 시스템 서비스에 문제가 발생합니다.

하지만 그에 못지않게 효과적인 대체 경로가 있습니다. Vertex AI의 자동 프롬프트 최적화 (APO)를 활용하면 개발자는 네이티브 Android 실행 환경 내에서 원활하게 작업하면서도 미세 조정에 가까운 품질을 달성할 수 있습니다. 우수한 시스템 명령어에 집중하는 APO를 사용하면 개발자가 기존 미세 조정 솔루션보다 더 강력하고 확장 가능한 방식으로 모델 동작을 맞춤설정할 수 있습니다.

참고: Gemini Nano V3는 호평을 받은 Gemma 3N 모델의 품질 최적화 버전입니다. 오픈소스 Gemma 3N 모델에서 이루어진 프롬프트 최적화는 Gemini Nano V3에도 적용됩니다. 지원되는 기기에서 ML Kit GenAI API는 nano-v3 모델을 활용하여 Android 개발자의 품질을 극대화합니다.

APO는 프롬프트를 정적 텍스트가 아닌 최적화할 수 있는 프로그래밍 가능한 표면으로 취급합니다. 서버 측 모델 (예: Gemini Pro 및 Flash)을 활용하여 프롬프트를 제안하고, 변형을 평가하고, 특정 작업에 가장 적합한 변형을 찾습니다. 이 프로세스에서는 성능을 극대화하기 위해 세 가지 특정 기술 메커니즘을 사용합니다.

1. 자동 오류 분석: APO는 학습 데이터의 오류 패턴을 분석하여 초기 프롬프트의 특정 약점을 자동으로 식별합니다.
2. 시맨틱 명령어 증류: 대규모 학습 예시를 분석하여 작업의 '진정한 의도'를 증류하고 실제 데이터 분포를 더 정확하게 반영하는 명령어를 만듭니다.
3. 병렬 후보 테스트: APO는 한 번에 하나의 아이디어를 테스트하는 대신 여러 프롬프트 후보를 병렬로 생성하고 테스트하여 품질의 전역 최대값을 식별합니다.

APO가 미세 조정 품질에 접근할 수 있는 이유

미세 조정이 프롬프트보다 항상 더 나은 품질을 제공한다는 것은 일반적인 오해입니다. Gemini Nano v3와 같은 최신 파운데이션 모델의 경우 프롬프트 엔지니어링만으로도 큰 영향을 미칠 수 있습니다.

• 일반 기능 유지: 미세 조정 ( PEFT/LoRA)을 사용하면 모델의 가중치가 특정 데이터 분포에 과도하게 색인화됩니다. 이로 인해 모델이 특정 구문에서는 더 나아지지만 일반적인 논리와 안전성에서는 더 나빠지는 '재앙적 망각'이 발생하는 경우가 많습니다. APO는 가중치를 그대로 유지하여 기본 모델의 기능을 보존합니다.
• 지침 준수 및 전략 발견: Gemini Nano v3는 복잡한 시스템 지침을 따르도록 엄격하게 학습되었습니다. APO는 모델의 잠재적 기능을 잠금 해제하는 정확한 명령어 구조를 찾아 이를 활용하며, 인간 엔지니어가 찾기 어려울 수 있는 전략을 발견하는 경우가 많습니다. 

이 접근 방식을 검증하기 위해 다양한 프로덕션 워크로드에서 APO를 평가했습니다. 검증 결과 다양한 사용 사례에서 일관되게 5~8% 의 정확도 향상이 나타났습니다.여러 배포된 온디바이스 기능에서 APO는 상당한 품질 향상을 제공했습니다.

원활한 엔드 투 엔드 개발자 워크플로

미세 조정이 프롬프트보다 항상 더 나은 품질을 제공한다는 것은 일반적인 오해입니다. Gemini Nano v3와 같은 최신 파운데이션 모델의 경우 프롬프트 엔지니어링만으로도 큰 영향을 미칠 수 있습니다.

• 일반 기능 유지: 미세 조정 ( PEFT/LoRA)을 사용하면 모델의 가중치가 특정 데이터 분포에 과도하게 색인화됩니다. 이로 인해 모델이 특정 구문에서는 더 나아지지만 일반적인 논리와 안전성에서는 더 나빠지는 '재앙적 망각'이 발생하는 경우가 많습니다. APO는 가중치를 그대로 유지하여 기본 모델의 기능을 보존합니다.
• 지침 준수 및 전략 발견: Gemini Nano v3는 복잡한 시스템 지침을 따르도록 엄격하게 학습되었습니다. APO는 모델의 잠재적 기능을 잠금 해제하는 정확한 명령어 구조를 찾아 이를 활용하며, 인간 엔지니어가 찾기 어려울 수 있는 전략을 발견하는 경우가 많습니다. 

이 접근 방식을 검증하기 위해 다양한 프로덕션 워크로드에서 APO를 평가했습니다. 검증 결과 다양한 사용 사례에서 일관되게 5~8% 의 정확도 향상이 나타났습니다.여러 배포된 온디바이스 기능에서 APO는 상당한 품질 향상을 제공했습니다.

결론

자동 프롬프트 최적화 (APO)의 출시는 온디바이스 생성형 AI의 전환점을 의미합니다. 파운데이션 모델과 전문가 수준의 성능 간의 격차를 해소함으로써 개발자가 더 강력한 모바일 애플리케이션을 빌드할 수 있는 도구를 제공합니다. 제로샷 최적화를 시작하든 데이터 기반 세부 조정으로 프로덕션으로 확장하든 이제 고품질 온디바이스 인텔리전스를 위한 경로가 더 명확해졌습니다. ML Kit의 프롬프트 API와 Vertex AI의 자동 프롬프트 최적화를 사용하여 오늘 온디바이스 사용 사례를 프로덕션에 출시하세요. 

관련 링크: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer 문서
• Gemma 3N 공지사항 블로그