自动提示优化 (APO)
为了进一步帮助您将机器学习套件 Prompt API 应用场景投入生产，我们很高兴地宣布推出 Vertex AI 上针对设备端模型的自动提示优化 (APO)。自动提示优化是一种工具，可帮助您自动找到适合您使用情形的最佳提示。
设备端 AI 时代不再是愿景，而是已成为现实。随着 Gemini Nano v3 的发布，我们正在将前所未有的语言理解和多模态功能直接带到用户手中。借助 Gemini Nano 模型系列，我们可在 Android 生态系统中广泛覆盖支持的设备。不过，对于构建新一代智能应用的开发者来说，获得强大模型的访问权限只是第一步。真正的挑战在于自定义：如何在不违反移动硬件限制的情况下，针对特定使用情形将基础模型调整到专家级性能？
在服务器端，较大的 LLM 通常功能强大，并且需要较少的网域自适应。即使在需要时，也可以考虑使用 LoRA（低秩适应）微调等更高级的选项。不过，Android AICore 的独特架构优先考虑共享的内存高效型系统模型。这意味着，为每个应用部署自定义 LoRA 适配器会给这些共享系统服务带来挑战。
但还有一条同样有效的替代途径。借助 Vertex AI 上的自动提示优化 (APO) 功能，开发者可以在原生 Android 执行环境中顺畅工作，同时获得接近微调的质量。通过专注于出色的系统指令，APO 使开发者能够以比传统微调解决方案更高的稳健性和可扩缩性来定制模型行为。
注意： Gemini Nano V3 是备受赞誉的 Gemma 3N 模型的质量优化版本。对开源 Gemma 3N 模型进行的任何提示优化也会应用于 Gemini Nano V3。在受支持的设备上，机器学习套件 生成式 AI API 利用 nano-v3 模型最大限度地提高 Android 开发者 的质量
APO 不会将提示视为静态文本，而是将其视为可优化的可编程界面。它利用服务器端模型（如 Gemini Pro 和 Flash）来建议提示、评估变体并找到最适合您特定任务的提示。此流程采用三种特定的技术机制来最大限度地提高性能：
- 自动错误分析：APO 会分析训练数据中的错误模式，以自动识别初始提示中的特定弱点。
- 语义指令蒸馏：它会分析大量训练示例，提取任务的“真实意图”，从而创建能够更准确地反映真实数据分布的指令。
- 并行候选提示测试：APO 不会一次测试一个想法，而是并行生成并测试众多候选提示，以确定质量的全局最大值。
为什么 APO 可以接近精细调整的质量
人们普遍误认为，微调始终比提示产生更好的质量。对于 Gemini Nano v3 等现代基础模型，提示工程本身就能带来显著效果：
- 保留一般能力：微调 ( PEFT/LoRA) 会强制模型权重过度索引到特定的数据分布。这通常会导致“灾难性遗忘”，即模型在特定语法方面的表现越来越好，但在一般逻辑和安全性方面的表现越来越差。APO 不会更改权重，从而保留了基础模型的功能。
- 指令遵循和策略发现：Gemini Nano v3 经过严格训练，能够遵循复杂的系统指令。APO 通过寻找可解锁模型潜在功能的确切指令结构来利用这一特性，通常会发现人类工程师可能难以找到的策略。
为了验证这种方法，我们针对各种生产工作负载评估了 APO。我们的验证表明，在各种使用情形下，准确率始终提高了 5-8%。在多个已部署的设备端功能中，APO 显著提升了质量。
| 使用情形 | 任务类型 | 任务说明 | 指标 | APO 改进 |
| 主题分类 | 文本分类 | 将新闻报道归类到财经、体育等主题 | 准确度 | +5% |
| 意图分类 | 文本分类 | 将客户服务查询归类为意图 | 准确度 | +8.0% |
| 网页翻译 | 文本翻译 | 将网页从英语翻译成当地语言 | BLEU | +8.57% |
顺畅的端到端开发者工作流
人们普遍误认为，微调始终比提示产生更好的质量。对于 Gemini Nano v3 等现代基础模型，提示工程本身就能带来显著效果：
- 保留一般能力：微调 ( PEFT/LoRA) 会强制模型权重过度索引到特定的数据分布。这通常会导致“灾难性遗忘”，即模型在特定语法方面的表现越来越好，但在一般逻辑和安全性方面的表现越来越差。APO 不会更改权重，从而保留了基础模型的功能。
- 指令遵循和策略发现：Gemini Nano v3 经过严格训练，能够遵循复杂的系统指令。APO 通过寻找可解锁模型潜在功能的确切指令结构来利用这一特性，通常会发现人类工程师可能难以找到的策略。
为了验证这种方法，我们针对各种生产工作负载评估了 APO。我们的验证表明，在各种使用情形下，准确率始终提高了 5-8%。在多个已部署的设备端功能中，APO 显著提升了质量。
总结
自动提示优化 (APO) 功能的发布标志着设备端生成式 AI 迎来了一个转折点。通过弥合基础模型与专家级性能之间的差距，我们为开发者提供了可用于构建更强大的移动应用的工具。无论您是刚刚开始使用 Zero-Shot 优化，还是通过数据驱动的精细调整将模型扩展到生产环境，现在都可以更清晰地了解如何实现高质量的设备端智能。借助 ML Kit 的 Prompt API 和 Vertex AI 的自动提示优化功能，立即将设备端用例投入生产。
相关链接：
作者：
继续阅读
-
产品资讯
Google 致力于将最强大的 AI 模型直接引入您口袋中的 Android 设备。今天，我们非常高兴地宣布推出最新的先进开放模型：Gemma 4。
Caren Chang, David Chou • 阅读用时：3 分钟
-
产品资讯
借助 AI，您可以更轻松地打造个性化的应用体验，将内容转换为适合用户的格式。我们之前已允许开发者通过机器学习套件 GenAI API 与 Gemini Nano 集成，这些 API 专为摘要生成和图片描述等特定应用场景而量身打造。
Caren Chang, Chengji Yan, Penny Li • 阅读用时：2 分钟
-
产品资讯
Android Studio Panda 4 现已是稳定版，可在生产环境中使用。此版本带来了规划模式、后续编辑预测等功能，让您能够比以往更轻松地构建高质量的 Android 应用。
Matt Dyor • 阅读用时：5 分钟
随时了解最新动态
每周通过电子邮件接收最新的 Android 开发洞见。
