產品新訊

自動提示最佳化功能如何提升 ML Kit 生成式 AI 提示 API 的品質

3 分鐘閱讀
4 作者
Chetan Tekur, Chao Zhao, Paul Zhou, Caren Chang

自動提示最佳化 (APO)

為進一步協助您將 ML Kit Prompt API 用於正式環境，我們很高興宣布推出 Vertex AI 裝置端模型自動提示最佳化 (APO) 功能。自動提示最佳化工具可協助您自動找出最適合用途的提示。

裝置端 AI 時代已然來臨，隨著 Gemini Nano v3 的推出，我們將前所未有的語言理解和多模態功能直接帶到使用者手中。透過 Gemini Nano 系列模型，我們在 Android 生態系統中支援的裝置涵蓋範圍廣泛。但對於開發新一代智慧型應用程式的開發人員來說，存取強大的模型只是第一步。真正的挑戰在於「自訂」：如何在不違反行動裝置硬體限制的情況下，針對特定用途調整基礎模型，達到專家級效能？

在伺服器端，較大的 LLM 通常功能強大，且需要較少的網域調整。即使需要，LoRA (低秩適應) 微調等進階選項也是可行的選擇。不過，Android AICore 的獨特架構會優先使用共用且節省記憶體的系統模型。也就是說，為每個應用程式部署自訂 LoRA 轉換器，會對這些共用系統服務造成挑戰。

但還有另一條同樣能發揮影響力的道路。開發人員只要在 Vertex AI 上運用自動提示最佳化 (APO) 功能，就能在原生 Android 執行環境中順暢作業，同時獲得接近微調的品質。APO 著重於提供優異的系統指令，讓開發人員能以比傳統微調解決方案更強大且可擴充的方式，調整模型行為。

注意： Gemini Nano V3 是備受好評的 Gemma 3N 模型，經過最佳化後品質更上一層樓。對開放原始碼 Gemma 3N 模型進行的任何提示最佳化作業，也會套用至 Gemini Nano V3。在支援的裝置上，ML Kit GenAI API 會運用 nano-v3 模型，盡可能為 Android 開發人員提供優質體驗

APO block diagram.jpg

APO 會將提示詞視為可最佳化的可程式化介面，而非靜態文字。這項功能會運用伺服器端模型 (例如 Gemini Pro 和 Flash) 建議提示、評估變體，並找出最適合特定工作的提示。這項程序採用三種特定技術機制，盡可能提升效能：

  1. 自動錯誤分析：APO 會分析訓練資料中的錯誤模式，自動找出初始提示的特定缺點。
  2. 語意指令蒸餾：分析大量訓練範例，從中提煉出工作的「真正意圖」，然後建立指令，更準確地反映實際資料分布情形。
  3. 平行候選項目測試：APO 會平行生成並測試多個提示候選項目，找出可達到最高品質的提示，而不是一次測試一個構想。

為什麼 APO 可以微調音質

一般人常誤以為微調的品質一定比提示好，對於 Gemini Nano v3 等現代基礎模型，提示工程本身就能帶來顯著影響：

  • 保留一般功能：微調 ( PEFT/LoRA) 會強制模型權重過度索引特定資料分布。這通常會導致「災難性遺忘」，也就是模型在特定語法方面表現更好，但在一般邏輯和安全性方面表現更差。APO 不會更動權重，因此保留了基礎模型的功能。
  • 遵循指令和探索策略：Gemini Nano v3 經過嚴格訓練，可遵循複雜的系統指令。APO 會找出確切的指令結構，藉此發揮模型潛在能力，通常會發現人類工程師難以找到的策略。 

為驗證這項方法，我們針對各種實際工作環境工作負載評估 APO。驗證結果顯示，在各種用途中，準確率都穩定提升了 5% 至 8%。在多項已部署的裝置端功能中，APO 顯著提升了品質。

用途工作類型工作說明指標APO 改善
主題分類文字分類將新聞報導分類為財經、體育等主題精確度+5%
意圖分類文字分類將客戶服務查詢分類為意圖精確度+8.0%
網頁翻譯文字翻譯將網頁從英文翻譯成當地語言BLEU+8.57%

順暢的端對端開發人員工作流程

一般人常誤以為微調的品質一定比提示好，對於 Gemini Nano v3 等現代基礎模型，提示工程本身就能帶來顯著影響：

  • 保留一般功能：微調 ( PEFT/LoRA) 會強制模型權重過度索引特定資料分布。這通常會導致「災難性遺忘」，也就是模型在特定語法方面表現更好，但在一般邏輯和安全性方面表現更差。APO 不會更動權重，因此保留了基礎模型的功能。
  • 遵循指令和探索策略：Gemini Nano v3 經過嚴格訓練，可遵循複雜的系統指令。APO 會找出確切的指令結構，藉此發揮模型潛在能力，通常會發現人類工程師難以找到的策略。 

為驗證這項方法，我們針對各種實際工作環境工作負載評估 APO。驗證結果顯示，在各種用途中，準確率都穩定提升了 5% 至 8%。在多項已部署的裝置端功能中，APO 顯著提升了品質。

結論

自動提示最佳化 (APO) 的推出，代表裝置端生成式 AI 邁向新里程碑。我們縮小了基礎模型與專家級效能之間的差距，讓開發人員能運用這些工具，建構更強大的行動應用程式。無論您是剛開始使用 Zero-Shot Optimization，還是要透過資料驅動的精細調整，將模型擴展到實際工作環境，現在都能更清楚地瞭解如何取得高品質的裝置端智慧功能。現在，您可以使用 ML Kit 的 Prompt API 和 Vertex AI 的自動提示詞最佳化功能，在裝置端推出正式版應用程式。

相關連結：

撰寫者：

繼續閱讀