在應用程式中建構生成式 AI 功能時,通常需要選擇各種模型、API 和架構:
- 執行位置:模型在哪裡執行?在裝置上、雲端中,還是兩者皆是?
- 複雜度:您的設定有多複雜?您是要進行單一推論呼叫,還是需要更具代理性質的流程?
- 應用程式內或 Android 系統:您的功能應建構在 Android 應用程式中,還是更適合整合到 Android 系統?
我們將在本系列網誌文章中,協助您做出這些選擇。我們將帶您踏上旅程,從基本行動應用程式開始,逐步轉換為個人化、智慧和代理體驗。
Jetpacker:旅遊應用程式試用版
Jetpacker 是我們團隊為今年的 Google I/O 從頭打造的技術展示應用程式 (使用 Antigravity 建構)。Jetpacker 的核心功能是協助使用者規劃、探索及享受下一次的重大冒險。這個頁面會顯示行程總覽、每趟行程的行程表,以及行程中每個活動的詳細資料。當然,您也會遵循所有 Android 開發最佳做法,包括設計精美且富有表現力的 Material UI。
最棒的是,完全開放原始碼!
今天我們將發布一系列 技術網誌文章,深入探討這些功能。我們將提供詳細的導入步驟、程式碼片段和架構洞察資訊,協助您建構自己的智慧型 Android 應用程式。
裝置端智慧功能
使用裝置端模型不會產生額外的雲端推論費用,也不必擔心網路連線問題,而且使用者可以放心,私人資訊會在裝置上本機處理,不會將任何資料傳送至雲端。
在 Jetpacker 中,我們為三項功能選擇了裝置端推論:
- 行程總覽功能可將雜亂的多日行程轉換為簡潔實用的摘要。這項功能會透過 ML Kit GenAI API 運用 Gemini Nano,在裝置本機處理資料。我們認為這項功能可有可無,因此不想產生額外的雲端費用,這時裝置端推論就是合適的選擇。
- 支出追蹤工具會自動從收據圖片中擷取結構化資料,協助使用者追蹤旅遊支出。這項功能會透過 ML Kit GenAI API,使用 Gemini Nano 4 的多模態功能。我們選擇裝置端解決方案,確保收據圖片上的任何隱私權敏感資訊不會離開使用者的裝置。
- 語音日記 會記錄、轉錄語音記事,並將其分類至相關的行程活動。這項功能採用 ML Kit 語音辨識和 GenAI 提示 API。基於隱私權和連線能力考量,我們選擇了裝置端解決方案。
雲端和混合式推論
有時,您的用途需要更豐富的世界知識、更大的脈絡視窗,以及處理複雜工作的能力。在這種情況下,我們可以從執行裝置端模型改為使用雲端模型。
或者,如要兼顧兩者優點,可以使用混合式推論,在執行階段動態選擇雲端或裝置端模型。這樣一來,我們就能在裝置可用時將推論作業移至裝置端,降低成本,同時支援所有執行應用程式的 Android 裝置。
在 Jetpacker 中,我們使用雲端或混合式推論實作了多項功能:
- 地點問與答功能會根據真實世界資料,回答使用者對特定地點提出的問題。這項功能整合了 Google 地圖和網頁內容,並使用 Firebase AI Logic。由於雲端模型具備更豐富的世界知識,因此必須使用這類模型。
- 撰寫評論功能可協助使用者為造訪過的地點撰寫詳細評論。透過 Firebase AI Logic 的全新混合式推論 API,同時運用裝置端和雲端模型。我們希望所有應用程式使用者都能使用這項功能,因此在裝置端模型無法使用時,會改用雲端模型。
- 自動翻譯即時通訊訊息:動態即時翻譯即時通訊訊息,方便順暢溝通,並展示自訂混合推論邏輯。我們希望所有應用程式使用者都能使用這項功能,但同時也必須考量何時該選擇裝置端或雲端。
系統整合
雖然這項功能不會顯示在應用程式中,但 Android 系統整合功能可直接向 Android 作業系統開放應用程式的核心功能。這項功能會使用 AppFunctions API 與系統層級智慧功能整合。
應用程式內代理工作流程 (即將推出!)
代理式 AI 導入了更高層級的 自主性,可讓模型扮演代理的角色。代理會透過協調迴圈達成特定目標,而不是單一推論呼叫,因此可以推理、使用工具及調整路徑。視需求而定,這些智慧型代理程式可以在雲端、裝置端或混合型設定中執行。
我們為 Jetpacker 新增了預訂助理,可直接在應用程式中自動執行端對端預訂工作流程,簡化預訂程序。這個代理是使用雲端執行的 A2UI 和 ADK 建構而成,Android 應用程式是雲端多代理系統的前端。
瞭解詳情
歡迎參閱本系列網誌文章的其他部分:
第 1 部分 (就是這篇文章!) 介紹應用程式並提供概略總覽。
第 2 部分:裝置端智慧功能。深入瞭解 ML Kit 的 GenAI API 和 Gemini Nano,打造行程摘要、收據剖析和本機音訊處理等隱私權優先功能。
第 3 部分:混合式和雲端推理。瞭解如何使用 Firebase AI Logic,以 Google 地圖和網路脈絡等實際資料做為 LLM 回覆的基準。
第 4 部分:系統整合。使用 AppFunctions 與 Android 智慧系統整合。
第 5 部分 (即將推出):應用程式內代理工作流程。使用 A2UI 和 ADK 擴充應用程式,加入端對端預訂助理。
-
使用指南歡迎回到「建構智慧型 Android 應用程式」系列網誌文章。我們將以基本 Android 應用程式為基礎,將其轉換為個人化、智慧型和代理式體驗。
Thomas Ezan, Jolanda Verhoef, Caren Chang • 8 分鐘小故事 -
使用指南歡迎回到「建構智慧型 Android 應用程式」系列網誌文章。我們將以基本 Android 應用程式為基礎,將其轉換為個人化、智慧型和代理式體驗。在上一篇文章中,我們介紹了 Jetpacker,也就是本系列文章中會使用的示範應用程式。
Caren Chang • 6 分鐘小故事 -
使用指南歡迎回到「建構智慧型 Android 應用程式」系列網誌文章。我們將以基本 Android 應用程式為基礎,將其轉換為個人化、智慧型和代理式體驗。在先前的文章中,我們探討如何運用 Firebase AI Logic 建構雲端代管和混合式 AI 功能。
每週透過電子郵件接收最新的 Android 開發洞察資料。