インテリジェントな Android アプリを構築する: Jetpacker の概要

アプリに生成 AI 機能を構築するには、通常、さまざまなモデル、API、アーキテクチャの選択肢を検討する必要があります。

• 実行場所: モデルはどこで実行されますか？デバイス、クラウド、またはその両方ですか？
• 複雑さ: 設定はどの程度複雑ですか？単一の推論呼び出しを行うのか、それともよりエージェント的なフローが必要なのか。
• アプリ内または Android システム: 機能は Android アプリに組み込むべきか、Android システム統合として実装する方が適しているか。

このブログ投稿シリーズでは、これらの選択肢について説明します。このコースでは、基本的なモバイルアプリから、パーソナライズされたインテリジェントなエージェント エクスペリエンスへと変革する過程を学びます。

Jetpacker: 旅行アプリのデモ

Jetpacker は、今年の Google I/O 向けにチームがゼロから構築した（Antigravity を使用）技術デモアプリです。Jetpacker は、ユーザーが次の大きな冒険を計画、探索、楽しむためのアプリです。旅行の概要、各旅行の旅程、その旅行の各イベントの詳細が表示されます。もちろん、美しく表現力豊かなマテリアル UI デザインなど、Android 開発のベスト プラクティスをすべて取り入れています。

そして何より、完全にオープンソースです。

本日、これらの各機能について詳しく解説する一連の 技術ブログ投稿を公開します。独自のインテリジェントな Android アプリケーションを構築するのに役立つ、詳細な実装手順、コード スニペット、アーキテクチャの分析情報を提供します。

オンデバイス インテリジェンス

オンデバイス モデルを使用すると、クラウド推論の追加費用は発生しません。また、インターネット接続を心配する必要もありません。ユーザーは、データがクラウドに送信されることなく、デバイス上でローカルで処理されるため、個人情報が保護されることを確信できます。

Jetpacker では、3 つの機能でオンデバイス推論を選択しました。

• 旅行の概要機能は、複雑な複数日の旅程を簡潔で実用的な概要に変換します。ML Kit GenAI API を通じて Gemini Nano を活用し、デバイス上でローカルにデータを処理します。これは、クラウド費用を増やしたくない場合にオンデバイス推論が適切な選択肢となる、便利な機能と見なされます。
• 費用トラッカーは、領収書の画像から構造化データを自動的に抽出し、ユーザーが旅行の支出を追跡できるようにします。ML Kit GenAI API を通じて Gemini Nano 4 のマルチモーダル機能を使用します。領収書の画像に含まれるプライバシーに関わる情報がユーザーのデバイスから流出しないように、オンデバイス ソリューションを採用しています。
• 音声日記 では、音声メモを録音、文字起こし、関連する旅行アクティビティに分類できます。この機能は、ML Kit Speech Recognition と GenAI Prompt API を利用しています。プライバシーと接続性の理由から、オンデバイス ソリューションを選択しました。

クラウドとハイブリッド推論

ユースケースによっては、世界の知識が豊富で、コンテキスト ウィンドウがはるかに大きく、複雑なタスクを処理する能力が高い AI モデルが必要になることがあります。その場合は、デバイスモデルの実行からクラウドモデルの使用に切り替えることができます。

また、両方の長所を活かしたい場合は、ハイブリッド推論を使用して、実行時にクラウド モデルとオンデバイス モデルのいずれかを動的に選択できます。これにより、推論をデバイスに移動してコストを削減しながら、アプリを実行するすべての Android デバイスをサポートできます。

Jetpacker では、クラウドまたはハイブリッド推論を使用していくつかの機能を実装しました。

• 場所の Q&A 機能は、現実世界のデータに基づいて回答することで、特定の場所に関するユーザーの質問に答えます。Google マップとウェブ コンテキストに統合された Firebase AI Logic を使用します。ここでは、世界に関する知識が豊富なクラウドモデルを使用する必要があります。
• クチコミの作成機能を使用すると、訪れた場所について詳細なクチコミを作成できます。Firebase AI Logic の新しいハイブリッド推論 API を介して、デバイス上モデルとクラウドモデルの両方を活用します。この機能はすべてのアプリユーザーに提供したいと考えているため、デバイス上のモデルが利用できない場合はクラウドモデルをフォールバックとして使用しています。
• 自動チャット翻訳は、チャット メッセージをリアルタイムで動的に翻訳し、シームレスなコミュニケーションを促進します。これは、カスタム ハイブリッド推論ロジックのデモンストレーションです。この機能はすべてのアプリユーザーが利用できるようにしたいと考えていますが、同時に、オンデバイスとクラウドのどちらを選択するかについて、いくつかの具体的な考慮事項があります。

システム統合

アプリ自体に表示される機能ではありませんが、Android システム統合により、アプリのコア機能が Android オペレーティング システムに直接公開されます。AppFunctions API を使用して、システムレベルのインテリジェンスと統合します。

アプリ内エージェント ワークフロー（近日提供予定）

エージェント性は、より高いレベルの 自律性を導入し、モデルがエージェントとして機能できるようにします。エージェントは、単一の推論呼び出しではなく、推論、ツールの使用、パスの適応を可能にするオーケストレーション ループを介して特定の目標を達成します。要件に応じて、これらのインテリジェント エージェントは、クラウド、デバイス上、またはハイブリッド設定で実行できます。

Jetpacker には、予約プロセス全体をアプリケーション内で自動化し、予約を効率化する予約アシスタントが追加されました。これは、クラウドで実行される A2UI と ADK を使用して構築されています。Android アプリは、クラウドで実行されているマルチエージェント システムのフロントエンドとして機能します。

詳細

このブログ投稿シリーズの他のパートをご覧ください。

パート 1（この投稿）: アプリの紹介と概要。
パート 2: デバイス上のインテリジェンス。ML Kit の GenAI API と Gemini Nano を詳しく見て、旅程の要約、領収書の解析、ローカル音声処理などのプライバシーを優先した機能を構築します。
パート 3: ハイブリッドとクラウドの推論。Firebase AI Logic を使用して、Google マップやウェブ コンテキストなどの現実世界のデータに基づいて LLM の回答をグラウンディングする方法について説明します。
パート 4: システム統合。AppFunctions を使用して Android インテリジェンス システムと統合する。
パート 5（近日公開）: アプリ内エージェント ワークフロー。A2UI と ADK を活用したエンドツーエンドの予約アシスタントでアプリを拡張します。

Android 開発についてさらに詳しく知りたい場合は、YouTube または LinkedIn で Android デベロッパーをフォローしてください。