Membangun Aplikasi Android yang aman dan hemat biaya dengan Firebase AI Logic dan Gemini Nano 4

Selamat datang di Android Developer Summit.

Saya Ankita Saxena, Product Manager Firebase.

Dan saya Arthur Thompson, Developer Relations Engineer di tim Firebase.

Hari ini, kami akan menunjukkan cara menambahkan fitur generatif ke aplikasi Android Anda.

Oke.

Apa itu Firebase?

Angkat tangan bagi yang pernah mendengar Firebase.

Oh, saya melihat banyak.

Bagus.

Firebase adalah platform pengembangan aplikasi Google.

Firebase menyediakan platform terpadu yang mengintegrasikan lebih dari 20 produk, sehingga Anda tidak akan mengalami pengalaman yang terfragmentasi seperti yang mungkin terjadi jika menggunakan software tambahan.

Mari kita bahas tantangan dalam mengirimkan AI Generatif ke aplikasi seluler.

Kami telah mengidentifikasi tiga tantangan utama.

Pertama, kebocoran kunci API: perlu waktu beberapa menit untuk mengekstraknya.

Kedua, memperbarui nama model: sebaiknya developer tidak melakukan hard code pada nama model di aplikasi. Jika tidak, setiap kali ada model baru, Anda harus merilis update lagi.

Ketiga adalah privasi file: sangat penting bagi developer atau pengguna aplikasi mana pun untuk memiliki perlindungan data mereka dan memiliki pagar pembatas yang tepat untuk aplikasi.

Memperkenalkan Firebase AI Logic sebagai solusi utama untuk menangani tantangan yang telah kita bahas.

Apa proposisi nilai yang diberikan Firebase AI Logic kepada Anda?

Pada dasarnya, kami menangani semua backend kustom yang kompleks, sehingga Anda tidak perlu mengembangkannya sendiri.

Kedua, dengan menggunakan SDK klien kami, Anda dapat memanggil Gemini API secara langsung dan aman dari aplikasi seluler Anda.

Mari kita lihat lebih dalam dan pahami alur arsitekturnya.

Di sisi kiri, kita memiliki Firebase Client SDK.

Kami memiliki berbagai SDK klien yang kami dukung saat ini.

Kami juga mendukung Kotlin.

Saat developer ingin, saat Anda ingin melakukan tindakan AI, SDK akan mengirimkan permintaan ke Firebase AI Logic, yang kemudian merutekannya dengan aman ke Gemini Developer API atau Agent Platform Gemini API.

Jadi, pada dasarnya kami menangani semua backend kustom yang Anda buat saat ini.

Dan manfaat yang kami dapatkan adalah, Anda mempercepat waktu penyiapan produk tanpa biaya.

Sekarang, bagian yang menyenangkan.

Ini akan menjadi demo yang menampilkan aplikasi FriendlyMeals.

Sebagai catatan, kita akan menggunakan aplikasi yang sama untuk demo lainnya dalam sesi ini, jadi silakan download aplikasi tersebut.

Anda dapat memindainya menggunakan kode QR di sini.

Mari kita lihat demonya.

Aplikasi FriendlyMeals pada dasarnya membantu Anda mengidentifikasi resep berdasarkan bahan yang Anda masukkan.

Jadi, dalam alur kerja ini, Anda melihat dua cara untuk, pada dasarnya, menangkap bahan-bahan tersebut.

Pertama, Anda memasukkan bahan-bahan yang Anda miliki.

Kedua, ambil foto bahan-bahannya.

Saya akan menggunakan alur kerja pertama, yaitu memasukkan bahan.

Hanya itu yang bisa saya temukan di kulkas.

Saat resep ini dibuat, kami ingin menunjukkan beberapa hal.

Jadi, di balik layar, kita memanggil model Gemini di sini.

Untuk kasus penggunaan khusus ini, kita memanggil tiga Gemini 3.8 Flash.

Jika Anda melihat bagian atas, gambar tersebut sebenarnya menggunakan model Gemini Nano Banana, yaitu 2.1 Nano Banana, versi terbaru.

Sebelum kita membahas kode, saya ingin memperkuat proposisi nilai yang Anda dapatkan melalui Firebase AI Logic.

Jadi, yang pertama adalah SDK serverless.

Anda ingin menambahkan fitur AI, tetapi tidak ingin harus menyiapkan backend.

Di sinilah SDK sisi klien kami berperan.

Anda memanggil langsung ke Gemini dari aplikasi Android Anda.

Yang kedua adalah fitur keamanan bawaan yang andal.

Jadi, untuk panggilan Anda ke Gemini, Anda dapat memanfaatkan hal-hal seperti Firebase App Check serta Template Perintah Server dan lainnya, dan kita akan membahas lebih lanjut tentang fitur keamanan tersebut nanti.

Ketiga, dukungan untuk fitur lanjutan seperti input multimodal dan streaming.

Misalnya, Anda ingin membuat aplikasi yang menambahkan fitur AI sederhana untuk membuat cerita tentang ransel ajaib.

import com.google.firebase.Firebase
import com.google.firebase.ai.ai

@Composable
fun MagicBackpackGenerator() {
    var output by remember { mutableStateOf("") }

    LaunchedEffect(Unit) {

       val model=Firebase.ai.generativeModel("gemini-4-argon")

        val response = model.generateContent("Write a story about a magic backpack")

        output = response.text.toString()

    }
    MagicBackpackUI(output)
}

Hanya perlu tiga langkah sederhana ini untuk menambahkan fitur AI tersebut dan menyiapkannya untuk produksi.

Dengan Firebase AI Logic yang memudahkan penambahan fitur AI ke aplikasi Anda, pertanyaan pertama yang harus Anda tanyakan adalah bagaimana Anda akan mengamankan fitur ini?

Jadi, mari kita bahas detail keamanan, dimulai dengan Firebase App Check.

Firebase App Check membantu Anda mengamankan data, melindungi pengguna, dan mengontrol siapa yang memiliki akses ke resource API Anda dengan membuktikan bahwa permintaan berasal dari aplikasi Anda.

App Check adalah lapisan keamanan tambahan untuk membantu mencegah penyalahgunaan aplikasi Anda.

Sebelum masuk ke kode, ada beberapa langkah yang perlu Anda lakukan di Firebase console.

Jadi, di bagian App Check di Firebase console, Anda mendaftarkan aplikasi Android, dan menambahkan penyedia pengesahan yang sesuai.

Jadi, hal-hal seperti Play Integrity atau reCAPTCHA Enterprise.

Perhatikan bahwa setelah Anda memulai, setelah menyiapkan App Check, Anda harus memulai dengan mode tidak diterapkan.

Dengan cara ini, Anda mengizinkan aplikasi memberikan telemetri untuk memastikan bahwa semua aplikasi Anda mendapatkan panggilan API yang berhasil ke backend sebelum Anda menerapkan App Check.

Setelah melihat bahwa telemetri tersebut masuk dengan baik, Anda dapat menerapkan App Check, dan pada saat itu, setiap permintaan yang tidak memiliki token yang valid dan diuji oleh hardware akan ditolak.

Jadi, berikut adalah tampilan kode untuk menerapkan App Check. Seperti inilah tampilannya.

class FireTravelApp : Application() {
   lateinit var appContainer: AppContainer
       private set
   override fun onCreate() {
       super.onCreate()
       if (BuildConfig.DEBUG) {
           Firebase.appCheck.installAppCheckProviderFactory(
               DebugAppCheckProviderFactory.getInstance()
           )
       } else {
           Firebase.appCheck.installAppCheckProviderFactory(
               PlayIntegrityAppCheckProviderFactory.getInstance()
           )
       }
       appContainer = AppContainer(this)
   }
}

Di class aplikasi, Anda menginstal penyedia App Check.

Pada tahap pengembangan, Anda sebaiknya menggunakan penyedia debug pengembangan, lalu saat Anda siap untuk beralih ke produksi, Anda beralih ke Play Integrity atau reCAPTCHA Enterprise.

Namun, selalu ingat bahwa Anda harus mengonfigurasi App Check terlebih dahulu sebelum melakukan panggilan Firebase lainnya.

Saat membangun fitur AI, developer sering kali melakukan hard code pada perintah langsung ke kode aplikasi mereka, tetapi hal ini menimbulkan dua tantangan besar.

Pertama, jika ada improvisasi yang diperlukan untuk perintah, Anda harus mengirimkan update lengkap.

Kedua, siapa pun yang membongkar aplikasi Anda akan memiliki akses ke rekayasa perintah eksklusif Anda.

Untuk mengatasi masalah ini, Firebase AI Logic menggunakan template perintah server.

Alih-alih menyimpan perintah Anda di perangkat, fitur ini menyimpannya di cloud.

Ini adalah tampilan template perintah server di Firebase console.

Anda menulis template dalam format .prompt.

---
model: 'gemini-3-flash'
input:
  schema:...
tools:...
---
{{role "system"}}
You're a storyteller that tells nice and joyful stories with happy endings.

{{role "user"}}
Create a story about {{topic}} with the length of {{length}} words in the {{language}} language.

Anda dapat menetapkan nama model di sini.

Anda dapat memperbaruinya kapan saja.

Anda tidak perlu mengirim update aplikasi lengkap.

Anda juga dapat memperbarui petunjuk sistem, dan model ini juga menggunakan skema JSON yang ketat untuk input dan output.

Sekali lagi, Anda tidak perlu merilis aplikasi.

Karena berada di cloud, Anda dapat menyesuaikan perintah atau menukar model secara instan.

Dan beginilah tampilan kode di Kotlin.

val generativeModel = Firebase.ai.templateGenerativeModel()

val response = generativeModel.generateContent("storyteller-v1",
    mapOf(
        "topic" to topic,
        "length" to length,
        "language" to language
    )
)

output.value = response.text

Perlu diperhatikan bahwa template perintah server masih dalam pratinjau publik.

Anda juga dapat menerapkan Mode Khusus Autentikasi.

Tindakan ini menggunakan token pengguna Firebase Auth untuk mengizinkan permintaan.

Untuk melengkapi fitur keamanan dan mengunci aplikasi Anda sepenuhnya, Anda juga dapat menggunakan Mode Khusus Template langsung dari Firebase console.

Setelah aplikasi Anda aktif, Anda mungkin ingin mendapatkan visibilitas terkait perilakunya.

Di tab AI Monitoring, hanya dengan sekali klik, Anda dapat mengaktifkan AI Monitoring dan juga mengonfigurasi frekuensi sampling.

Firebase akan otomatis mencatat metrik, latensi, dan jumlah token tanpa Anda harus menulis kode analisis kustom untuk itu.

Perlu diperhatikan bahwa dua mode yang baru saja kita lihat, semuanya tersedia di jendela yang sama.

Setelah Anda mengaktifkan AI Monitoring di Firebase console, data ini akan langsung dimasukkan ke dasbor AI Monitoring.

Anda dapat mengamati latensi persentil ke-95, menemukan lonjakan error yang tiba-tiba, dan melacak konsumsi token di berbagai modalitas seperti teks, gambar, dan audio.

Anda juga dapat memeriksa Trace viewer untuk melihat trace tertentu.

Jadi, dalam hal ini, karena menampilkan seperti diff-- model yang kita gunakan, Anda dapat melihat latensi, rasio keberhasilan.

Di Firebase console, Anda bisa mendapatkan semua telemetri dan visibilitas terkait cara kerja fitur AI Anda.

Jadi, dalam kasus tersebut, misalnya Anda melihat lonjakan tiba-tiba dalam penggunaan token atau lonjakan tiba-tiba dalam latensi, hybrid adalah salah satu cara untuk menurunkan biaya atau latensi tersebut.

Dan karena fitur AI generatif menjadi bagian penting dari aplikasi kita, mengandalkan 100% cloud saja mungkin bukan pilihan yang tepat.

Jadi, dengan memanfaatkan Nano 4, model di perangkat di Android, tiga manfaat utama akan terbuka, yang mungkin sudah Anda ketahui.

Yang pertama adalah mode offline.

Jadi, baik Anda berada di konferensi besar, di pesawat, atau di kereta bawah tanah, fitur AI Anda akan tetap berfungsi.

Biaya.

Jadi, karena inferensi berjalan di perangkat, Anda dapat menambahkan fitur ini dan tidak perlu khawatir tentang kenaikan biaya untuk fitur AI Anda.

Dan yang ketiga adalah privasi data.

Jadi, jika datanya sensitif, Anda dapat menjamin kepada pengguna bahwa tidak ada inferensi yang keluar dari perangkat Anda.

Jadi, dengan menggunakan Firebase AI Logic, Anda dapat menetapkan mode inferensi ini dan memiliki strategi pemilihan rute yang jelas, seperti PREFER_ON_DEVICE, PREFER_IN_CLOUD, atau ONLY_ON_DEVICE.

Saat Anda memilih ONLY_ON_DEVICE, SDK akan langsung memanfaatkan model di perangkat, tanpa melalui cloud sama sekali.

Mari kita beralih ke ponsel.

Jadi, sekali lagi, kita akan membuka FriendlyMeals, dan kita akan melihat beberapa kemampuan di perangkat.

Jadi, hal pertama yang akan kita coba adalah membuat resep berdasarkan beberapa bahan yang mungkin tersedia di kulkas kita.

Sebelumnya, Anda telah melihat Ankita menggunakan metode manual dengan mengetik bahan, lalu membuat resep.

Jadi, mari kita coba cara lain.

Jadi, mari kita ambil kulkas yang sangat nyata ini, yang sama sekali bukan buatan AI.

Ada banyak zaitun di kulkas ini, jadi mari kita lihat jenis resep yang dihasilkan di sini.

Jadi, saya ingin menunjukkan beberapa hal di sana.

Salah satunya adalah gambar tidak pernah dikirim ke luar perangkat.

Gambar dianalisis secara lokal oleh Nano dari Gemma…

Nano 4.

Lalu, hal kedua adalah kecepatan respons yang diberikan.

Jadi, bahan-bahannya sudah dibuat.

Jadi, Anda mendapatkan dua manfaat.

Data tidak keluar dari perangkat, tetapi ada juga pengurangan latensi yang signifikan.

Baiklah, mari kita lihat resep apa yang kita dapatkan dari kulkas berisi zaitun.

Jadi, kali ini, kita menggunakan cloud.

Jadi, kita mengambil bahan-bahan yang diidentifikasi dari kulkas, lalu mengirimkannya ke cloud menggunakan Firebase AI Logic untuk membuat resep.

Saya tidak melihat salmon di kulkas, tetapi saya melihat beberapa salmon di resep.

Tapi itu, mari kita kembali ke slide.

Jadi, seperti yang kita lihat dalam demo, beralih antara model lokal dan model cloud cukup mudah.

Saat ini, Firebase AI Logic memungkinkan inferensi menggunakan pemilihan rute dasar berdasarkan ketersediaan jaringan.

Untuk mengelola inferensi ini, Anda dapat menganggapnya sebagai pagar pembatas.

Jadi, arsitekturnya menyertakan dukungan bawaan untuk fitur seperti multimodal serta skema input dan output, serta integrasi lengkap dengan Gemma, maaf, dengan Gemini Nano 4.

Jadi, mari kita lihat bagaimana pedoman ini diterapkan dalam praktik.

Jadi, perutean hybrid tidak mengharuskan Anda membangun middleware yang kompleks atau membangun banyak logika penggantian sendiri.

Dari segi kode, ini hanyalah parameter tambahan.

Anda meneruskan parameter onDeviceConfig untuk menetapkan mode yang Anda inginkan.

import com.google.firebase.Firebase
import com.google.firebase.ai.ai

@Composable
fun MagicBackpackGenerator() {
    var output by remember { mutableStateOf("") }

    LaunchedEffect(Unit) {

        val model = Firebase.ai.generativeModel(modelName = "gemini-3.8-flash",
onDeviceConfig = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE))

       val response = model.generateContent("Write a story about a magic backpack")

        output = response.text.toString()

    }
    MagicBackpackUI(output)
}

Dalam hal ini, SDK akan mencoba model lokal terlebih dahulu dan jika tidak tersedia, SDK akan otomatis beralih ke cloud.

Setelah membahas cara membangun aplikasi yang aman dan memanfaatkan model di perangkat, mari kita bahas pengoptimalan biaya.

Fitur generatif dapat diskalakan dengan cepat, begitu juga dengan tagihan cloud Anda.

Jadi, kita perlu memiliki batasan yang tepat untuk memastikan kita memiliki kontrol infrastruktur proaktif dan fitur otomatis yang tepat yang dapat membantu membuat anggaran Anda dapat diprediksi dan aplikasi Anda efisien secara finansial.

Meskipun Arthur baru saja menekankan bahwa inferensi di perangkat sepenuhnya gratis, akan selalu ada skenario yang memerlukan tugas penalaran kompleks dan juga memerlukan penggantian, yang memerlukan pemilihan rute ke cloud.

Saat panggilan cloud tersebut terjadi, Anda memerlukan batasan untuk menjaga anggaran Anda tetap dapat diprediksi.

Itulah alasan Firebase menyediakan batas pengeluaran.

Dengan batas pembelanjaan, Anda dapat memiliki kontrol yang lebih terperinci atas biaya untuk aplikasi Anda.

Jadi, alih-alih setelan anggaran umum di seluruh project, pemberitahuan anggaran yang hanya mengirimkan email kepada Anda, Anda dapat menetapkan batas anggaran tertentu untuk setiap layanan seperti Firebase AI Logic.

Saat pembelanjaan Anda mencapai 100%, Firebase akan otomatis menjeda layanan AI untuk mencegah tagihan yang tidak terkendali.

Selain batas pengeluaran sederhana, ada beberapa strategi pengoptimalan biaya lanjutan.

Yang ingin kami soroti hari ini adalah pemicu Firebase AI Logic.

Bagaimana jika Anda memerlukan logika kustom di tengah-tengah?

Itulah pemicu Firebase AI Logic.

Anda dapat menjalankan fungsi sebelum atau setelah membuat konten.

Gunakan untuk memeriksa pengguna, memfilter input, menambahkan konteks, dan juga menyesuaikan respons.

Setelah membahas pengoptimalan biaya dan keamanan, mari kita beralih ke kemampuan model dan melihat apa yang ditawarkan oleh Firebase AI Logic.

Untuk mendukung pengalaman multimodal ini, Firebase AI Logic menyediakan katalog lengkap model dan alat yang siap produksi.

Untuk penalaran, teks, kode, dan media berkecepatan tinggi, Anda dapat menggunakan Gemini 4 Argon, Gemini 3.1 Pro, Gemini 3.8 Flash, dan lainnya.

Anda juga dapat menghubungkan model ini ke data dunia nyata menggunakan Grounding Penelusuran dan Maps.

Terakhir, untuk suara, kami menyediakan text-to-speech alami dan pembuatan audio Gemini Live.

Mari kita beralih ke ponsel sekali lagi.

Jadi, di sini kita memiliki makanan manis dan gurih.

Oh, maaf, bukan yang itu.

Berikut adalah Roti Panggang Keju Saus Tomat Cepat Saji untuk resep kita.

Jadi lapar.

Hal pertama yang ingin kita lihat adalah Live API.

Jadi, dalam hal ini, kita akan dapat menggunakan video yang ditampilkan dan saya dapat mengatakan, "Halo Gemini, bisakah Anda memberi tahu saya bahan apa saja yang ada di atas meja?"

Berdasarkan gambar di layar laptop Anda, bahan yang Anda miliki adalah roti, keju cheddar, dan saus tomat.

Oke.

Jadi, bisakah saya memulai langkah pertama resepnya?

Ya.

Langkah pertama adalah memanaskan oven pemanggang roti atau pemanggang dengan panas sedang-tinggi.

Terima kasih.

Oke.

Jadi, dalam kasus tersebut, Live API digunakan dan percakapan tersebut akan tetap terbuka hingga saya menutupnya.

Fitur lain yang ingin saya tunjukkan adalah speech-to-text, atau text-to-speech, maaf.

Dan dengan text-to-speech, dalam contoh ini, kita memiliki petunjuk resep.

Jadi, daripada harus membacanya, saya dapat menekan "Generate" atau "Speak" dan tindakan ini akan mengirimkan teks petunjuk ke model text-to-speech.

Model ini akan menghasilkan audio dan mengirimkan audio kembali ke perangkat.

Saya dapat memutarnya, meng-cache-nya untuk nanti, dan video akan diputar seperti yang kita lihat di sini.

1.

Panaskan oven pemanggang roti atau pemanggang dengan panas sedang-tinggi.

2.

Letakkan dua potong roti di atas loyang atau baki pemanggang roti.

Bagus.

Keren, kan?

Jadi, Firebase AI Logic memungkinkan kita menerapkan jenis fitur keren ini hanya dengan beberapa baris kode.

Mari kita beralih kembali ke slide.

Setelah melihat cara kerja Gemini Live API dalam demonstrasi, bagaimana jika Anda ingin membangun sendiri fitur percakapan AI handsfree?

Di sinilah Gemini Live API berperan, dan memungkinkan Anda membuat percakapan suara dua arah.

Aplikasi Android Anda dapat melakukan streaming audio mikrofon dan frame kamera live ke upstream serta menerima kembali suara lisan yang alami dan berlatensi rendah secara real time.

Di Kotlin, penyiapan ini terlihat cukup familier.

val model = Firebase.ai.liveModel(
    modelName = "gemini-3.1-flash-live-preview",
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.AUDIO
   },
   systemInstruction = "Your main job is to change the color...",
   tools = listOf(Tool.functionDeclarations(listOf(changeColorFunction)))
)

val session = model.connect(::handler)

session.startAudioConversation(::handler)

session.stopAudioConversation()

Anda membuat instance model live yang dikonfigurasi untuk respons audio, dan terhubung ke sesi dengan pengendali streaming.

Poin nomor satu yang ingin kami sampaikan di sini adalah SDK ini menangani seluruh hal terkait WebSocket dan protokol streaming di balik layar.

Jadi, Anda tidak perlu membuat kodenya, bukan?

Terus tulis baris.

Saat kami menyelesaikan demo dan melihat masa depan pengembangan aplikasi, kami ingin menyoroti satu alat yang efektif untuk alur kerja Anda, yaitu Firebase Agent Skills.

# Execute to add agent capabilities to your workspace
npx skills add firebase/agent-skills

Selain itu, bagi Anda yang menggunakan Antigravity dan Android Studio, kami telah mengintegrasikan Firebase AI Logic langsung ke dalam alur orientasi.

Sebagai kesimpulan, ada tiga poin penting: mulailah membangun, manfaatkan alat produksi sejak awal, seperti alat keamanan yang kita bahas hari ini, dan ketiga, gunakan keahlian agen di mana pun Anda bisa.

Terima kasih.