Mengenal Gemini Nano dan Gemma 4 yang mendukung kecerdasan di perangkat

Sara Smoot

Halo, selamat datang di presentasi ini.

Nama saya Sara, dan saya adalah pimpinan engineering di Gemma di sisi pemodelan.

Jadi, yang ingin saya bicarakan dengan Anda hari ini adalah model kami.

Saya akan membahas kemampuan, cara kami memikirkan desain untuk perangkat seluler.

Saya akan membahas teknik yang kami bangun ke dalam model agar dapat berjalan secara efisien di perangkat seluler.

Saya akan membahas cara mengaksesnya dan cara kami berintegrasi dengan AICore.

Kemudian, saya akan mengakhiri dengan beberapa demo untuk menunjukkan model dan memberi Anda gambaran tentang kemampuan model dan apa yang dapat dilakukannya.

Jadi, untuk memahami tujuan kita, sebaiknya pahami dari mana kita berasal.

Kami meluncurkan Gemma 1 pada tahun 2024.

Kami meluncurkan model dengan 2 miliar dan 7 miliar parameter, khusus teks, dengan ukuran yang sangat kecil dibandingkan dengan yang ada saat itu.

Setelah Gemma 1, kami meluncurkan Gemma 2, yang memperkenalkan beberapa kemampuan tambahan.

Kami memperkenalkan coding.

Kami juga memperkenalkan model berukuran besar, 27B, yang benar-benar memperluas kemampuan seri Gemma.

Gemma 3 diluncurkan tidak lama setelahnya.

Sekali lagi, kami menambahkan lebih banyak kemampuan, multimodal, lalu model yang lebih kecil, model dengan 270 juta parameter, karena kami menyadari bahwa model yang lebih kecil benar-benar memiliki banyak kasus penggunaan dan kami benar-benar mencoba membantu mengaktifkan sebanyak mungkin kasus penggunaan seluler online.

Jadi, dengan setiap rilis, kemampuan kami meningkat, dan itu memang disengaja.

Yang kami lakukan adalah mendesain untuk hardware satu perangkat, dan kami mencoba, maksud saya ini termasuk ponsel, laptop, GPU, dan tujuan kami bukanlah membuat model yang lebih besar, meskipun kami memang meningkatkan hingga 12-27B, tujuan kami adalah menyesuaikan lebih banyak kemampuan dengan setiap iterasi ke jejak yang sama, karena kami ingin tetap berada di perangkat, kami ingin tetap lokal.

Jadi, cara kami melakukannya adalah dengan membangun efisiensi yang lebih baik.

Saya akan membahas apa yang telah kami lakukan untuk Gemma 4 secara khusus dan cara kami melakukannya.

Kami meluncurkan E2B, saya akan menjelaskan "E" tersebut sebentar lagi, kami meluncurkan E4B, kami telah meluncurkan model terpadu 12B, menjelaskan alasan kami melakukannya, dan kemudian kami juga meluncurkan model MoE.

Semua ini untuk membantu membuktikan efisiensi dan memberi developer lebih banyak fleksibilitas untuk aplikasi dan hal-hal yang ingin mereka bangun.

Jadi, jika kita melihat kemampuannya lebih dekat, di sini Anda dapat melihat kemampuan yang telah kami tambahkan dari waktu ke waktu.

Ada beberapa hal yang ingin saya tunjukkan, yaitu panjang konteks.

Kami telah menambahkan jendela konteks yang jauh lebih panjang daripada versi Gemma sebelumnya.

Gemma 4 memiliki konteks hingga 128 K.

Model yang lebih besar dapat mencapai 256.

Perlu diperhatikan bahwa ML Kit membatasi jendela konteks, jadi pastikan Anda memeriksa anggaran sebelum berharap dapat meluncurkan dengan 128.

Namun, ini sudah cukup untuk memungkinkan Anda membaca dokumen panjang, melakukan penalaran yang diperluas, pemanggilan fungsi, dan juga memberi Anda cukup anggaran untuk melakukan multimodalitas, menggunakan visi dan audio.

Video adalah kemampuan baru yang kami tambahkan, sebenarnya mulai dari Gemma 3n, dan kami lebih mengembangkannya untuk Gemma 4.

Jadi, sekarang kami memiliki dukungan multibahasa.

Kami masih melatih model dalam berbagai bahasa, sehingga Anda memiliki dukungan bahasa bawaan dan dukungan terlatih.

Dan semua ini kini hadir dalam lisensi Apache 2 yang baru, yang sangat kami nantikan, karena ini akan memberikan lebih banyak fleksibilitas dalam hal apa yang dapat Anda bangun dengannya, dan juga mengurangi hambatan.

Membangun dan mendownload model akan jauh lebih lancar.

Sara Smoot

Oke, jadi visi, apa yang kita lakukan dengan visi?

Visi untuk Gemma 4 secara khusus, memiliki rasio aspek variabel.

Jadi, fungsi ini mengambil gambar, dan alih-alih melakukan pemadatan dan memadatkannya menjadi persegi yang tidak proporsional, kita mempertahankan rasio aspek sebenarnya dari model.

Jadi, ini berarti teks Anda tidak terdistorsi, objek tidak terdistorsi.

Hal ini secara signifikan meningkatkan kemampuan model.

Bentuk tetap akurat, OCR meningkat pesat dengan rasio aspek variabel ini.

Fitur visi juga dapat membaca diagram, spreadsheet, dan grafik.

Gemini juga dapat menerjemahkan dari isyarat visual, jadi Anda dapat mengambil gambar kata-kata, dan Gemini akan dapat menerjemahkannya untuk Anda.

Model ini juga mampu bernalar tentang dunia nyata.

Model ini dapat melihat gambar, memahami letak objek, dan memahami isi gambar.

Alat ini dapat melakukan banyak hal.

Fitur lain yang kurang dikenal tentang model Gemma kami adalah Anda dapat menetapkan anggaran token visual.

Jadi, saat ini, maksud saya periksa dan lihat apa yang ada di ML Toolkit, tetapi Anda memiliki rentang yang besar.

Jika Anda ingin menggunakan lebih banyak daya dan energi untuk pemahaman gambar beresolusi lebih tinggi, Anda dapat menyetelnya.

Jika Anda tidak ingin memanfaatkan kasus penggunaan tersebut, Anda dapat mengurangi anggaran token gambar secara signifikan dan mengalokasikan kembali daya komputasi tersebut untuk aplikasi teks Anda.

Audio adalah mode yang relatif baru bagi kami.

Kami pertama kali memperkenalkannya di Gemma 3n.

Kami kini sepenuhnya mengandalkannya untuk Gemma 4.

Audio hanya tersedia di model terkecil kami: E2B, E4B, dan model 12B.

Fitur ini akan mentranskripsikan sepenuhnya berdasarkan file audio.

Perangkat ini menerjemahkan ucapan.

Alat ini mendukung lebih dari 35 bahasa, tanpa perlu konfigurasi tambahan.

Kami juga telah melatihnya terlebih dahulu dalam lebih dari 140 bahasa, jadi jika Anda ingin menggunakan bahasa yang tidak termasuk dalam 35 bahasa kami, Anda dapat melakukan penyesuaian dan mendapatkan dukungan yang sangat baik untuk bahasa yang tidak didukung secara langsung.

Kami telah menambahkan penalaran agentic.

Ini juga merupakan hal baru di Gemma 4.

Model ini membuat rencana.

Gemini melakukan tugas multi-langkah.

Agen menggunakan alat.

Model ini mengikuti petunjuk dengan tepat.

Model ini menampilkan JSON terstruktur.

Model ini dapat melakukan semua hal yang, Anda tahu, Anda harapkan dari model agentic.

Saya akan menyarankan untuk memperhatikan Pastikan Anda menggunakan Jika Anda melakukan Jika Anda tidak menggunakan ML Toolkit, Anda melakukan semuanya sendiri, pastikan Anda memperhatikan template chat.

Template chat itu rumit.

Mereka harus ditangani dengan hati-hati.

Jika Anda menggunakan ML Toolkit, semua ini akan dilakukan untuk Anda.

Terakhir, Gemma terus memberikan pemahaman teks yang luar biasa.

Dengan konteks yang lebih panjang, kami kini dapat menganalisis kode, dokumen panjang, dan menerjemahkan.

Bahkan, dengan fungsi coding, Android Studio kini mendukung Gemma 4 dalam mode offline.

Jadi, jika Anda ingin menggunakan Android Studio secara offline, Gemma 4 akan mendukung Anda untuk melakukan tugas coding.

Poin pentingnya: E2B dan E4B cukup kecil sehingga dapat muat dan berjalan dengan baik di ponsel Anda.

Jadi, ada banyak kemampuan yang dikemas dalam ukuran yang sangat kecil.

Ini sebenarnya adalah tantangan engineering yang sangat sulit, jadi kami di tim Gemma sangat bangga dengan hal ini.

Berikut beberapa contoh yang menunjukkan kemampuan.

Di sebelah kiri, kami menunjukkan bahwa model dapat menemukan laptop dan menampilkan koordinat tempat laptop berada.

Kemudian, aplikasi dapat menggambar penunjuk, menampilkan lokasi laptop.

Di tengah, model dapat mengidentifikasi objek, lalu menggambar kotak pembatas di sekeliling objek tersebut.

Ada beberapa aplikasi menarik untuk ini: deteksi objek, penghindaran objek.

Ini adalah kemampuan yang sangat bagus.

Di sebelah kanan, ditampilkan cara model dapat membaca teks.

Jadi, ini berarti "Hati-hati, ada kucing".

Model ini juga memahami apa yang terjadi dalam gambar, dan melihat kucing ini dalam posisi yang sangat lucu, serta dapat menerjemahkan dan menunjukkan bahwa teks di bawahnya adalah lelucon yang berbunyi, "Sesuatu mungkin terjadi".

Menurut saya, ini cukup lucu.

Jadi, penunjukan, deteksi objek, OCR, dan penerjemahan, semuanya dilakukan tanpa pipeline visi khusus.

Oke, mari kita bahas angka evaluasinya.

Anda tahu, saya Menunjukkan kemampuan selalu penting, tetapi banyak orang melihat hal ini, dan saya pikir di sini Anda dapat melihat kekuatan model.

Jika Anda melihat dua kolom terakhir, E2B mengungguli Gemma 3 27B, yang merupakan model yang jauh lebih besar, dalam hal penalaran, coding, dan agen.

Jadi, lihat LiveCodeBench.

Kita mendapatkan 44 untuk Gemma 4 dibandingkan dengan 29 untuk Gemma 3 27B.

AIME juga jauh lebih tinggi.

Tau2, yang merupakan evaluasi agentic, juga jauh lebih tinggi, menunjukkan banyak keunggulan di sana.

Jika kita meningkatkan beberapa parameter lagi, model E4B kita akan mengalahkan model 27B kita di setiap benchmark.

Jadi, dari Gemma 3 ke Gemma 4, kami telah mengemas lebih banyak kemampuan ke dalam jumlah parameter yang sama.

Sara Smoot

Jadi, bagaimana cara melakukannya?

Membuat model lebih mumpuni tanpa membuatnya lebih besar adalah masalah yang menantang.

Jika Anda hanya melihat hardware, ponsel memiliki memori yang jauh lebih sedikit.

Maksudnya, kita melihat 12 hingga 16 GB dibandingkan dengan sekitar 80 GB yang mungkin Anda dapatkan di server.

Bandwidth juga jauh lebih kecil: 50 hingga 80 GB dibandingkan dengan terabyte yang akan Anda dapatkan di server.

Lalu, ada batasan daya yang ketat.

Jadi, semua hal ini harus kita ingat saat menjalankan model.

Setiap teknik yang akan saya tunjukkan selanjutnya menargetkan setiap batasan ini dan membantu membuat model lebih optimal untuk dijalankan di hardware seluler.

Baiklah, hal pertama yang kita lakukan, kita tidak memiliki satu arsitektur untuk setiap ukuran.

Setiap ukuran model memiliki arsitektur terpisah.

Jadi, E2B dan E4B kami memiliki beberapa elemen khusus, yang akan menjadi fokus utama saya di sisa presentasi ini, tetapi menurut saya, penting untuk diketahui bahwa model 12B kami tidak memiliki encoder visi.

Jadi, dengan model ini, kami menghapus encoder visi untuk menyederhanakan deployment dan meminimalkan jumlah parameter yang diperlukan model.

Jenis ini biasanya menargetkan hardware laptop kita.

Model besar kami hadir untuk menunjukkan kemampuan paling optimal.

Model ini tersedia dalam model full dense dan mixture of experts.

Model mixture of experts juga dapat dijalankan di laptop, dan kami membuatnya karena latensi yang lebih rendah yang Anda dapatkan dari arsitektur expert.

Jadi, untuk sisa pembahasan ini, saya akan berfokus pada model seluler, yaitu E2B, E4B, dan membahas apa yang telah kami lakukan untuk membuatnya berjalan dengan sangat baik di ponsel Anda.

Baiklah, dari sinilah "E" berasal, Embedding Per Lapisan.

Ini adalah teknik menarik yang kami miliki, teknik inovatif yang telah kami tambahkan ke model.

Dan jika Anda memikirkan cara kerja model, model memerlukan lebih banyak parameter agar lebih cerdas.

Kami terus meningkatkan efisiensi parameter, tetapi secara umum, jika Anda ingin model yang lebih baik, Anda memerlukan lebih banyak parameter.

Jadi, PLE akan mengatakan, "Oke, kita perlu lebih banyak parameter."

Namun, alih-alih menambahkan lebih banyak parameter langsung ke model, kita memiliki tabel embedding tambahan.

Tabel embedding ini dibaca untuk setiap lapisan.

Jadi, setelah memiliki token yang Anda ketahui akan dibutuhkan oleh model, Anda dapat menarik embedding per lapisan yang diperlukan untuk urutan input tertentu, lalu memuat embedding tersebut saja ke dalam model.

Jadi, model ini memberi Anda model parameter 2 miliar yang efektif, meskipun jumlah parameternya sendiri sedikit lebih besar.

Itulah sebabnya kami menyebutnya secara efektif 2 miliar parameter, karena hanya 2 miliar parameter yang dimuat ke dalam memori Anda.

Tabel embedding umumnya disimpan di flash, bukan di RAM.

Jadi, Anda benar-benar membatasi bandwidth, karena Anda tidak perlu mentransfer banyak parameter, tetapi Anda tetap mendapatkan kemampuan model penuh dari model yang jauh lebih besar.

Fitur ini juga menggunakan lebih sedikit RAM di perangkat.

Hal berikutnya yang kami tambahkan adalah model drafter.

Model drafter yang kami gunakan untuk Gemma adalah model Prediksi Multi-Token.

Dan ini adalah bentuk decoding spekulatif.

Hal ini akan memberi Anda prediksi lebih banyak token per penerusan daripada yang akan dilakukan model autoregresif umum.

Jadi, daripada memberikan Model autoregresif standar hanya akan melakukan satu token pada satu waktu, Anda harus memeriksa seluruh model untuk setiap token.

Drafter MTP ini akan memprediksi tiga atau empat token sekaligus, lalu kita menggunakan model utama untuk memvalidasi token tersebut.

Jika token tersebut diterima, token tersebut akan digunakan, dan biasanya kita bisa mendapatkan, misalnya, dua, tiga, empat token per penerusan, bukan hanya satu token dalam satu waktu.

Ini adalah teknik yang umum.

Model drafter sudah tersedia.

Hal yang kami lakukan dan berbeda serta istimewa untuk Gemma adalah kami membagikan cache KV dari model dasar.

Jadi, untuk E2B, kami melakukan pra-pengisian penuh, membangun cache, lalu model draf kami menggunakan cache KV tersebut.

Jadi, Anda sebenarnya menghemat sekitar 130 milidetik pada perintah seribu token, karena Anda tidak perlu membuat ulang prefill untuk model draf Anda.

Jadi, model drafter kami sekitar 30 hingga 40 kali lebih cepat daripada model drafter lainnya.

Jika melihat angkanya, Anda dapat melihat peningkatan kecepatan saat menggunakan model drafter.

Kami mendapatkan tingkat penerimaan 40 hingga 60% lebih tinggi daripada kebanyakan model draf.

Kami memiliki latensi dekode 40% lebih rendah dengan menggunakan model drafter, dan kami juga menggunakan energi 30 hingga 40% lebih sedikit dengan menggunakan model drafter ini.

Jadi, Anda akan mendapatkan respons yang lebih cepat, masa pakai baterai yang lebih lama, dan tidak perlu mengubah kode.

Alat ini cukup mudah dan didukung dengan baik.

Sara Smoot

Inovasi kami berikutnya adalah kuantisasi.

Biasanya, kuantisasi juga bukan teknik baru, tetapi kami memberikan perhatian khusus pada model seluler kami untuk memastikan kami memiliki kuantisasi yang berfungsi dengan sangat baik dengan hardware seluler.

Ada beberapa hal yang kami pertimbangkan terkait model QAT kami.

Pertama, kami melakukan QAT, yang bagi Anda yang belum tahu, adalah pelatihan berbasis kuantisasi.

Artinya, saat melakukan pelatihan, kita mempertimbangkan dan mengenali fakta bahwa kita akan melakukan kuantisasi.

Hal ini membantu model memahami bahwa parameter akan dikelompokkan, dan membantu menjaga kualitas.

Hal ini juga membantu mempertahankan kualitas, dan biasanya, kita bisa mendapatkan model dengan ukuran yang jauh lebih kecil.

Jadi, jika Anda beralih dari model 16-bit ke model 4-bit, dan mempertahankan semua kualitasnya, kita benar-benar menghemat banyak memori.

Jadi, E2B hadir dalam dua kuantisasi yang berbeda.

Kita memiliki format Q4_0.

Ini adalah kuantisasi tujuan umum.

Hal ini dapat disesuaikan.

Hal ini berfungsi sangat baik dengan library kuantisasi lainnya.

Dengan begitu, Anda dapat mencoba dan memiliki kuantisasi yang mungkin berfungsi dengan baik untuk kasus penggunaan Anda.

Kami juga memiliki kuantisasi yang sangat istimewa, yang kami sebut kuantisasi seluler, yang sangat agresif dalam kuantisasinya, dan kami telah melakukan banyak riset untuk mengoptimalkan kuantisasi ini.

Model ini tidak didukung di sebagian besar runtime, tetapi didukung di ML Kit dan Android Studio, sehingga Anda dapat menggunakannya.

Anda dapat menggunakannya di sana.

Beberapa inovasi yang telah kami bangun: kami menggunakan kuantisasi aktivasi statis.

Jadi, saat Anda melakukan kuantisasi, biasanya model, jika Anda melakukan aktivasi rentang dinamis, Anda perlu menghitung rentang dengan cepat, lalu menggunakannya untuk melakukan kuantisasi.

Kuantisasi rentang statis, kami telah melakukannya untuk Anda, sehingga Anda tidak perlu melakukan prakomputasi rentang.

Hal lain yang telah kami lakukan adalah kuantisasi per saluran.

Kami menyusun dan mengompresi model dengan cara yang sesuai dengan saluran dan berfungsi sangat baik dengan sebagian besar hardware seluler.

Kami telah menargetkan kuantisasi 2-bit.

Jadi, kuantisasi dua bit umumnya cukup lossy.

Sangat sulit untuk melakukan PTQ.

Kami telah melakukan riset dan memahami model kami dengan cukup baik sehingga kami tahu parameter mana yang dapat dikompresi hingga 2-bit, dan berhasil melakukannya dengan baik menggunakan pelatihan berbasis kuantisasi.

Hal ini menghemat banyak penyimpanan, sekaligus mempertahankan hampir semua kualitas.

Jadi, model kuantisasi khusus kami berukuran kurang dari satu gig, yang, Anda tahu, jauh lebih kecil daripada kuantisasi 4-bit yang kami miliki di luar sana.

Hal lain yang telah kami bangun ke dalam kuantisasi kustom kami adalah kami telah melakukan kuantisasi embedding dan cache KV.

Ada banyak teknik untuk melakukan keduanya.

Kami telah melakukan riset, dan inilah yang akan berfungsi dengan sangat baik dengan model kami.

Kami telah menggabungkannya ke dalam checkpoint ini.

Jadi, semua ini secara signifikan mengurangi memori aktif Anda.

Hal ini menghemat banyak bandwidth karena tidak perlu memindahkan parameter bolak-balik.

Selain itu, Anda juga dapat mengelola dan menyimpan, Anda tahu, percakapan panjang dan hal-hal lainnya tanpa kehabisan ruang.

Sara Smoot

Baiklah, jadi kita berintegrasi melalui AICore.

Jadi, yang Anda dapatkan dengan AICore adalah model Gemini Nano 4.

Gemini Nano 4 adalah Gemma yang dibangun dan dijalankan melalui AICore.

AICore memberikan beberapa manfaat untuk Anda.

Ini adalah jalur yang paling lepas tangan, dan sebenarnya, saya akan membahas jalur lainnya dengan cepat.

Jalur lainnya adalah melalui LiteRT, yang merupakan jalur yang lebih kustom dan praktis.

Jika Anda memilih cara ini, model akan dipaketkan dengan aplikasi Anda.

Model ini tidak akan menggunakan model bersama yang dihosting di perangkat.

Jadi, Anda harus memperhatikan memori Anda.

Anda harus memperhatikan konsumsi daya Anda.

Anda harus lebih banyak terlibat langsung dengan resource di ponsel dan cara Anda mengelolanya.

Namun, Anda akan mendapatkan kontrol penuh.

Anda dapat menggunakan penyesuaian dengan LiteRT, yang kemudian memberi Anda lebih banyak opsi untuk penyesuaian.

Jika menggunakan AICore, Anda dapat menggunakan API toolkit ML, dan ini adalah jalur yang paling mudah.

Dan saat Anda menggunakannya, Anda akan mendapatkan banyak fungsi yang telah saya bahas, embedding per lapisan ditangani dengan tepat, dan runtime mendukung parameter yang tidak ada di RAM, memiliki parameter embedding yang tidak ada di RAM.

MTP sudah terintegrasi di dalamnya, sehingga akan berfungsi secara otomatis.

Model ini juga menggunakan kuantisasi seluler kami.

Dan model ini berjalan pada runtime yang dirancang untuk menghosting dan bekerja dengan baik dengan kuantisasi tersebut.

Jadi, model ini dapat berjalan dan melakukan berbagai hal dalam presisi 2-bit, saat kita membutuhkannya, sehingga menghemat dan membuatnya sangat efisien.

Jika Anda ingin mempelajari lebih lanjut, ada dua diskusi lain yang telah atau akan diadakan.

Sesi ML Kit David membahas jalur Gemini Nano 4, cara menggunakan model melalui ML Kit, lalu sesi LiteRT Chintan dan Fergus akan membahas cara menggunakan LiteRT dan cara mengembangkan dengan LiteRT.

Jadi, seperti inilah alur permintaan untuk Gemma.

Ada platform API yang melakukan beberapa pemrosesan input, dan semuanya sudah tersedia untuk Anda.

Bagian dari pemrosesan input adalah sinyal keamanan.

Anda mendapatkan beberapa fitur keamanan bawaan dengan AICore.

Model ini memeriksa Kami membangun banyak keamanan ke dalam model.

Ini adalah lapisan keamanan tambahan untuk aplikasi seluler.

Fitur ini akan melewati konfigurasi fitur, lalu melalui runtime di perangkat kami.

Pada output, model juga memeriksa keamanan lagi.

Model ini memeriksa sinyal output untuk memastikan bahwa output yang dihasilkan aman.

Sekali lagi, ini adalah lapisan keamanan tambahan selain yang kami bangun ke dalam model.

Library ini juga melakukan update dan dibagikan di seluruh aplikasi.

Jadi, jika Anda membuat beberapa aplikasi, atau tidak ingin mengelola model yang dipaketkan, ini adalah cara yang tepat, dan Anda akan mendapatkan banyak fungsi bawaan yang langsung siap digunakan.

Sara Smoot

Oke, saya akan langsung masuk ke demo.

Ini adalah asisten suara.

Saya akan menunjukkannya di laptop.

Beberapa hal yang perlu Anda perhatikan, model ini sepenuhnya lokal, berjalan di perangkat.

Data ini di-cascade menggunakan VAD.

Audio tersebut akan diproses melalui STT, lalu masuk ke Gemma, dan kemudian diproses melalui TTS, yang merupakan model text-to-speech.

Model ini melakukan streaming, dan juga dijalankan pada model E2B.

Jadi, ini adalah model yang sama persis yang berjalan di laptop, tetapi ini adalah model yang sama persis yang berjalan di ponsel.

Semua ini dapat dilakukan di ponsel.

Demo khusus ini dibuat dengan LiteRT.

Should be able to be built with ML Kit as well.

Perhatikan latensi, tidak ada perjalanan bolak-balik server, dan perhatikan cara menangani gangguan.

Halo Gemma, ceritakan sedikit tentang dirimu.

Saya Gemma 4, model bahasa besar yang dikembangkan oleh Google DeepMind.

Saya memproses teks dan gambar untuk memberikan informasi dan menyelesaikan tugas.

Keren!

Bisakah Anda ceritakan sedikit tentang Shakespeare?

William Shakespeare adalah dramawan dan penyair Inggris yang dikenal luas sebagai penulis terhebat dalam bahasa Inggris.

Tunggu dulu.

Tahukah Anda?

Aku ingin tahu banyak tentang tata surya.

Bisa ceritakan tentang itu?

Tata surya terdiri dari matahari dan semua yang terikat secara gravitasi dengannya, termasuk delapan planet, planet kerdil, bulan, asteroid, dan komet.

Itu keren.

Bisakah Anda menjelaskan cara kerja lubang hitam?

Lubang hitam terbentuk ketika bintang masif runtuh akibat gravitasinya sendiri, menciptakan wilayah ruang-waktu dengan gravitasi yang sangat kuat sehingga tidak ada apa pun, bahkan cahaya, yang dapat lolos.

Keren sekali.

Terima kasih.

Sama-sama.

Apakah ada pertanyaan lain yang dapat kami bantu jawab?

Oke.

Ada asisten audio.

Oke, berikutnya.

Ini akan menjadi asisten lokal yang menggunakan kemampuan video.

Fitur ini sepenuhnya offline dan untuk benar-benar membuktikannya, demo dilakukan saat berkemah, yang seharusnya berada di alam liar.

Hal yang perlu Anda perhatikan adalah bahwa model ini dibuat berdasarkan model E4B.

Gemini berbicara secara alami.

Kita akan menunjukkan cara melakukan berbagai hal.

Asisten ini menggunakan panggilan alat di latar belakang, dan dapat mengakses berbagai hal di ponsel.

Dan cukup menyenangkan.

Hey Gemma, do we have internet now?

Tidak, kami tidak memiliki koneksi internet saat ini.

Apa maksud peringatan ini?

Itu dalam bahasa Spanyol.

Tanda itu adalah peringatan tentang habitat puma.

Artikel tersebut menyarankan bahwa puma adalah bagian dari lingkungan lokal dan Anda harus berhati-hati jika bertemu dengannya.

Apa turunan dari fungsi ini?

Turunan dari x kuadrat ditambah 7x ditambah 10 adalah 2x ditambah 7.

Lucu sekali.

Oh, halo.

Halo Cindy.

Gemma, kapan pendakian kelompok kita malam ini?

Pendakian grup Anda dijadwalkan pukul 18.00.

Hari ini.

Apakah ini puma?

Bukan, itu anjing.

Anjing pintar.

Sara Smoot

Baiklah, mulai membangun.

Ini adalah link di atas, ini sebenarnya link ke checkpoint.

Jika Anda ingin melihat langsung checkpoint dan kode model kami, semuanya tersedia.

Anda dapat menggunakan ML-- ada Gemma, Gemini Nano 4, link ML Kit.

Checkpoint tersedia di Hugging Face, kode kami ada di codebase Transformers.

Anda dapat melihat apa yang telah kami lakukan.

Anda juga bisa mendapatkan checkpoint dari Kaggle.

Sekali lagi, kami ingin mengingatkan Anda untuk melihat presentasi ML Kit David, jika Anda ingin mengetahui lebih lanjut tentang ML Kit.

Kemudian, kita juga akan menyaksikan presentasi LiteRT dari Chintan dan Fergus.

Jika Anda ingin melihat cara mengakses dan menggunakan model di aplikasi Anda melalui LiteRT.

Terima kasih.

Kami sangat menantikan apa yang akan Anda buat.