Pengoptimalan Perintah Otomatis (APO)

Untuk lebih membantu mewujudkan kasus penggunaan ML Kit Prompt API Anda ke produksi, dengan senang hati kami mengumumkan Pengoptimalan Perintah Otomatis (APO) yang menargetkan model Di Perangkat di Vertex AI. Pengoptimalan Perintah Otomatis adalah alat yang membantu Anda menemukan perintah optimal untuk kasus penggunaan Anda secara otomatis.

Era AI On-Device bukan lagi janji, melainkan realitas produksi. Dengan rilis Gemini Nano v3, kami menempatkan kemampuan multimodal dan pemahaman bahasa yang belum pernah ada sebelumnya langsung ke tangan pengguna. Melalui rangkaian model Gemini Nano, kami memiliki cakupan luas perangkat yang didukung di seluruh Ekosistem Android. Namun, bagi developer yang membangun aplikasi cerdas generasi berikutnya, akses ke model yang canggih hanyalah langkah pertama. Tantangan sebenarnya terletak pada penyesuaian: Bagaimana cara menyesuaikan model dasar agar memiliki performa tingkat ahli untuk kasus penggunaan spesifik Anda tanpa melanggar batasan hardware seluler?

Di sisi server, LLM yang lebih besar cenderung sangat mumpuni dan memerlukan lebih sedikit adaptasi domain. Bahkan jika diperlukan, opsi yang lebih canggih seperti penyesuaian LoRA (Low-Rank Adaptation) dapat menjadi opsi yang layak. Namun, arsitektur unik Android AICore memprioritaskan model sistem bersama yang hemat memori. Artinya, men-deploy adaptor LoRA kustom untuk setiap aplikasi individual menimbulkan tantangan pada layanan sistem bersama ini.

Namun, ada jalur alternatif yang dapat memberikan dampak yang sama. Dengan memanfaatkan Pengoptimalan Perintah Otomatis (APO) di Vertex AI, developer dapat mencapai kualitas yang mendekati penyesuaian, sekaligus bekerja dengan lancar dalam lingkungan eksekusi Android native. Dengan berfokus pada petunjuk sistem yang unggul, APO memungkinkan developer menyesuaikan perilaku model dengan keandalan dan skalabilitas yang lebih besar daripada solusi penyesuaian tradisional.

Catatan: Gemini Nano V3 adalah versi yang dioptimalkan untuk kualitas dari model Gemma 3N yang sangat diakui. Setiap pengoptimalan perintah yang dilakukan pada model Gemma 3N open source juga akan berlaku untuk Gemini Nano V3. Di perangkat yang didukung, API GenAI ML Kit memanfaatkan model nano-v3 untuk memaksimalkan kualitas bagi Developer Android

APO memperlakukan perintah bukan sebagai teks statis, tetapi sebagai platform yang dapat diprogram dan dioptimalkan. Fitur ini memanfaatkan model sisi server (seperti Gemini Pro dan Flash) untuk menyarankan perintah, mengevaluasi variasi, dan menemukan perintah yang optimal untuk tugas spesifik Anda. Proses ini menggunakan tiga mekanisme teknis khusus untuk memaksimalkan performa:

1. Analisis Error Otomatis: APO menganalisis pola error dari data pelatihan untuk mengidentifikasi secara Otomatis kelemahan tertentu dalam perintah awal.
2. Distilasi Instruksi Semantik: Menganalisis contoh pelatihan dalam jumlah besar untuk mendistilasi "maksud sebenarnya" dari suatu tugas, sehingga membuat instruksi yang lebih akurat mencerminkan distribusi data yang sebenarnya.
3. Pengujian Kandidat Paralel: Daripada menguji satu ide dalam satu waktu, APO membuat dan menguji banyak kandidat perintah secara paralel untuk mengidentifikasi kualitas maksimum global.

Alasan APO Dapat Mendekati Kualitas Penyesuaian yang Baik

Ada kesalahpahaman umum bahwa penyesuaian selalu menghasilkan kualitas yang lebih baik daripada perintah. Untuk model dasar modern seperti Gemini Nano v3, teknik perintah dapat memberikan dampak dengan sendirinya:

• Mempertahankan kemampuan Umum: Fine-tuning ( PEFT/LoRA) memaksa bobot model untuk mengindeks lebih dari satu distribusi data tertentu. Hal ini sering kali menyebabkan "lupa total", yaitu model menjadi lebih baik dalam sintaksis spesifik Anda, tetapi lebih buruk dalam logika dan keamanan umum. APO tidak mengubah bobot, sehingga mempertahankan kemampuan model dasar.
• Mengikuti Petunjuk & Penemuan Strategi: Gemini Nano v3 telah dilatih secara ketat untuk mengikuti petunjuk sistem yang kompleks. APO mengeksploitasi hal ini dengan menemukan struktur perintah persis yang mengaktifkan kemampuan laten model, sering kali menemukan strategi yang mungkin sulit ditemukan oleh engineer manusia. 

Untuk memvalidasi pendekatan ini, kami mengevaluasi APO di berbagai beban kerja produksi. Validasi kami telah menunjukkan peningkatan akurasi yang konsisten sebesar 5-8% di berbagai kasus penggunaan.Di berbagai fitur dalam perangkat yang di-deploy, APO memberikan peningkatan kualitas yang signifikan.

Alur Kerja Developer End-to-End yang Lancar

Ada kesalahpahaman umum bahwa penyesuaian selalu menghasilkan kualitas yang lebih baik daripada perintah. Untuk model dasar modern seperti Gemini Nano v3, teknik perintah dapat memberikan dampak dengan sendirinya:

• Mempertahankan kemampuan Umum: Fine-tuning ( PEFT/LoRA) memaksa bobot model untuk mengindeks lebih dari satu distribusi data tertentu. Hal ini sering kali menyebabkan "lupa total", yaitu model menjadi lebih baik dalam sintaksis spesifik Anda, tetapi lebih buruk dalam logika dan keamanan umum. APO tidak mengubah bobot, sehingga mempertahankan kemampuan model dasar.
• Mengikuti Petunjuk & Penemuan Strategi: Gemini Nano v3 telah dilatih secara ketat untuk mengikuti petunjuk sistem yang kompleks. APO mengeksploitasi hal ini dengan menemukan struktur perintah persis yang mengaktifkan kemampuan laten model, sering kali menemukan strategi yang mungkin sulit ditemukan oleh engineer manusia. 

Untuk memvalidasi pendekatan ini, kami mengevaluasi APO di berbagai beban kerja produksi. Validasi kami telah menunjukkan peningkatan akurasi yang konsisten sebesar 5-8% di berbagai kasus penggunaan.Di berbagai fitur dalam perangkat yang di-deploy, APO memberikan peningkatan kualitas yang signifikan.

Kesimpulan

Rilis Pengoptimalan Perintah Otomatis (APO) menandai titik balik untuk AI generatif di perangkat. Dengan menjembatani kesenjangan antara model dasar dan performa tingkat ahli, kami memberi developer alat untuk membangun aplikasi seluler yang lebih andal. Baik Anda baru memulai dengan Pengoptimalan Zero-Shot atau melakukan penskalaan ke produksi dengan penyempurnaan Didorong Data, jalur menuju kecerdasan di perangkat berkualitas tinggi kini lebih jelas. Luncurkan kasus penggunaan di perangkat Anda ke produksi hari ini dengan Prompt API ML Kit dan Pengoptimalan Perintah Otomatis Vertex AI. 

Link yang relevan: 

• ML Kit Prompt API,
• Dokumentasi Pengoptimal Prompt Vertex AI
• Blog Pengumuman Gemma 3N