Otomatik istem optimizasyonu (APO)

ML Kit Prompt API kullanım alanlarınızı üretime taşımanıza daha fazla yardımcı olmak için Vertex AI'daki cihaz üzerinde modelleri hedefleyen Otomatik İstem Optimizasyonu (APO) özelliğini duyurmaktan heyecan duyuyoruz. Otomatik istem optimizasyonu, kullanım alanlarınız için en uygun istemi otomatik olarak bulmanıza yardımcı olan bir araçtır.

Cihaz üzerinde yapay zeka dönemi artık bir vaat değil, üretimde kullanılan bir gerçeklik. Gemini Nano v3'ün kullanıma sunulmasıyla birlikte, benzersiz dil anlama ve çok formatlı özellikler doğrudan kullanıcıların avuçlarına geliyor. Gemini Nano model ailesi sayesinde Android ekosistemindeki desteklenen cihazların büyük bir kısmını kapsıyoruz. Ancak yeni nesil akıllı uygulamalar geliştiren geliştiriciler için güçlü bir modele erişim yalnızca ilk adımdır. Asıl zorluk özelleştirmede yatıyor: Mobil donanımın kısıtlamalarını ihlal etmeden, temel bir modeli belirli kullanım alanınız için uzman düzeyinde performansa nasıl uyarlarsınız?

Sunucu tarafı dünyasında, daha büyük LLM'ler genellikle oldukça yeteneklidir ve daha az alan uyarlaması gerektirir. Gerekli olsa bile LoRA (Low-Rank Adaptation) ince ayarı gibi daha gelişmiş seçenekler uygulanabilir. Ancak Android AICore'un benzersiz mimarisi, paylaşılan ve bellek açısından verimli bir sistem modeline öncelik verir. Bu nedenle, her uygulama için özel LoRA bağdaştırıcıları dağıtmak, bu paylaşılan sistem hizmetlerinde zorluklar yaratır.

Ancak aynı derecede etkili olabilecek alternatif bir yol vardır. Geliştiriciler, Vertex AI'da Otomatik İstem Optimizasyonu (APO)'ndan yararlanarak ince ayara yaklaşan bir kalite elde edebilir ve tüm bunları yerel Android yürütme ortamında sorunsuz bir şekilde çalışarak yapabilir. APO, üstün sistem talimatına odaklanarak geliştiricilerin model davranışını geleneksel ince ayar çözümlerine kıyasla daha sağlam ve ölçeklenebilir bir şekilde özelleştirmesini sağlar.

Not: Gemini Nano V3, çok beğenilen Gemma 3N modelinin kalite için optimize edilmiş bir sürümüdür. Açık kaynaklı Gemma 3N modelinde yapılan tüm istem optimizasyonları Gemini Nano V3'e de uygulanır. Desteklenen cihazlarda ML Kit GenAI API'leri, Android geliştiriciler için kaliteyi en üst düzeye çıkarmak amacıyla nano-v3 modelinden yararlanır.

APO, istemi statik bir metin olarak değil, optimize edilebilen programlanabilir bir yüzey olarak ele alır. İstem önermek, varyasyonları değerlendirmek ve belirli göreviniz için en uygun olanı bulmak amacıyla sunucu tarafı modellerinden (Gemini Pro ve Flash gibi) yararlanır. Bu süreçte performansı en üst düzeye çıkarmak için üç özel teknik mekanizma kullanılır:

1. Otomatik Hata Analizi: APO, ilk istemdeki belirli zayıflıkları otomatik olarak belirlemek için eğitim verilerindeki hata kalıplarını analiz eder.
2. Anlamsal Talimat Damıtma: Bir görevin "gerçek amacını" damıtmak için büyük eğitim örneklerini analiz ederek gerçek veri dağılımını daha doğru yansıtan talimatlar oluşturur.
3. Paralel Aday Testi: APO, her seferinde tek bir fikir test etmek yerine kalite için küresel maksimumu belirlemek üzere çok sayıda istem adayını paralel olarak oluşturur ve test eder.

Neden APO, Kaliteye İnce Ayar Yapabilir?

İnce ayarın her zaman istemden daha iyi kalite sağladığı yaygın bir yanılgıdır. Gemini Nano v3 gibi modern temel modellerde istem mühendisliği tek başına etkili olabilir:

• Genel yetenekleri koruma: İnce ayar ( PEFT/LoRA), modelin ağırlıklarını belirli bir veri dağılımına göre aşırı indekslemeye zorlar. Bu durum genellikle "felaket derecesinde unutmaya" yol açar. Bu durumda model, belirli söz diziminizde daha iyi hale gelir ancak genel mantık ve güvenlik konusunda kötüleşir. APO, temel modelin özelliklerini koruyarak ağırlıklara dokunmaz.
• Talimat Takibi ve Strateji Keşfi: Gemini Nano v3, karmaşık sistem talimatlarını takip etmek için titizlikle eğitilmiştir. APO, modelin gizli özelliklerini ortaya çıkaran tam talimat yapısını bularak bu durumdan yararlanır ve genellikle insan mühendislerin bulmasının zor olabileceği stratejileri keşfeder. 

Bu yaklaşımı doğrulamak için APO'yu çeşitli üretim iş yüklerinde değerlendirdik. Doğrulama sürecimiz, çeşitli kullanım alanlarında tutarlı bir şekilde % 5-8 doğruluk artışı sağladığını gösterdi.APO, cihaz üzerinde dağıtılan birden fazla özellikte önemli kalite artışları sağladı.

Sorunsuz, Uçtan Uca Geliştirici İş Akışı

İnce ayarın her zaman istemden daha iyi kalite sağladığı yaygın bir yanılgıdır. Gemini Nano v3 gibi modern temel modellerde istem mühendisliği tek başına etkili olabilir:

• Genel yetenekleri koruma: İnce ayar ( PEFT/LoRA), modelin ağırlıklarını belirli bir veri dağılımına göre aşırı indekslemeye zorlar. Bu durum genellikle "felaket derecesinde unutmaya" yol açar. Bu durumda model, belirli söz diziminizde daha iyi hale gelir ancak genel mantık ve güvenlik konusunda kötüleşir. APO, temel modelin özelliklerini koruyarak ağırlıklara dokunmaz.
• Talimat Takibi ve Strateji Keşfi: Gemini Nano v3, karmaşık sistem talimatlarını takip etmek için titizlikle eğitilmiştir. APO, modelin gizli özelliklerini ortaya çıkaran tam talimat yapısını bularak bu durumdan yararlanır ve genellikle insan mühendislerin bulmasının zor olabileceği stratejileri keşfeder. 

Bu yaklaşımı doğrulamak için APO'yu çeşitli üretim iş yüklerinde değerlendirdik. Doğrulama sürecimiz, çeşitli kullanım alanlarında tutarlı bir şekilde % 5-8 doğruluk artışı sağladığını gösterdi.APO, cihaz üzerinde dağıtılan birden fazla özellikte önemli kalite artışları sağladı.

Sonuç

Otomatik İstem Optimizasyonu (APO)'nun kullanıma sunulması, cihaz üzerinde üretken yapay zeka için bir dönüm noktasıdır. Temel modeller ile uzman düzeyinde performans arasındaki boşluğu kapatarak geliştiricilere daha sağlam mobil uygulamalar oluşturma araçları sunuyoruz. Zero-Shot Optimization ile yeni başlıyor veya Veriye Dayalı iyileştirme ile üretime geçiş yapıyor olsanız da cihaz üzerinde yüksek kaliteli yapay zekaya ulaşma yolu artık daha net. ML Kit'in Prompt API'si ve Vertex AI'ın Otomatik İstem Optimizasyonu ile cihaz üzerinde kullanım alanlarınızı bugün üretime taşıyın. 

İlgili bağlantılar: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer belgeleri
• Gemma 3N Duyurusu Blogu