Karma çıkarım

Google, hem bulut tabanlı hem de cihaz üzerinde çıkarım için sektör lideri yapay zeka modelleri ve API'lerden oluşan geniş bir seçenek sunar. Hibrit çıkarım, yapay zeka iş yüklerini yerel cihaz ve bulut arasında sorunsuz bir şekilde dengelemenize olanak tanıyarak performansı, maliyeti ve kullanılabilirliği optimize eder.

Hibrit çıkarım, Android uygulamanız için iki temel avantaj sağlar:

  • Erişimi artırma: Cihaz donanımı veya OS kısıtlamaları nedeniyle Gemini Nano gibi cihaz üzerinde modeller kullanılamadığında bulut modelleri önemli bir yedek olarak işlev görür. Bu sayede, yapay zeka özelliklerinizin mümkün olan en geniş kullanıcı cihazı yelpazesinde işlevsel kalması sağlanır.
  • Maliyet ve çevrimdışı özellikler: Cihaz üzerinde modeller, kullanıcının internet bağlantısı olmadığında yapay zeka özelliklerinizin sorunsuz çalışmasını sağlar. Ayrıca, rutin görevleri yerel cihaza aktarmak bulut çıkarımı maliyetlerini azaltmaya yardımcı olur.

Cihaz üzerinde çıkarım ve bulut çıkarımının avantajları aşağıda verilmiştir:

Cihaz üzerinde çıkarım Bulut çıkarımı
Çevrimdışı kullanılabilir Her cihazla uyumlu
Çıkarım maliyeti yok Gelişmiş model özellikleri

Uygulama seçenekleri

Aşağıdaki yaklaşımları kullanarak karma çıkarım uygulayabilirsiniz:

Firebase AI Logic Hybrid API

Firebase AI Logic Hybrid API, çıkarımı bulut ve cihaz üzerindeki modeller arasında yönlendirmek için tek ve birleşik bir arayüz sağlar.

  • Otomatik geçiş: Uygulamanızı, mümkün olduğunda cihaz üzerinde yapay zeka görevleri çalıştıracak şekilde yapılandırabilirsiniz. Bu, uygulamanızın özelliğinin çevrimdışı çalıştığı, gizliliğin iyileştirildiği ve bulut çıkarımı maliyetinin olmadığı anlamına gelir. Cihaz üzerinde model kullanılamıyorsa SDK, isteği otomatik olarak bulutta barındırılan Gemini modeline yönlendirebilir.
  • Kötüye kullanıma karşı koruma: Mobil uygulamadan doğrudan bulut API'lerini çağırmak kimlik bilgilerinin açığa çıkmasına ve istenmeyen ücretlere yol açabilir. Ancak Firebase AI Logic'i kullandığınızda Firebase Uygulama Kontrolü'nü de zorunlu kılarsınız. Bu özellik, yalnızca orijinal ve değiştirilmemiş uygulamanızın Cloud Gemini API'ye erişebildiğini doğrulayarak kötüye kullanımı önlemeye yardımcı olabilir.
  • Harcama sınırları: İstekleri bulutta barındırılan modellere yönlendirirken harcama sınırları yapılandırarak bulut bütçenizi koruyabilir ve beklenmedik ücretlerden kaçınabilirsiniz.

Uygulamanızda, çıkarım modunu kontrol etmek ve yönlendirmeyi yönetmek için onDeviceConfig parametresini tanımlarsınız:

  • PREFER_ON_DEVICE: Cihaz üzerinde modeli kullanmaya çalışır. Cihaz üzerinde model kullanılamıyorsa veya istek için desteklenmiyorsa otomatik olarak bulutta barındırılan modele geri döner.

  • PREFER_IN_CLOUD: Cihaz internete bağlıyken ve model kullanılabilir durumdayken bulutta barındırılan modeli kullanmaya çalışır. Yalnızca cihaz çevrimdışıyken cihaz üzerindeki modele geri döner.

  • ONLY_ON_DEVICE: Cihaz üzerindeki modeli kullanmaya çalışır. Cihaz üzerindeki model kullanılamıyorsa veya istek için desteklenmiyorsa istisna oluşturur.

  • ONLY_IN_CLOUD: Cihaz internete bağlıyken ve model kullanıma hazır olduğunda bulutta barındırılan modeli kullanmaya çalışır. Diğer tüm durumlarda istisna oluşturur.

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)

Uygulama ayrıntıları için Firebase belgelerini inceleyin ve yapay zeka kataloğundaki Hibrit Yapay Zeka örneğini keşfedin.

İş yüklerinin buluta geçirilmesi, bulut API uç noktalarını ortaya çıkarabilir. Firebase AI Logic'i kullandığınızda, Firebase Uygulama Kontrolü'nü zorunlu kılarak bulut tabanlı Gemini modellerine doğrudan istemci tarafı uygulamalarınızdan güvenli bir şekilde erişebilirsiniz. Bu, bulut tabanlı çıkarımın yetkisiz erişime ve faturalandırma kötüye kullanımına karşı korunmasına yardımcı olur. Bu sayede karma yedek mekanizmanız hem kullanılabilir hem de güvenli kalır.

Özel yönlendirme

Uygulamanızın belirli işletme veya kullanıcı deneyimi şartları varsa özel yönlendirme mantığı da uygulayabilirsiniz. Bu sayede, çıkarım yolunu aşağıdakiler gibi gerçek zamanlı faktörlere göre dinamik olarak belirleyebilirsiniz:

  • Ağ gecikmesi
  • Cihaz sisteminin durumu (ör. pil seviyeleri ve işlemci yükü)
  • Kullanıcı sorgusunun karmaşıklığı

Bu özel karma çıkarım yaklaşımı, aşağıdakiler de dahil olmak üzere güvenilir yapay zeka deneyimleri sunmak için kendi özel yönlendirmelerini uygulayan önde gelen uygulamalar tarafından kullanılır:

  • Gboard: Gboard, gözden geçirme ve yeniden yazma gibi yazma araçlarına güç sağlamak için özel hibrit çıkarım kullanır.

  • Kakao Mobility: Kakao Mobility, kargo teslimatı hizmeti için özel hibrit çıkarım kullanarak bir öğe çıkarma aracı geliştirdi. Bu araç, sipariş formlarını kolaylaştırmak için doğal dil mesajlarından alıcı adlarını, adreslerini ve telefon numaralarını otomatik olarak çıkarıyor.