Gemini Nano vous permet de proposer des expériences d'IA générative riches sans avoir besoin d'une connexion réseau ni d'envoyer des données au cloud. L'IA sur l'appareil est une excellente solution pour les cas d'utilisation où le faible coût et les mesures de protection de la confidentialité sont vos principales préoccupations.
Pour les cas d'utilisation sur l'appareil, vous pouvez profiter du modèle de fondation Gemini Nano de Google. Gemini Nano s'exécute dans le service système AICore d'Android, qui exploite le matériel de l'appareil pour permettre une faible latence d'inférence et maintenir le modèle à jour.
API d'IA générative de ML Kit
Les API d'IA générative de ML Kit exploitent la puissance de Gemini Nano pour aider vos applications à effectuer des tâches. Ces API offrent une qualité prête à l'emploi pour les cas d'utilisation courants grâce à une interface de haut niveau. Les API d'IA générative de ML Kit sont basées sur AICore, un service système Android qui permet l'exécution sur l'appareil de modèles de fondation d'IA générative pour faciliter des fonctionnalités telles que des fonctionnalités d'application améliorées et une meilleure confidentialité des utilisateurs en traitant les données localement. En savoir plus.
Principales fonctionnalités
Les API d'IA générative de ML Kit sont compatibles avec les fonctionnalités suivantes :
- Invite : générez du contenu textuel à partir d'une invite personnalisée, uniquement textuelle ou multimodale.
- Résumé : résumez des articles ou des conversations sous forme de liste à puces.
- Relecture : relisez les courts messages de chat.
- Réécriture : réécrivez les courts messages de chat dans différents tons ou styles.
- Description d'image : générez une courte description d'une image donnée.
- Reconnaissance vocale : transcrivez le contenu audio parlé en texte.
Architecture via AICore
En tant que module au niveau du système, vous accédez à AICore via une série d'API afin d'exécuter l'inférence sur l'appareil. De plus, AICore dispose de plusieurs fonctionnalités de sécurité intégrées, ce qui garantit une évaluation approfondie par rapport à nos filtres de sécurité. Le schéma suivant explique comment une application accède à AICore pour exécuter Gemini Nano sur l'appareil.
Préserver la confidentialité et la sécurité des données utilisateur
L'IA générative sur l'appareil exécute les invites localement, ce qui élimine les appels au serveur. Bien que cela supprime la latence du réseau, la vitesse d'inférence dépend du matériel de l'appareil. Cette approche améliore la confidentialité en conservant les données sensibles sur l'appareil, permet une fonctionnalité hors connexion et réduit les coûts d'inférence.
AICore respecte les principes de Private Compute Core, avec les caractéristiques clés suivantes :
- Liaison de package restreinte : AICore est isolé de la plupart des autres packages, avec des exceptions limitées pour des packages système spécifiques. Toute modification de cette liste autorisée ne peut avoir lieu que lors d'une mise à jour OTA Android complète.
- Accès indirect à Internet : AICore n'a pas d'accès direct à Internet. Toutes les requêtes Internet, y compris les téléchargements de modèles, sont acheminées via l' APK compagnon Open Source Private Compute Services. Les API de Private Compute Services doivent explicitement démontrer leur nature axée sur la confidentialité.
De plus, AICore est conçu pour isoler chaque requête et ne stocke aucun enregistrement des données d'entrée ni des sorties résultantes après leur traitement afin de protéger la confidentialité des utilisateurs. Pour en savoir plus, consultez l'article de blog Présentation de la confidentialité et de la sécurité de Gemini Nano.
Avantages de l'accès aux modèles de fondation d'IA avec AICore
AICore permet au système d'exploitation Android de fournir et de gérer des modèles de fondation d'IA. Cela réduit considérablement le coût d'utilisation de ces grands modèles dans votre application, principalement pour les raisons suivantes :
- Facilité de déploiement : AICore gère la distribution de Gemini Nano et gère les futures mises à jour. Vous n'avez pas à vous soucier du téléchargement ni de la mise à jour de grands modèles sur le réseau, ni de l'impact sur le budget de mémoire disque et d'exécution de votre application.
- Inférence accélérée : AICore exploite le matériel de l'appareil pour accélérer l' inférence. Votre application bénéficie des meilleures performances sur chaque appareil, et vous n'avez pas à vous soucier des interfaces matérielles sous-jacentes.