Gemini Nano

Gemini Nano te permite ofrecer experiencias enriquecidas de IA generativa sin necesidad de una conexión de red ni de enviar datos a la nube. La IA integrada en el dispositivo es una excelente solución para casos de uso en los que el bajo costo y las medidas de protección de la privacidad son tus principales preocupaciones.

Para los casos de uso integrados en el dispositivo, puedes aprovechar el modelo de base Gemini Nano de Google. Gemini Nano se ejecuta en el servicio del sistema AICore de Android, que aprovecha el hardware del dispositivo para habilitar una latencia de inferencia baja y mantener el modelo actualizado.

APIs de IA generativa de ML Kit

Las APIs de IA generativa de ML Kit aprovechan la potencia de Gemini Nano para ayudar a tus apps a realizar tareas. Estas APIs proporcionan calidad lista para usar para casos de uso populares a través de una interfaz de alto nivel. Las APIs de IA generativa de ML Kit se compilan sobre AICore, un servicio del sistema Android que permite la ejecución integrada en el dispositivo de modelos de base de IA generativa para facilitar funciones como la funcionalidad mejorada de la app y la privacidad mejorada del usuario mediante el procesamiento de datos de forma local. Obtén más información.

Funciones clave

Las APIs de IA generativa de ML Kit admiten las siguientes funciones:

Arquitectura a través de AICore

Como módulo a nivel del sistema, accedes a AICore a través de una serie de APIs para ejecutar la inferencia en el dispositivo. Además, AICore tiene varias funciones de seguridad integradas, lo que garantiza una evaluación exhaustiva en comparación con nuestros filtros de seguridad. En el siguiente diagrama, se describe cómo una app accede a AICore para ejecutar Gemini Nano en el dispositivo.

Un diagrama que muestra cómo una app para Android usa el SDK de Google AI Edge para acceder a AICore, donde se administran y ejecutan Gemini Nano, LoRA y las funciones de seguridad en aceleradores de hardware.
Figura 1. AICore sirve como interfaz entre tu app y el modelo Gemini Nano, ya que administra las actualizaciones y la seguridad del modelo mientras aprovecha el hardware integrado en el dispositivo.

Mantén la privacidad y la seguridad de los datos del usuario

La IA generativa integrada en el dispositivo ejecuta instrucciones de forma local, lo que elimina las llamadas al servidor. Si bien esto elimina la latencia de la red, la velocidad de inferencia depende del hardware del dispositivo. Este enfoque mejora la privacidad, ya que mantiene los datos sensibles en el dispositivo, habilita la funcionalidad sin conexión y reduce los costos de inferencia.

AICore cumple con los principios de Private Compute Core, con las siguientes características clave:

  • Vinculación de paquetes restringida: AICore está aislado de la mayoría de los otros paquetes, con excepciones limitadas para paquetes de sistemas específicos. Las modificaciones a esta lista permitida solo pueden ocurrir durante una actualización completa de OTA de Android.
  • Acceso indirecto a Internet: AICore no tiene acceso directo a Internet. Todas las solicitudes de Internet, incluidas las descargas de modelos, se enrutan a través del complementario de código abierto Private Compute Services APK. Las APIs dentro de Private Compute Services deben demostrar explícitamente su naturaleza centrada en la privacidad.

Además, AICore está diseñado para aislar cada solicitud y no almacena ningún registro de los datos de entrada ni de los resultados después de procesarlos para proteger la privacidad del usuario. Lee la entrada de blog Introducción a la privacidad y la seguridad de Gemini Nano para obtener más información.

Un diagrama de arquitectura detallado de AICore que muestra el flujo de solicitudes: superficie de la API, procesamiento de entrada con indicadores de seguridad, configuración de funciones, tiempo de ejecución con pesos del modelo y LoRAs, y procesamiento de salida con indicadores de seguridad. También muestra las descargas de modelos a través de Private Compute Services.
Figura 2. La arquitectura de AICore administra la seguridad de entrada y salida, el procesamiento de solicitudes y los pesos del modelo para proporcionar un entorno seguro para la IA integrada en el dispositivo.

Beneficios de acceder a modelos de base de IA con AICore

AICore permite que el SO Android proporcione y administre modelos de base de IA. Esto reduce significativamente el costo de usar estos modelos grandes en tu app, principalmente debido a lo siguiente:

  • Facilidad de implementación: AICore administra la distribución de Gemini Nano y controla las actualizaciones futuras. No debes preocuparte por descargar ni actualizar modelos grandes a través de la red, ni por el impacto en el disco de tu app y el presupuesto de memoria de tiempo de ejecución.
  • Inferencia acelerada: AICore aprovecha el hardware integrado en el dispositivo para acelerar la inferencia. Tu app obtiene el mejor rendimiento en cada dispositivo, y no debes preocuparte por las interfaces de hardware subyacentes.