Gemini Nano y Gemma 4 potencian la inteligencia integrada en el dispositivo

Sara Smoot

Hola, te damos la bienvenida a la charla.

Me llamo Sara y soy directora de ingeniería de Gemma en el área de modelado.

Hoy estoy aquí para hablarles sobre nuestros modelos.

Hablaré sobre las capacidades y cómo pensamos en el diseño para dispositivos móviles.

Hablaré sobre las técnicas que incorporamos en el modelo para que se ejecute de manera eficiente en dispositivos móviles.

Te explicaré cómo puedes acceder a ella y cómo nos integramos con AICore.

Y, luego, terminaré con algunas demostraciones para mostrar el modelo y darte una idea de lo que es capaz de hacer.

Para comprender hacia dónde vamos, es útil entender de dónde venimos.

Lanzamos Gemma 1 en 2024.

Lanzamos un modelo de 2,000 millones y 7,000 millones de parámetros, solo de texto, de tamaños muy, muy pequeños en comparación con lo que estaba sucediendo en ese momento.

Después de Gemma 1, lanzamos Gemma 2, que introdujo algunas funciones adicionales.

Presentamos la programación.

También presentamos un modelo de gran tamaño, el 27B, que amplió significativamente las capacidades de la serie Gemma.

Gemma 3 se lanzó poco después.

Nuevamente, agregamos más capacidades, multimodalidad y, luego, un modelo más pequeño, un modelo de 270 millones de parámetros, ya que nos dimos cuenta de que los modelos más pequeños realmente tenían muchos casos de uso y realmente estamos tratando de ayudar a habilitar tantos casos de uso móviles en línea como sea posible.

Por lo tanto, con cada lanzamiento, nuestras capacidades aumentan, y eso es intencional.

Lo que estamos haciendo es diseñar para hardware de un solo dispositivo, y estamos tratando de, es decir, esto incluye teléfonos, laptops, GPUs, y nuestro objetivo no es hacer un modelo más grande, aunque sí subimos de 12 a 27 mil millones, nuestro objetivo es incluir más capacidades con cada iteración en el mismo espacio, porque queremos permanecer integrado en el dispositivo, queremos permanecer locales.

Para ello, mejoramos la eficiencia.

Y voy a hablar de lo que hicimos para Gemma 4 específicamente y cómo lo hicimos.

Lanzamos el E2B (explicaré esa "E" en un minuto), el E4B, un modelo unificado de 12B (explicaré por qué lo hicimos) y también un modelo de MoE.

Todo esto para ayudar a demostrar la eficiencia y brindarles a los desarrolladores más flexibilidad para las apps y los elementos que quieren compilar.

Si analizamos las capacidades con un poco más de detalle, aquí puedes ver las que agregamos con el tiempo.

Quiero destacar un par de cosas, como la longitud de contexto.

Agregamos una longitud de contexto mucho mayor que en las versiones anteriores de Gemma.

Gemma 4 tiene un contexto de hasta 128,000 tokens.

Los modelos más grandes llegan hasta 256.

Ten en cuenta que el ML Kit limita la longitud de contexto, así que asegúrate de verificar tu presupuesto antes de esperar que puedas lanzar con 128.

Pero esto debería ser suficiente para que puedas leer documentos largos, realizar razonamientos ampliados, llamar a funciones y también tener suficiente presupuesto para usar la multimodalidad, la visión y el audio.

El video es una nueva función que agregamos a partir de Gemma 3n y que mejoramos un poco más para Gemma 4.

Ahora, ofrecemos compatibilidad multilingüe.

Seguimos entrenando el modelo en varios idiomas, por lo que tienes compatibilidad con idiomas integrada y compatibilidad con idiomas entrenada previamente.

Y todo esto ahora viene con una nueva licencia Apache 2, lo que nos entusiasma mucho, porque esto va a dar mucha más flexibilidad con lo que puedes construir con ella, y también hace que la fricción sea mucho menor.

Es mucho más sencillo compilar y descargar el modelo.

Sara Smoot

Bien, ¿qué hacemos con la visión?

La visión para Gemma 4 específicamente tiene una relación de aspecto variable.

Lo que hace es tomar una imagen y, en lugar de comprimirla en un cuadrado incómodo, preserva la relación de aspecto real del modelo.

Esto significa que el texto no se distorsiona, los objetos no se distorsionan.

De hecho, mejora drásticamente la capacidad del modelo.

Las formas se mantienen fieles y el OCR mejora mucho con esta relación de aspecto variable.

La visión también puede leer gráficos, hojas de cálculo y diagramas.

También puede traducir a partir de pistas visuales, por lo que puedes tomar fotos de palabras y las traducirá por ti.

También razona sobre el mundo físico.

Puede mirar una imagen, comprender dónde están las cosas y entender qué hay en la imagen.

Puede hacer mucho.

Y la otra función poco conocida de nuestros modelos de Gemma es que puedes establecer el presupuesto de tokens visuales.

Por lo tanto, en este momento, me refiero a verificar y ver qué es en el kit de herramientas de AA, pero tienes un rango amplio.

Si quieres dedicar más potencia y energía a la comprensión de imágenes de mayor resolución, puedes configurarlo.

Si ese no es un caso de uso que quieras aprovechar, puedes reducir bastante el presupuesto de tokens de imagen y recuperar gran parte de esa potencia y, ya sabes, en los ciclos de procesamiento del modelo para tus aplicaciones de texto.

El audio es un modo relativamente nuevo para nosotros.

La presentamos por primera vez en Gemma 3n.

Ahora, nos estamos enfocando por completo en ella para Gemma 4.

El audio solo está disponible en nuestros modelos más pequeños: E2B, E4B y 12B.

Se transcribirá por completo en función del archivo de audio.

Traduce voz.

Admite, de forma predeterminada, más de 35 idiomas.

También lo entrenamos previamente en más de 140 idiomas, por lo que, si quieres usar un idioma que no sea uno de nuestros 35, deberías poder realizar un ajuste fino y obtener una asistencia realmente buena para un idioma que no se admite de forma predeterminada.

Agregamos el razonamiento de agentes.

Esto también es nuevo en Gemma 4.

Planifica.

Realiza tareas de varios pasos.

Usa herramientas.

Sigue las instrucciones con precisión.

Devuelve un JSON estructurado.

Puede hacer todo lo que, ya sabes, esperas de un modelo de agente.

Te recomiendo que mires el video Asegúrate de usar Si estás haciendo Si no usas ML Toolkit, estás haciendo las cosas por tu cuenta, asegúrate de prestar atención a las plantillas de chat.

Las plantillas de chat son complejas.

Se deben manipular con cuidado.

Si usas el ML Toolkit, todo esto se hace por ti.

Por último, Gemma sigue ofreciendo una gran comprensión de texto.

Y con el contexto más extenso, ahora podemos analizar código, documentos largos y traducir.

De hecho, con la funcionalidad de programación, Android Studio ahora admite Gemma 4 en modo sin conexión.

Por lo tanto, si quieres usar Android Studio sin conexión, Gemma 4 se encargará de tus tareas de programación.

Y un punto clave: E2B y E4B son lo suficientemente pequeños como para que quepan y se ejecuten bien en tu teléfono.

Por lo tanto, se trata de una gran capacidad en un espacio muy pequeño.

En realidad, este es un desafío de ingeniería muy difícil, por lo que el equipo de Gemma está muy orgulloso de este logro.

Estos son algunos ejemplos que demuestran las capacidades.

A la izquierda, mostramos que el modelo puede encontrar la laptop y devolver las coordenadas de su ubicación.

Luego, la app puede dibujar un puntero y mostrar dónde está la laptop.

En el centro, el modelo puede identificar objetos y, luego, dibujar cuadros delimitadores alrededor de ellos.

Hay algunas aplicaciones interesantes para esto: detección de objetos, evasión de objetos.

Esta es una función muy útil.

A la derecha, se muestra cómo el modelo puede leer texto.

Por lo tanto, esto se traduce como "Cuidado, hay un gato".

También comprende lo que sucede en la imagen y ve a este gato en esta posición tan graciosa, y puede traducir y señalar que es un remate que el texto de abajo dice: "Algo puede suceder".

lo que me parece bastante lindo.

Por lo tanto, señala, detecta objetos, realiza OCR y traduce, todo sin una canalización de visión especial.

Bien, veamos los números de la evaluación.

Demostrar la capacidad siempre es importante, pero muchas personas miran esto, y creo que aquí se puede ver la solidez de los modelos.

Si observas esas dos últimas columnas, E2B supera a Gemma 3 27B, que es un modelo mucho más grande, en razonamiento, programación y agentes.

Veamos LiveCodeBench.

Obtuvimos 44 para Gemma 4 en comparación con 29 para Gemma 3 27B.

El AIME también es mucho más alto.

Tau2, que es una evaluación de agentes, también es mucho más alta, lo que demuestra una gran solidez.

Si aumentamos solo unos pocos parámetros más, nuestro modelo E4B supera sólidamente a nuestro modelo 27B en todas las comparativas.

Por lo tanto, al pasar de Gemma 3 a Gemma 4, incluimos muchas más funciones en la misma cantidad de parámetros.

Sara Smoot

¿Cómo lo hacemos?

Hacer que el modelo sea más capaz sin agrandarlo es un problema difícil.

Si solo observas el hardware, los teléfonos tienen mucha menos memoria.

Es decir, estamos hablando de 12 a 16 GB en comparación con los 80 GB que se pueden obtener en un servidor.

El ancho de banda también es mucho menor: de 50 a 80 GB en comparación con los terabytes que obtendrías en un servidor.

Y, luego, hay restricciones de energía severas.

Por lo tanto, debemos tener en cuenta todo esto mientras ejecutamos el modelo.

Cada técnica que te mostraré a continuación se enfoca en cada una de estas restricciones y ayuda a que el modelo sea más óptimo para ejecutarse en el hardware móvil.

Muy bien, lo primero que hacemos es no tener una arquitectura para cada tamaño.

Cada tamaño de modelo tiene su propia arquitectura independiente.

Por lo tanto, nuestros modelos E2B y E4B tienen algunos elementos especiales, en los que me enfocaré principalmente durante el resto de mi charla, pero creo que es útil saber que nuestro modelo 12B no tiene un codificador de visión.

Por lo tanto, con este modelo, quitamos el codificador de visión para simplificar la implementación y minimizar la cantidad de parámetros que necesitaba el modelo.

Por lo general, se orienta al hardware de nuestra laptop.

Nuestros modelos grandes están ahí para demostrar la mayor capacidad.

Estos se presentan en un modelo de mezcla de expertos y en uno completamente denso.

El modelo de mezcla de expertos también se puede ejecutar en laptops, y lo creamos debido a la menor latencia que se obtiene de la arquitectura de expertos.

Por lo tanto, durante el resto de la charla, me enfocaré en los modelos para dispositivos móviles, que son E2B y E4B, y hablaré sobre lo que hicimos para que funcionen muy bien en sus teléfonos.

Muy bien, de aquí proviene la "E", de Per-Layer Embeddings.

Esta es una técnica interesante que tenemos, una técnica innovadora que agregamos a los modelos.

Y si piensas en la forma en que funcionan los modelos, estos necesitan más parámetros para ser más inteligentes.

Y estamos buscando Estamos mejorando la eficiencia de los parámetros, pero, en general, si quieres que el modelo sea mejor, necesitas más parámetros.

Por lo tanto, lo que hace PLE es decir: "Bien, necesitamos más parámetros".

Pero, en lugar de agregar más parámetros directamente al modelo, tenemos una tabla de embeddings adicional.

Y esta tabla de incorporaciones se lee para cada capa.

Entonces, lo que puedes hacer con esto es, una vez que tengas los tokens que sabes que el modelo va a necesitar, puedes extraer los embeddings por capa que necesitas para una secuencia de entrada determinada y, luego, puedes cargar solo esos embeddings en el modelo.

Por lo tanto, lo que hace es darte un modelo de 2,000 millones de parámetros efectivo, aunque la cantidad de parámetros en sí es bastante mayor.

Por eso, decimos que tiene 2,000 millones de parámetros, porque solo esa cantidad se carga en la memoria.

Por lo general, la tabla de incorporaciones se guarda en la memoria flash, no en la RAM.

Por lo tanto, realmente estás limitando el ancho de banda, ya que no tienes que transferir tantos parámetros, pero sigues obteniendo la capacidad completa de un modelo mucho más grande.

También ocupa menos RAM en el dispositivo.

Lo siguiente que agregamos es un modelo de borrador.

El modelo de borrador que usamos para Gemma es un modelo de predicción de varios tokens.

Y es una forma de decodificación especulativa.

Esto te permite predecir más tokens por pasada que un modelo autorregresivo general.

Por lo tanto, en lugar de dar Los modelos autorregresivos típicos solo harán un token a la vez, tienes que pasar por todo el modelo cada token.

Lo que hace el MTP es predecir tres o cuatro tokens a la vez, y luego usamos el modelo principal para validar esos tokens.

Y si se aceptan esos tokens, se usan y, luego, podemos obtener, ya sabes, dos, tres o cuatro tokens por pasada en lugar de un solo token a la vez.

Esta es una técnica común.

Existen modelos de borrador.

Lo que hicimos de diferente y especial para Gemma es que compartimos la caché de KV del modelo base.

Por lo tanto, para E2B, realizamos el precompletado completo, creamos la caché y, luego, nuestro modelo de borrador usa esa caché de KV.

Por lo tanto, en realidad ahorras alrededor de 130 milisegundos en una instrucción de cien tokens o mil tokens, porque no tienes que volver a generar un precompletado para tu modelo de borrador.

Por lo tanto, nuestro modelo de borrador es entre 30 y 40 veces más rápido que otros modelos de borrador que existen.

Si observas los números, puedes ver las aceleraciones cuando usas el modelo de borrador.

Obtenemos una tasa de aceptación entre un 40% y un 60% más alta que la mayoría de los modelos de redacción.

Tenemos una latencia de decodificación un 40% más baja con el modelo de borrador y también usamos entre un 30% y un 40% menos de energía con este modelo de borrador.

Por lo tanto, obtienes respuestas más rápidas, una mayor duración de la batería y no se requieren cambios en el código.

Es una herramienta bastante sencilla y con un buen soporte.

Sara Smoot

Nuestra próxima innovación se relaciona con la cuantización.

Por lo general, la cuantización tampoco es una técnica nueva, pero tenemos un cuidado especial con nuestros modelos para dispositivos móviles para asegurarnos de que la cuantización funcione muy bien con el hardware de estos dispositivos.

Hay un par de cosas que pensamos con nuestros modelos de QAT.

Primero, realizamos el QAT, que, para quienes no lo saben, es el entrenamiento adaptado a la cuantización.

Esto significa que, cuando realizamos nuestro entrenamiento, consideramos y reconocemos el hecho de que vamos a cuantizar.

Esto ayuda al modelo a comprender que los parámetros se agruparán en buckets y ayuda a preservar la calidad.

También ayuda a preservar la calidad y, por lo general, podemos reducir el modelo a una fracción de su tamaño.

Por lo tanto, si pasas de un modelo de 16 bits a uno de 4 bits y conservas toda la calidad, realmente ahorramos mucha memoria.

Por lo tanto, el E2B viene en dos cuantizaciones diferentes.

Tenemos un formato Q4_0.

Esta es una cuantización de uso más general.

Se puede personalizar.

Esto funciona muy bien con otras bibliotecas de cuantización.

Te permite jugar y tener una cuantización que podría funcionar bien para tu caso de uso.

También tenemos una cuantización muy especial, que llamamos cuantización móvil, que es muy agresiva en su cuantización, y hemos investigado mucho para que sea óptima.

No es tan compatible en la mayoría de los entornos de ejecución, pero sí lo es con el ML Kit y en Android Studio, por lo que puedes usarlo.

Puedes usarlo allí.

Algunas de las innovaciones que incorporamos son los cuantificadores de activación estáticos.

Por lo tanto, cuando realizas la cuantización, por lo general, el modelo, si realizas la activación del rango dinámico, debes calcular los rangos sobre la marcha y, luego, usar eso para realizar la cuantización.

En cuanto a las cuantificaciones de rango estático, ya lo hicimos por ti, por lo que solo se trata de ahorros, no tienes que calcular previamente los rangos.

La otra cosa que hicimos es la cuantización por canal.

Estructuramos y comprimimos el modelo de una manera que funciona muy bien con la mayoría del hardware móvil.

Nos enfocamos en la cuantización de 2 bits.

Por lo tanto, la cuantización de dos bits suele tener mucha pérdida.

Es muy difícil realizar la PTQ.

Investigamos y comprendemos nuestros modelos lo suficientemente bien como para saber dónde se pueden comprimir los parámetros a 2 bits y hacerlo bien con el entrenamiento adaptado a la cuantización.

Esto ahorra mucho almacenamiento y, al mismo tiempo, conserva casi toda la calidad.

Por lo tanto, nuestro modelo de cuantización especial es de menos de un gigabyte, lo que, como saben, es bastante más pequeño que incluso los modelos de cuantización de 4 bits que tenemos disponibles.

Otra cosa que incorporamos en nuestra cuantización personalizada es que realizamos la cuantización de embeddings y de la caché de KV.

Existen muchas técnicas para lograr ambos objetivos.

Investigamos y esto es lo que funcionará muy bien con nuestro modelo.

Y lo hemos agrupado en estos puntos de control.

Por lo tanto, todo esto reduce drásticamente tu memoria activa.

Te ahorra mucho ancho de banda al tener que mover parámetros de un lado a otro.

Y también te permite administrar y conservar, ya sabes, tus chats largos y otras cosas sin quedarte sin espacio.

Sara Smoot

Muy bien, nos integramos a través de AICore.

Por lo tanto, lo que obtienes con AICore es el modelo Gemini Nano 4.

Gemini Nano 4 es Gemma compilado y ejecutado a través de AICore.

AICore hace algunas cosas interesantes por ti.

Es la ruta más sencilla y, de hecho, voy a hablar de la otra ruta muy rápido.

La otra opción es usar LiteRT, que es una alternativa más personalizada y práctica.

Si eliges esta opción, el modelo se empaquetará con tu app.

No usará el modelo compartido que está integrado en el dispositivo.

Por lo tanto, tendrás que tener en cuenta tu memoria.

Tendrás que tener en cuenta tu consumo de energía.

Tendrás que ser mucho más práctico con los recursos del teléfono y cómo los administras.

Sin embargo, te brinda un control total.

Puedes usar ajustes con LiteRT y, luego, te brinda más opciones de personalización.

Si usas AICore, puedes usar las APIs del kit de herramientas de AA, y esta es la ruta más sencilla.

Y cuando usas esto, obtienes mucha de esta funcionalidad de la que hablé, los embeddings por capa se manejan de forma adecuada y el entorno de ejecución admite que los parámetros no estén en la RAM, que los parámetros de embedding no estén en la RAM.

Ya tiene MTP integrado, por lo que funcionará automáticamente.

También usa nuestro modelo de cuantificación para dispositivos móviles.

Y se ejecuta en un entorno de ejecución diseñado para alojar esa cuantización y funcionar bien con ella.

Muy bien, entonces puede ejecutarse y hacer cosas con una precisión de 2 bits, donde lo necesitamos, lo que ahorra y lo hace realmente muy eficiente.

Si quieres profundizar, hay otras dos charlas que ya se realizaron o se realizarán.

La sesión de David sobre ML Kit abarca la ruta de Gemini Nano 4, cómo usar el modelo a través de ML Kit, y luego la sesión de Chintan y Fergus sobre LiteRT abarcará cómo usar LiteRT y cómo desarrollar con LiteRT.

Así es como se ve el flujo de solicitudes para Gemma.

Hay una superficie de API que pasa por un procesamiento de entrada, y todo esto está integrado para ti.

Parte del procesamiento de entradas son los indicadores de seguridad.

AICore incluye algunas funciones de seguridad integradas.

Verifica que hayamos integrado mucha seguridad en el modelo.

Esta es una capa adicional de seguridad para las apps para dispositivos móviles.

Pasará por la configuración de funciones y, luego, por nuestro entorno de ejecución integrado en el dispositivo.

En el resultado, también se vuelve a verificar la seguridad.

Verifica los indicadores de salida para asegurarse de que se produzcan resultados seguros.

Esto es, de nuevo, una capa adicional de seguridad más allá de lo que incorporamos en el modelo.

También realiza actualizaciones y se comparte entre apps.

Por lo tanto, si estás creando varias apps en particular o no quieres tener que administrar un modelo empaquetado, esta es una excelente opción, ya que obtendrás muchas funciones integradas de inmediato.

Sara Smoot

Bien, pasemos a la demostración.

Este es un asistente por voz.

Lo mostraré en una laptop.

Algunas cosas que quiero que notes: es completamente local, se ejecuta en el dispositivo.

Se conecta en cascada con la VAD.

Pasa por STT, luego por Gemma y, por último, por TTS, que es el modelo de texto a voz.

Se está transmitiendo y también se está ejecutando en el modelo E2B.

Este es el modelo exacto que se ejecuta en una laptop, pero es el mismo que se ejecuta en un teléfono.

Todo esto se podría hacer en el teléfono.

Esta demostración en particular se creó con LiteRT.

También debería poder compilarse con el ML Kit.

Observa la latencia, no hay ida y vuelta al servidor, y observa cómo maneja las interrupciones.

Hola, Gemma. Cuéntame un poco sobre ti.

Soy Gemma 4, un modelo de lenguaje grande desarrollado por Google DeepMind.

Proceso texto e imágenes para proporcionar información y completar tareas.

Genial.

¿Puedes contarme un poco sobre Shakespeare?

William Shakespeare fue un dramaturgo y poeta inglés, considerado el mejor escritor en lengua inglesa.

En realidad, espera.

¿Y sabes qué?

Tengo muchas ganas de aprender sobre el sistema solar.

¿Puedes contarme sobre eso?

El sistema solar está formado por el Sol y todo lo que está unido gravitacionalmente a él, incluidos ocho planetas, planetas enanos, lunas, asteroides y cometas.

Qué genial.

¿Puedes explicar cómo funciona un agujero negro?

Un agujero negro se forma cuando una estrella masiva colapsa bajo su propia gravedad, lo que crea una región del espacio-tiempo con una gravedad tan fuerte que nada, ni siquiera la luz, puede escapar.

¡Qué increíble!

Gracias.

De nada.

¿Tienes alguna otra pregunta que pueda responderte?

Bien.

Está el asistente de audio.

Muy bien, sigamos.

Este será un asistente local que usará las capacidades de video.

Funciona completamente sin conexión y, para demostrarlo, la demostración se realiza mientras se acampa, supuestamente en medio de la naturaleza.

Aspectos a los que debes prestar atención: se basa en el modelo de E4B.

Habla con naturalidad.

Le mostraremos cómo hacer las cosas.

Usa llamadas a herramientas en segundo plano y puede acceder a diferentes elementos del teléfono.

Y es bastante lúdico.

Hola, Gemma, ¿tenemos Internet ahora?

No, no tenemos conexión a Internet en este momento.

¿De qué se trata esta advertencia?

Eso está en español.

Ese letrero es una advertencia sobre el hábitat de los pumas.

Se advierte que los pumas forman parte del entorno local y que debes tener cuidado si te encuentras con uno.

¿Cuál es la derivada de esta función?

La derivada de x al cuadrado más 7x más 10 es 2x más 7.

Es gracioso.

Hola.

Hola, Cindy.

Gemma, ¿cuándo es nuestra caminata grupal de esta noche?

Tu caminata grupal está programada para las 6:00 p.m.

futuro.

¿Es un puma?

No, ese es un perro.

Buen chico.

Sara Smoot

Muy bien, comienza a compilar.

Estos son los vínculos que se encuentran aquí arriba, que en realidad son vínculos a los puntos de control.

Si quieres ir y mirar directamente los puntos de control y el código de nuestro modelo, todo está disponible.

Puedes usar el AA: hay vínculos a Gemma, Gemini Nano 4 y ML Kit.

Los puntos de control están en Hugging Face y nuestro código está en la base de código de Transformers.

Puedes ir a ver lo que hicimos.

También puedes obtener los puntos de control de Kaggle.

Solo quiero recordarles que, si quieren saber más sobre el ML Kit, miren la presentación de David sobre el tema.

Y, luego, también tendremos la presentación de LiteRT de Chintan y Fergus.

Si quieres ver cómo acceder al modelo y usarlo en tus apps a través de LiteRT

Gracias.

Me entusiasma mucho ver lo que van a crear.