Les attentes des utilisateurs concernant l'IA sur leurs appareils modifient fondamentalement leur façon d'interagir avec leurs applications. Au lieu d'ouvrir des applications pour effectuer des tâches étape par étape, ils demandent à l'IA de faire le travail à leur place. Dans ce nouveau modèle d'interaction, le succès ne consiste plus à inciter les utilisateurs à ouvrir votre application, mais à les aider à effectuer leurs tâches et à gagner du temps. 

Pour vous aider à faire évoluer vos applications vers cet avenir axé sur les agents, nous introduisons des fonctionnalités de développement en phase initiale qui comblent le fossé entre vos applications et les applications axées sur les agents, ainsi que les assistants personnalisés, tels que Google Gemini. Bien que nous en soyons encore aux premières étapes de cette démarche, nous concevons ces fonctionnalités en mettant l'accent sur la confidentialité et la sécurité. Il s'agit de notre première étape pour explorer ce changement de paradigme en tant qu'écosystème d'applications.

Donner plus de puissance aux applications avec AppFunctions

Android AppFunctions permet aux applications d'exposer des données et des fonctionnalités directement aux agents et assistants IA. Avec la bibliothèque Jetpack AppFunctions et les API de plate-forme, les développeurs peuvent créer des fonctions auto-descriptives que les applications axées sur les agents peuvent découvrir et exécuter en langage naturel. À l'image de la façon dont les fonctionnalités backend sont déclarées via les serveurs cloud MCP, AppFunctions fournit une solution sur l'appareil pour les applications Android. Comme WebMCP, elle exécute ces fonctions localement sur l'appareil plutôt que sur un serveur.

L'intégration de Samsung Gallery à Gemini sur la gamme Galaxy S26 illustre le fonctionnement d'AppFunctions. Au lieu de faire défiler manuellement les albums photo, vous pouvez désormais simplement demander à Gemini de "me montrer des photos de mon chat depuis Samsung Gallery". Gemini prend la requête de l'utilisateur, identifie et déclenche intelligemment la bonne fonction, puis présente les photos renvoyées par Samsung Gallery directement dans l'application Gemini, sans que l'utilisateur n'ait à quitter l'application. Cette expérience est multimodale et peut être réalisée par la voix ou par le texte. Les utilisateurs peuvent même utiliser les photos renvoyées dans des conversations de suivi, par exemple en les envoyant à des amis par SMS.

Cette intégration est actuellement disponible sur la gamme Galaxy S26 et sera bientôt étendue aux appareils Samsung exécutant OneUI 8.5 et versions ultérieures. Grâce à AppFunctions, Gemini peut déjà automatiser des tâches dans différentes catégories d'applications, telles que Agenda, Notes et Tâches, sur des appareils de plusieurs fabricants. Qu'il s'agisse de coordonner des événements dans l'agenda, d'organiser des notes ou de définir des rappels de tâches, les utilisateurs peuvent rationaliser leurs activités quotidiennes en un seul endroit.

Activer les applications axées sur les agents avec l'automatisation intelligente de l'UI

Bien qu'AppFunctions fournisse un framework structuré et plus de contrôle pour que les applications communiquent avec les agents et assistants IA, nous savons que toutes les interactions ne disposent pas encore d'une intégration dédiée. Nous développons également un framework d'automatisation de l'UI pour que les agents et assistants IA exécutent intelligemment des tâches génériques sur les applications installées par les utilisateurs, avec une transparence et un contrôle intégrés. C'est la plate-forme qui fait le travail, ce qui permet aux développeurs d'atteindre les agents sans écrire de code. Il s'agit d'un moyen simple d'étendre leur portée sans avoir à effectuer de travaux d'ingénierie majeurs pour le moment. 
 

Pour recueillir des commentaires à mesure que nous affinons ce framework, nous commençons par une version préliminaire sur la gamme Galaxy S26 et certains appareils Pixel 10, où les utilisateurs pourront déléguer des tâches en plusieurs étapes à Gemini en appuyant simplement de manière prolongée sur le bouton d'alimentation. Lancée en tant que fonctionnalité bêta dans l'application Gemini, elle sera compatible avec une sélection d'applications dans les catégories de livraison de nourriture, d'épicerie et de covoiturage aux États-Unis et en Corée pour commencer. Que les utilisateurs aient besoin de passer une commande de pizza complexe pour les membres de leur famille ayant des goûts particuliers, de coordonner un covoiturage à plusieurs arrêts avec des collègues ou de commander à nouveau leurs dernières courses, Gemini peut les aider à effectuer des tâches en utilisant le contexte déjà disponible dans vos applications, sans qu'aucun travail de développement ne soit nécessaire.

Les utilisateurs gardent le contrôle pendant qu'une tâche est effectuée en arrière-plan grâce à l'automatisation de l'UI. Pour toute action d'automatisation, les utilisateurs ont la possibilité de surveiller la progression d'une tâche via des notifications ou une "vue en direct", et peuvent passer à un contrôle manuel à tout moment pour reprendre la main. Gemini est également conçu pour alerter les utilisateurs avant d'effectuer des tâches sensibles, comme un achat. 

En prévision de ce qui nous attend

Dans Android 17, nous cherchons à étendre ces fonctionnalités pour toucher encore plus d'utilisateurs, de développeurs et de fabricants d'appareils.

Nous créons actuellement des expériences avec un petit groupe de développeurs d'applications, en nous concentrant sur des expériences utilisateur de haute qualité à mesure que l'écosystème évolue. Nous prévoyons de partager plus de détails d'ici la fin de l'année sur la façon dont vous pouvez utiliser AppFunctions et l'automatisation de l'UI pour activer des intégrations axées sur les agents pour votre application. Restez à l'écoute pour ne rien manquer.