Das intelligente Betriebssystem: KI-Agents für Android-Apps hilfreicher machen

Die Erwartungen der Nutzer an KI auf ihren Geräten verändern grundlegend, wie sie mit ihren Apps interagieren. Anstatt Apps zu öffnen, um Aufgaben Schritt für Schritt zu erledigen, lassen sie die KI die Arbeit für sich erledigen. In diesem neuen Interaktionsmodell geht es nicht mehr darum, Nutzer dazu zu bringen, Ihre App zu öffnen, sondern darum, ihre Aufgaben erfolgreich zu erledigen und ihnen zu helfen, schneller mehr zu erreichen. 

Damit Sie Ihre Apps für diese Zukunft mit Agenten weiterentwickeln können, führen wir Entwicklerfunktionen in der Frühphase ein, die die Lücke zwischen Ihren Apps und Agenten-Apps und personalisierten Assistenten wie Google Gemini schließen. Wir befinden uns noch in der Betaphase dieser Entwicklung. Datenschutz und Sicherheit stehen bei der Entwicklung dieser Funktionen im Vordergrund. Das ist unser erster Schritt, um diesen Paradigmenwechsel als App-Ökosystem zu untersuchen.

Apps mit AppFunctions optimieren

Mit AppFunctions für Android können Apps Daten und Funktionen direkt für KI-Agenten und ‑Assistenten bereitstellen. Mit der  AppFunctions Jetpack-Bibliothek und den Plattform-APIs können Entwickler selbstbeschreibende Funktionen erstellen, die von Agent-Apps über natürliche Sprache erkannt und ausgeführt werden können. AppFunctions spiegelt die Deklaration von Backend-Funktionen über MCP-Cloudserver wider und bietet eine On-Device-Lösung für Android-Apps. Ähnlich wie bei WebMCP werden diese Funktionen lokal auf dem Gerät und nicht auf einem Server ausgeführt.

Die Samsung Gallery-Integration mit Gemini auf der Galaxy S26-Serie zeigt AppFunctions in Aktion. Anstatt manuell durch Fotoalben zu scrollen, können Sie Gemini jetzt einfach bitten, „Zeig mir Bilder meiner Katze aus der Samsung-Galerie“. Gemini nimmt die Nutzeranfrage entgegen, identifiziert und löst auf intelligente Weise die richtige Funktion aus und präsentiert die zurückgegebenen Fotos aus der Samsung-Galerie direkt in der Gemini App, sodass Nutzer die App nicht verlassen müssen. Diese Funktion ist multimodal und kann per Sprache oder Text genutzt werden. Nutzer können die zurückgegebenen Fotos sogar in Folgeunterhaltungen verwenden, z. B. indem sie sie in einer Nachricht an Freunde senden.

Diese Integration ist derzeit für die Galaxy S26-Serie verfügbar und wird bald auf Samsung-Geräte mit OneUI 8.5 und höher ausgeweitet. Mit AppFunctions kann Gemini bereits Aufgaben in App-Kategorien wie Kalender, Notizen und Aufgaben auf Geräten verschiedener Hersteller automatisieren. Nutzer können alltägliche Aktivitäten an einem Ort erledigen, z. B. Kalendertermine koordinieren, Notizen organisieren oder Erinnerungen für Aufgaben festlegen.

Agentische Apps mit intelligenter UI-Automatisierung aktivieren

AppFunctions bietet zwar ein strukturiertes Framework und mehr Kontrolle für Apps, um mit KI-Agenten und ‑Assistenten zu kommunizieren, aber wir wissen, dass noch nicht für jede Interaktion eine eigene Integration vorhanden ist. Wir entwickeln außerdem ein Framework zur Benutzeroberflächenautomatisierung für KI-Agenten und ‑Assistenten, damit diese allgemeine Aufgaben in den installierten Apps der Nutzer intelligent ausführen können. Dabei sind Transparenz und Kontrolle für die Nutzer integriert. Diese Plattform übernimmt die Hauptarbeit, sodass Entwickler ohne Codeaufwand eine große Reichweite erzielen können. So lässt sich die Reichweite mit wenig Aufwand erhöhen, ohne dass derzeit größere technische Änderungen erforderlich sind. 
 

Um Feedback zu erhalten, während wir dieses Framework verfeinern, starten wir mit einer Vorabversion auf der Galaxy S26-Serie und ausgewählten Pixel 10-Geräten. Dort können Nutzer mehrstufige Aufgaben an Gemini delegieren, indem sie einfach die Ein/Aus-Taste gedrückt halten. Diese Funktion wird als Beta-Version in der Gemini App eingeführt und unterstützt zunächst eine ausgewählte Anzahl von Apps in den Kategorien Essenslieferung, Lebensmittel und Fahrdienste in den USA und Korea. Ganz gleich, ob Nutzer eine komplexe Pizza für ihre Familienmitglieder mit besonderen Vorlieben bestellen, eine Mitfahrgelegenheit mit mehreren Zwischenstopps mit Kollegen koordinieren oder ihren letzten Lebensmitteleinkauf noch einmal bestellen möchten – Gemini kann Aufgaben mithilfe des bereits in Ihren Apps verfügbaren Kontexts erledigen, ohne dass Entwickler etwas tun müssen.

Nutzer haben die Kontrolle, während eine Aufgabe im Hintergrund durch UI-Automatisierung ausgeführt wird. Bei jeder Automatisierungsaktion haben Nutzer die Möglichkeit, den Fortschritt einer Aufgabe über Benachrichtigungen oder die Live-Ansicht zu verfolgen. Sie können jederzeit zur manuellen Steuerung wechseln, um die Kontrolle zu übernehmen. Gemini ist außerdem so konzipiert, dass Nutzer vor dem Ausführen sensibler Aufgaben wie dem Tätigen eines Kaufs gewarnt werden. 

Ausblick

In Android 17 möchten wir diese Funktionen auf noch mehr Nutzer, Entwickler und Gerätehersteller ausweiten.

Wir arbeiten derzeit mit einer kleinen Gruppe von App-Entwicklern an neuen Funktionen, wobei wir uns auf hochwertige Nutzererlebnisse konzentrieren, während sich das Ökosystem weiterentwickelt. Im Laufe des Jahres werden wir noch genauer erklären, wie Sie AppFunctions und die UI-Automatisierung verwenden können, um agentenbasierte Integrationen für Ihre App zu ermöglichen.