Wie die automatische Prompt-Optimierung die Qualität der GenAI Prompt API von ML Kit verbessert

Automatische Prompt-Optimierung (APO)

Um Sie bei der Umsetzung Ihrer ML Kit Prompt API-Anwendungsfälle in der Produktion zu unterstützen, kündigen wir die automatische Prompt-Optimierung (APO) für On-Device-Modelle in Vertex AI an. Die automatische Prompt-Optimierung ist ein Tool, mit dem Sie automatisch den optimalen Prompt für Ihre Anwendungsfälle finden können.

Die Ära der On-Device-KI ist keine Zukunftsmusik mehr, sondern Realität. Mit der Veröffentlichung von Gemini Nano v3 bieten wir Nutzern ein noch nie dagewesenes Sprachverständnis und multimodale Funktionen direkt auf ihren Geräten. Die Gemini Nano-Modellfamilie deckt eine Vielzahl von Geräten im Android-Ökosystem ab. Für Entwickler, die die nächste Generation intelligenter Anwendungen entwickeln, ist der Zugriff auf ein leistungsstarkes Modell jedoch nur der erste Schritt. Die eigentliche Herausforderung liegt in der Anpassung: Wie lässt sich ein Foundation Model so anpassen, dass es für Ihren spezifischen Anwendungsfall eine Leistung auf Expertenniveau erbringt, ohne die Einschränkungen mobiler Hardware zu überschreiten?

Auf der Serverseite sind die größeren LLMs in der Regel sehr leistungsfähig und erfordern weniger Anpassung an die Domain. Selbst wenn dies erforderlich ist, können erweiterte Optionen wie die LoRA-Optimierung (Low-Rank Adaptation) eine praktikable Option sein. Die einzigartige Architektur von Android AICore priorisiert jedoch ein gemeinsames, speichereffizientes Systemmodell. Das bedeutet, dass die Bereitstellung benutzerdefinierter LoRA-Adapter für jede einzelne Anwendung mit Herausforderungen für diese gemeinsam genutzten Systemdienste verbunden ist.

Es gibt aber auch einen alternativen Weg, der ebenso wirkungsvoll sein kann. Mit der automatischen Prompt-Optimierung (APO) in Vertex AI können Entwickler eine Qualität erreichen, die der Feinabstimmung nahekommt, und gleichzeitig nahtlos in der nativen Android-Ausführungsumgebung arbeiten. Durch die Konzentration auf bessere Systemanweisungen ermöglicht APO Entwicklern, das Modellverhalten mit größerer Robustheit und Skalierbarkeit anzupassen als herkömmliche Feinabstimmungslösungen.

Hinweis : Gemini Nano V3 ist eine qualitätsoptimierte Version des hochgelobten Gemma 3N-Modells. Alle Prompt-Optimierungen, die am Open-Source-Modell Gemma 3N vorgenommen werden, gelten auch für Gemini Nano V3. Auf unterstützten Geräten nutzen die GenAI APIs von ML Kit das nano-v3-Modell, um die Qualität für Android-Entwickler zu maximieren.

APO behandelt den Prompt nicht als statischen Text, sondern als programmierbare Oberfläche, die optimiert werden kann. Dabei werden serverseitige Modelle wie Gemini Pro und Flash verwendet, um Prompts vorzuschlagen, Varianten zu bewerten und die optimale Variante für Ihre spezifische Aufgabe zu finden. Bei diesem Prozess werden drei spezifische technische Mechanismen eingesetzt, um die Leistung zu maximieren:

1. Automatisierte Fehleranalyse: APO analysiert Fehlermuster aus Trainingsdaten, um automatisch bestimmte Schwachstellen im ursprünglichen Prompt zu identifizieren.
2. Semantische Anweisungsdestillation: Es werden riesige Trainingsbeispiele analysiert, um die „wahre Absicht“ einer Aufgabe zu destillieren. So werden Anweisungen erstellt, die die tatsächliche Datenverteilung genauer widerspiegeln.
3. Paralleles Testen von Kandidaten: Anstatt eine Idee nach der anderen zu testen, generiert und testet APO zahlreiche Prompt-Kandidaten parallel, um das globale Maximum für die Qualität zu ermitteln.

Warum APO die Qualität der Feinabstimmung erreichen kann

Es ist ein weit verbreiteter Irrglaube, dass die Feinabstimmung immer zu einer besseren Qualität führt als das Prompting. Bei modernen Foundation Models wie Gemini Nano v3 kann Prompt Engineering allein schon sehr effektiv sein:

• Allgemeine Funktionen beibehalten: Durch die Feinabstimmung ( PEFT/LoRA) werden die Gewichtungen eines Modells gezwungen, sich auf eine bestimmte Datenverteilung zu konzentrieren. Dies führt oft zu „katastrophalem Vergessen“, bei dem das Modell zwar besser in Ihrer spezifischen Syntax wird, aber schlechter in allgemeiner Logik und Sicherheit. Bei APO bleiben die Gewichtungen unverändert, sodass die Funktionen des Basismodells erhalten bleiben.
• Befolgen von Anweisungen und Strategieerkennung:Gemini Nano v3 wurde intensiv darauf trainiert, komplexe Systemanweisungen zu befolgen. APO nutzt dies, indem es die genaue Anweisungsstruktur findet, die die latenten Fähigkeiten des Modells freisetzt. Dabei werden oft Strategien entdeckt, die für menschliche Entwickler nur schwer zu finden sind. 

Um diesen Ansatz zu validieren, haben wir APO für verschiedene Produktionsarbeitslasten evaluiert. Unsere Validierung hat gezeigt, dass die Genauigkeit bei verschiedenen Anwendungsfällen durchgängig um 5–8% gestiegen ist.Bei mehreren bereitgestellten On-Device-Funktionen hat APO zu erheblichen Qualitätsverbesserungen geführt.

Nahtloser End-to-End-Entwickler-Workflow

Es ist ein weit verbreiteter Irrglaube, dass die Feinabstimmung immer zu einer besseren Qualität führt als das Prompting. Bei modernen Foundation Models wie Gemini Nano v3 kann Prompt Engineering allein schon sehr effektiv sein:

• Allgemeine Funktionen beibehalten: Durch die Feinabstimmung ( PEFT/LoRA) werden die Gewichtungen eines Modells gezwungen, sich auf eine bestimmte Datenverteilung zu konzentrieren. Dies führt oft zu „katastrophalem Vergessen“, bei dem das Modell zwar besser in Ihrer spezifischen Syntax wird, aber schlechter in allgemeiner Logik und Sicherheit. Bei APO bleiben die Gewichtungen unverändert, sodass die Funktionen des Basismodells erhalten bleiben.
• Befolgen von Anweisungen und Strategieerkennung:Gemini Nano v3 wurde intensiv darauf trainiert, komplexe Systemanweisungen zu befolgen. APO nutzt dies, indem es die genaue Anweisungsstruktur findet, die die latenten Fähigkeiten des Modells freisetzt. Dabei werden oft Strategien entdeckt, die für menschliche Entwickler nur schwer zu finden sind. 

Um diesen Ansatz zu validieren, haben wir APO für verschiedene Produktionsarbeitslasten evaluiert. Unsere Validierung hat gezeigt, dass die Genauigkeit bei verschiedenen Anwendungsfällen durchgängig um 5–8% gestiegen ist.Bei mehreren bereitgestellten On-Device-Funktionen hat APO zu erheblichen Qualitätsverbesserungen geführt.

Fazit

Die Veröffentlichung der automatischen Prompt-Optimierung (APO) ist ein Meilenstein für die On-Device-Generative-KI. Indem wir die Lücke zwischen Foundation Models und Expertenleistung schließen, geben wir Entwicklern die Tools an die Hand, die sie für die Entwicklung robusterer mobiler Anwendungen benötigen. Egal, ob Sie gerade erst mit der Zero-Shot-Optimierung beginnen oder die Produktion mit datengestützter Optimierung skalieren – der Weg zu hochwertiger On-Device-Intelligenz ist jetzt klarer. Mit der Prompt API von ML Kit und der automatischen Prompt-Optimierung von Vertex AI können Sie Ihre On-Device-Anwendungsfälle noch heute in die Produktion bringen. 

Relevante Links: 

• ML Kit Prompt API,
• Dokumentation zu Vertex AI Prompt Optimizer
• Blog zur Ankündigung von Gemma 3N