Wie die automatische Prompt-Optimierung die Qualität der GenAI Prompt API von ML Kit verbessert

Automated Prompt Optimization (APO)

Um Ihnen die Umstellung Ihrer ML Kit Prompt API-Anwendungsfälle auf die Produktion zu erleichtern, freuen wir uns, die automatische Prompt-Optimierung (APO) für On-Device-Modelle in Vertex AI anzukündigen. Die automatische Prompt-Optimierung ist ein Tool, mit dem Sie automatisch den optimalen Prompt für Ihre Anwendungsfälle finden können.

On-Device AI ist keine Zukunftsmusik mehr, sondern Realität. Mit der Veröffentlichung von Gemini Nano v3 stellen wir Nutzern eine beispiellose Sprachverständnis- und multimodale Funktion direkt auf ihrem Smartphone zur Verfügung. Mit der Gemini Nano-Modellreihe decken wir eine Vielzahl von unterstützten Geräten im gesamten Android-Ökosystem ab. Für Entwickler, die die nächste Generation intelligenter Apps entwickeln, ist der Zugriff auf ein leistungsstarkes Modell jedoch nur der erste Schritt. Die eigentliche Herausforderung liegt in der Anpassung: Wie passen Sie ein Foundation Model an, um für Ihren spezifischen Anwendungsfall eine Leistung auf Expertenniveau zu erzielen, ohne die Einschränkungen der mobilen Hardware zu überschreiten?

Auf der Serverseite sind die größeren LLMs in der Regel sehr leistungsfähig und erfordern weniger Anpassung an die jeweilige Domain. Auch wenn sie erforderlich sind, können erweiterte Optionen wie die LoRA-Optimierung (Low-Rank Adaptation) infrage kommen. Die einzigartige Architektur von Android AICore priorisiert jedoch ein gemeinsames, arbeitsspeichereffizientes Systemmodell. Das Bereitstellen benutzerdefinierter LoRA-Adapter für jede einzelne App ist daher mit Herausforderungen für diese freigegebenen Systemdienste verbunden.

Es gibt aber auch einen alternativen Weg, der ebenso wirkungsvoll sein kann. Durch die Nutzung der automatischen Prompt-Optimierung (Automated Prompt Optimization, APO) in Vertex AI können Entwickler eine Qualität erreichen, die dem Fine-Tuning nahekommt, und gleichzeitig nahtlos in der nativen Android-Ausführungsumgebung arbeiten. Durch den Fokus auf überlegene Systemanweisungen ermöglicht APO Entwicklern, das Verhalten von Modellen robuster und skalierbarer als mit herkömmlichen Lösungen für das Fine-Tuning anzupassen.

Hinweis : Gemini Nano V3 ist eine qualitätsoptimierte Version des hochgelobten Modells Gemma 3N. Alle Optimierungen, die am Open-Source-Modell Gemma 3N vorgenommen werden, gelten auch für Gemini Nano V3. Auf unterstützten Geräten nutzen die GenAI APIs von ML Kit das Modell „nano-v3“, um die Qualität für Android-Entwickler zu maximieren.

Bei APO wird der Prompt nicht als statischer Text, sondern als programmierbare Oberfläche behandelt, die optimiert werden kann. Dabei werden serverseitige Modelle wie Gemini Pro und Flash verwendet, um Prompts vorzuschlagen, Varianten zu bewerten und die optimale Variante für Ihre spezifische Aufgabe zu finden. Bei diesem Prozess werden drei spezifische technische Mechanismen eingesetzt, um die Leistung zu maximieren:

1. Automatisierte Fehleranalyse:APO analysiert Fehlermuster aus Trainingsdaten, um automatisch bestimmte Schwachstellen im ursprünglichen Prompt zu identifizieren.
2. Semantische Anweisungsdestillation:Dabei werden umfangreiche Trainingsbeispiele analysiert, um die „wahre Absicht“ einer Aufgabe zu ermitteln. So werden Anweisungen erstellt, die die tatsächliche Datenverteilung genauer widerspiegeln.
3. Paralleles Testen von Kandidaten:Anstatt jeweils nur eine Idee zu testen, werden mit APO zahlreiche Prompt-Kandidaten parallel generiert und getestet, um das globale Maximum für die Qualität zu ermitteln.

Warum APO die Qualität der Feinabstimmung verbessern kann

Es ist ein weitverbreiteter Irrtum, dass das Fine-Tuning immer zu einer besseren Qualität führt als das Prompting. Bei modernen Foundation Models wie Gemini Nano v3 kann Prompt Engineering allein schon wirkungsvoll sein:

• Allgemeine Funktionen beibehalten:Bei der Feinabstimmung ( PEFT/LoRA) werden die Gewichte eines Modells auf eine bestimmte Datenverteilung ausgerichtet. Das führt oft zu „katastrophalem Vergessen“, bei dem das Modell besser in Ihrer spezifischen Syntax, aber schlechter in allgemeiner Logik und Sicherheit wird. Bei APO bleiben die Gewichte unverändert, sodass die Funktionen des Basismodells erhalten bleiben.
• Befolgen von Anweisungen und Strategieerkennung:Gemini Nano v3 wurde intensiv darauf trainiert, komplexe Systemanweisungen zu befolgen. APO nutzt dies, indem es die genaue Anweisungsstruktur findet, die die latenten Fähigkeiten des Modells freisetzt. Dabei werden oft Strategien entdeckt, die für menschliche Entwickler schwer zu finden wären. 

Um diesen Ansatz zu validieren, haben wir APO für verschiedene Produktionsarbeitslasten getestet. Unsere Validierung hat in verschiedenen Anwendungsfällen konsistente Genauigkeitssteigerungen von 5–8% ergeben.Bei mehreren bereitgestellten On-Device-Funktionen hat APO die Qualität deutlich verbessert.

Nahtloser End-to-End-Entwickler-Workflow

Es ist ein weitverbreiteter Irrtum, dass das Fine-Tuning immer zu einer besseren Qualität führt als das Prompting. Bei modernen Foundation Models wie Gemini Nano v3 kann Prompt Engineering allein schon wirkungsvoll sein:

• Allgemeine Funktionen beibehalten:Bei der Feinabstimmung ( PEFT/LoRA) werden die Gewichte eines Modells auf eine bestimmte Datenverteilung ausgerichtet. Das führt oft zu „katastrophalem Vergessen“, bei dem das Modell besser in Ihrer spezifischen Syntax, aber schlechter in allgemeiner Logik und Sicherheit wird. Bei APO bleiben die Gewichte unverändert, sodass die Funktionen des Basismodells erhalten bleiben.
• Befolgen von Anweisungen und Strategieerkennung:Gemini Nano v3 wurde intensiv darauf trainiert, komplexe Systemanweisungen zu befolgen. APO nutzt dies, indem es die genaue Anweisungsstruktur findet, die die latenten Fähigkeiten des Modells freisetzt. Dabei werden oft Strategien entdeckt, die für menschliche Entwickler schwer zu finden wären. 

Um diesen Ansatz zu validieren, haben wir APO für verschiedene Produktionsarbeitslasten getestet. Unsere Validierung hat in verschiedenen Anwendungsfällen konsistente Genauigkeitssteigerungen von 5–8% ergeben.Bei mehreren bereitgestellten On-Device-Funktionen hat APO die Qualität deutlich verbessert.

Fazit

Die Veröffentlichung von Automated Prompt Optimization (APO) ist ein Wendepunkt für On-Device-KI. Wir schließen die Lücke zwischen Foundation Models und Expertenleistung und geben Entwicklern so die Tools an die Hand, mit denen sie robustere mobile Anwendungen entwickeln können. Ganz gleich, ob Sie gerade erst mit der Zero-Shot-Optimierung beginnen oder mit der datengesteuerten Optimierung auf die Produktion skalieren – der Weg zu hochwertiger On-Device-KI ist jetzt klarer. Mit der Prompt API von ML Kit und der automatischen Prompt-Optimierung von Vertex AI können Sie Ihre On-Device-Anwendungsfälle noch heute in der Produktion einsetzen. 

Relevante Links: 

• ML Kit Prompt API
• Dokumentation zu Vertex AI Prompt Optimizer
• Blog zur Ankündigung von Gemma 3N