Dieser Leitfaden enthält wichtige Informationen für Entwickler, die Android-Anwendungen mit generativer KI (GenAI) erstellen. Die Integration von generativer KI bringt einzigartige Herausforderungen mit sich, die über die Standardsoftwareentwicklung hinausgehen.
Dieser Leitfaden wird fortlaufend aktualisiert, um neuen und sich entwickelnden KI-Risiken Rechnung zu tragen. In diesem Inhalt erfahren Sie mehr über die erheblichen Risiken, die mit der Integration von generativer KI in Ihre Apps verbunden sind, und über effektive Strategien zur Risikominderung.
Prompt Injection
Ein Angreifer erstellt schädliche Eingaben (Prompts), um das Modell dazu zu bringen, seine Sicherheitsrichtlinien zu umgehen oder unbeabsichtigte Aktionen auszuführen. Ein erfolgreicher Angriff könnte dazu führen, dass das Modell vertrauliche Daten preisgibt, schädliche Inhalte generiert oder unbeabsichtigte Aktionen ausführt, was das Vertrauen der Nutzer beeinträchtigen würde. Informationen zum Abwehren von Prompt-Injection-Angriffen
Offenlegung vertraulicher Informationen
Generative KI-Modelle bergen ein erhebliches Risiko der Offenlegung sensibler Informationen, wodurch möglicherweise eine Vielzahl von Daten offengelegt werden, die sich sowohl auf das LLM als auch auf den Anwendungskontext auswirken. Lecks können auftreten, wenn das Modell diese vertraulichen Daten an andere Nutzer ausgibt, wenn MLaaS-Anbieter (Machine Learning as a Service) Prompts unsicher speichern oder wenn böswillige Akteure das System ausnutzen, um interne Logik offenzulegen. Die Folgen sind schwerwiegend und reichen von Verstößen gegen das geistige Eigentum und behördlichen Strafen (z. B. DSGVO, CCPA) bis hin zum vollständigen Verlust des Nutzervertrauens und zur Kompromittierung des Systems. Informationen zum Minimieren des Risikos der Offenlegung vertraulicher Informationen
Übermäßige Handlungsfähigkeit
Die Integration von LLM-Agents mit Funktionen oder Tools zur Ausführung von Aktionen kann Sicherheitsrisiken mit sich bringen. Böswillige Prompts, die die Funktion „Funktionsaufruf“ ausnutzen, können zu unbeabsichtigten Datenverlusten führen. Entwickler sind dafür verantwortlich, Sicherheitsmaßnahmen (z.B. Nutzereinwilligung, Validierung, Zugriffssteuerung) zu implementieren, um schädliche KI-Aktionen zu verhindern. Informationen zum Minimieren eines übermäßigen Agenturrisikos
Zusammenfassung
Für die Sicherung von GenAI-Systemen ist ein vielschichtiger Ansatz erforderlich, der herkömmliche Cybersecurity-Praktiken erweitert, um die besonderen Herausforderungen zu bewältigen, die durch KI-Modelle entstehen, z. B. den Entwicklungslebenszyklus und die Interaktionen mit Nutzern und Systemen. Diese umfassenden Maßnahmen umfassen proaktive Tests, kontinuierliches Monitoring, eine robuste Governance und die Einhaltung sich entwickelnder rechtlicher Rahmenbedingungen. Eine gute Möglichkeit, diese Grundsätze in die Praxis umzusetzen, ist die Verwendung von Branchen-Tools wie der Selbstbewertung des SAIF-Risikos, um Risiken besser zu verstehen und zu minimieren.