Ten przewodnik zawiera najważniejsze informacje dla deweloperów tworzących aplikacje na Androida z użyciem generatywnej AI. Integracja generatywnej AI stwarza wyjątkowe wyzwania, które wykraczają poza standardowe tworzenie oprogramowania.
Ten przewodnik jest stale aktualizowany, aby uwzględniać nowe i rozwijające się zagrożenia związane z AI. Z tych materiałów dowiesz się o poważnych zagrożeniach związanych z integrowaniem funkcji generatywnej AI w aplikacjach i poznasz skuteczne strategie ograniczania ryzyka.
Wstrzykiwanie promptów
Atakujący tworzy szkodliwe dane wejściowe (prompty), aby nakłonić model do obejścia zasad bezpieczeństwa lub wykonania niezamierzonych działań. Udany atak może spowodować ujawnienie przez model danych wrażliwych, wygenerowanie szkodliwych treści lub wykonanie niezamierzonych działań, co może naruszyć zaufanie użytkowników. Dowiedz się, jak ograniczać ataki polegające na wstrzykiwaniu promptów.
Ujawnienie informacji poufnych
Modele generatywnej AI stwarzają znaczne ryzyko ujawnienia informacji poufnych, potencjalnie wycieku szerokiego zakresu danych wpływających zarówno na LLM, jak i na kontekst jego zastosowania. Wycieki mogą wystąpić, gdy model przekazuje te dane poufne innym użytkownikom, gdy dostawcy usług uczenia maszynowego (MLaaS) przechowują prompty w niebezpieczny sposób lub gdy złośliwi użytkownicy wykorzystują system do ujawniania wewnętrznej logiki. Konsekwencje są poważne – od naruszenia praw własności intelektualnej i kar nałożonych przez organy regulacyjne (np. w ramach RODO, CCPA) po całkowitą utratę zaufania użytkowników i naruszenie bezpieczeństwa systemu. Dowiedz się, jak ograniczyć ryzyko ujawnienia informacji poufnych.
Nadmierna agencja
Integracja agentów LLM z funkcjami lub narzędziami do wykonywania działań może stwarzać zagrożenia dla bezpieczeństwa. Złośliwe prompty wykorzystujące wywoływanie funkcji mogą prowadzić do niezamierzonej utraty danych. Deweloperzy są odpowiedzialni za wdrażanie zabezpieczeń (np. zgody użytkownika, weryfikacji, kontroli dostępu), aby zapobiegać szkodliwym działaniom AI. Dowiedz się, jak ograniczyć nadmierne ryzyko związane z agencją.
Podsumowanie
Zabezpieczenie systemów GenAI wymaga wieloaspektowego podejścia, które wykracza poza konwencjonalne praktyki cyberbezpieczeństwa i uwzględnia unikalne wyzwania związane z modelami AI, takie jak cykl rozwoju oraz interakcje z użytkownikami i systemami. Te kompleksowe działania obejmują proaktywne testowanie, ciągłe monitorowanie, solidne zarządzanie i przestrzeganie zmieniających się ram regulacyjnych. Świetnym sposobem na wprowadzenie tych zasad w życie jest korzystanie z narzędzi branżowych, takich jak samoocena ryzyka SAIF, które pomagają lepiej zrozumieć ryzyko i je ograniczać.