Este guia fornece informações importantes para desenvolvedores que criam aplicativos Android usando a IA generativa (GenAI). A integração da IA generativa apresenta desafios únicos que vão além do desenvolvimento de software padrão.
Este guia é atualizado continuamente para refletir os riscos novos e em evolução da IA. Use este conteúdo para entender os riscos significativos associados à integração de recursos de IA generativa nos seus apps e descobrir estratégias de mitigação eficazes.
Injeção de comando
Um invasor cria entradas (comandos) maliciosas para enganar o modelo e fazer com que ele ignore as políticas de segurança ou execute ações não intencionais. Um ataque bem-sucedido pode fazer com que o modelo revele dados sensíveis, gere conteúdo prejudicial ou execute ações não intencionais, prejudicando a confiança do usuário. Saiba como reduzir os riscos de ataques de injeção de comandos.
Divulgação de informações sensíveis
Os modelos de IA generativa representam um risco significativo de divulgação de informações sensíveis, podendo vazar uma ampla variedade de dados que afetam o LLM e o contexto do aplicativo. Os vazamentos podem ocorrer quando o modelo gera esses dados confidenciais para outros usuários, quando provedores de aprendizado de máquina como serviço (MLaaS) armazenam comandos de maneira insegura ou quando agentes maliciosos exploram o sistema para revelar a lógica interna. As consequências são graves, desde violações de propriedade intelectual e penalidades regulatórias (por exemplo, GDPR, CCPA) até a perda total da confiança do usuário e comprometimento do sistema. Saiba como reduzir o risco de divulgação de informações sensíveis.
Agência excessiva
A integração de agentes de LLM com funções ou ferramentas para realizar ações pode introduzir riscos de segurança. Solicitações maliciosas que exploram a chamada de função podem levar à perda de dados não intencional. Os desenvolvedores são responsáveis por implementar salvaguardas (por exemplo, consentimento do usuário, validação, controles de acesso) para evitar ações de IA prejudiciais. Saiba como reduzir o risco excessivo de agência.
Resumo
Para proteger os sistemas de IA generativa, é necessário adotar uma abordagem multifacetada que estenda as práticas convencionais de segurança cibernética para lidar com os desafios exclusivos apresentados pelos modelos de IA, como ciclo de vida de desenvolvimento e interações com usuários e sistemas. Esse esforço abrangente envolve testes proativos, monitoramento contínuo, governança robusta e adesão a frameworks regulatórios em evolução. Uma ótima maneira de colocar esses princípios em prática é usar ferramentas do setor, como a autoavaliação de risco do SAIF, para entender e reduzir os riscos.