Assurer la sécurité dans l'écosystème de l'IA générative : protéger les utilisateurs contre les contenus intimes non consentis

Sur Google Play, la sécurité des utilisateurs et la réussite des développeurs vont de pair. Nous continuons de constater une croissance des applications dotées de fonctionnalités générées par l'IA. En effet, l'ajout de l'IA générative à vos applications est un excellent moyen de débloquer d'incroyables possibilités créatives. Toutefois, les fonctionnalités d'IA posent également de nouveaux problèmes de sécurité, comme l'augmentation de la génération d'images intimes non consenties facilitée par l'IA. Les règles de Google Play interdisent de faciliter, de créer ou de distribuer des contenus à caractère sexuel non consentis. Les applications dangereuses conçues pour cibler, harceler ou exploiter des personnes n'ont absolument pas leur place sur Google Play. Nous nous engageons à faire respecter nos règles pour que le Play Store reste un espace sûr où les développeurs peuvent s'épanouir.

Nous savons que la grande majorité d'entre vous s'efforce de créer des outils positifs et éthiques. Pour protéger votre travail et notre base d'utilisateurs commune, nous investissons massivement dans des mesures de protection de la plate-forme, des défenses techniques et des ressources pour les développeurs afin de mettre fin aux utilisations abusives.

Comment nous protégeons notre écosystème partagé

La protection de la plate-forme est un effort continu. Les acteurs malveillants tentent d'exploiter les canaux de distribution, les méthodes de monétisation et les limites des modèles. Pour que l'écosystème reste équitable et sûr, nous avons mis en place une stratégie de défense multicouche :

• Garanties tout au long du cycle de vie de l'application : les fonctionnalités d'IA générative sont dynamiques et peuvent être moins prévisibles. La sécurité n'est donc pas une simple vérification ponctuelle lorsque vous envoyez votre application. Nous testons activement et à plusieurs reprises les applications tout au long de leur cycle de vie pour des contrôles robustes des informations personnelles non publiquement disponibles. Nous examinons des milliers d'applications pour détecter les utilisations abusives avant qu'elles n'affectent les utilisateurs à grande échelle, tout en veillant à ce que les développeurs puissent lancer leurs applications en toute confiance.
• Protéger votre activité et vos revenus : en plus de supprimer les applications qui ne respectent pas les règles de Google Play, nos équipes Play et Ads collaborent pour couper les voies de monétisation et de publicité des acteurs malveillants. Les applications suspendues ou supprimées pour avoir tenté de générer ou de monétiser des contenus dangereux tels que des contenus d'exploitation et d'abus sexuels sur mineurs ne peuvent pas être monétisées ni faire l'objet de publicité sur nos plates-formes. Cela permet de maintenir un écosystème d'annonces et d'abonnements sain, et de soutenir les revenus des entreprises légitimes.
• Collaborations avec le secteur : nous collaborons avec des organisations tierces spécialisées dans la défense contre les contenus d'exploitation et d'abus sexuels sur mineurs, ainsi qu'avec des groupes de recherche de pointe sur la sécurité de l'IA, grâce à notre Programme Signaleur prioritaire, afin d'identifier et de lutter contre les contenus d'exploitation et d'abus sexuels sur mineurs. 

Bonnes pratiques pour vos fonctionnalités d'IA générative 

Pour vous aider à créer des applications plus sûres et à les publier plus facilement, voici quelques méthodes simples pour concevoir et tester votre application, conformément à notre Règlement sur le contenu à caractère sexuel et à notre  Règlement sur le contenu généré par IA.

1. Aidez-nous à simplifier l'examen de votre application

Pour préserver l'intégrité du Play Store, nous réitérons nos exigences renforcées ciblant spécifiquement les applications d'IA générative. Ces mesures visent à empêcher la création de contenus nuisibles, y compris les contenus d'exploitation et d'abus sexuels sur mineurs et les contenus "nudifiés". Nos équipes d'examen ont besoin d'une visibilité claire sur les mesures de protection de votre application afin que nous puissions l'examiner et l'approuver efficacement et rapidement. Pour éviter des retards d'examen inutiles :

• Assurez-vous que les comptes de test ont un accès complet à toutes les fonctionnalités d'IA pendant l'examen. Veuillez vous assurer que les examinateurs peuvent accéder aux fonctionnalités d'IA générative premium de votre application et qu'ils ne sont pas bloqués par des exigences d'abonnement ou des paywalls (y compris les fonctionnalités géo-clôturées).
• Gardez à portée de main la documentation sur les invites de sécurité et les cas extrêmes que vous avez testés (par exemple, la preuve que les modèles sous-jacents appelés par votre application rejettent correctement les demandes de retouche d'images explicites ou de deepfakes). Une attention particulière doit être accordée aux requêtes liées à la nudité ou au déshabillage, à la génération de deepfakes, ainsi qu'à la modification et à la génération d'images explicites, en raison des risques élevés de préjudice pour les utilisateurs dans ces contextes. Si notre équipe a des questions, le fait de pouvoir expliquer rapidement comment votre application gère les demandes hostiles et potentiellement non conformes peut vous aider à faire approuver et publier votre application encore plus rapidement.

Remarque : L'évaluation de la sécurité de l'IA générative est particulièrement complexe. Par conséquent, les examens et les appels approfondis peuvent parfois prendre plus de temps. 

2. Concevoir votre application pour la sécurité

Il est essentiel de tester la résistance de votre application d'IA générative aux requêtes antagonistes, en particulier celles qui tentent de forcer des modifications explicites non consenties . Nous avons partagé quelques-unes des bonnes pratiques pour les tests de sécurité qui s'appuient sur des frameworks standards de l'industrie pour vous aider. Ces exemples ne sont pas exhaustifs et continueront d'évoluer au fur et à mesure que les fonctionnalités d'IA générative le feront :

• Intégrez la sécurité directement dans votre architecture. Lorsque vous choisissez le modèle sous-jacent qui convient le mieux à votre entreprise, vous bénéficiez de la flexibilité nécessaire pour créer votre propre modèle. Toutefois, ne vous fiez pas uniquement aux filtres de sécurité natifs de ce modèle. Sécurisez votre application en intégrant des contrôles de modération personnalisés pour les entrées et les sorties. En encapsulant les entrées dans des délimiteurs XML uniques et en validant les sorties avant leur chargement, vous pouvez empêcher votre application de créer des contenus multimédias non sécurisés.
• Gardez une longueur d'avance sur la manipulation des requêtes. Même les modèles sécurisés peuvent être testés à l'aide de solutions de contournement créatives. Lorsque vous testez de manière proactive votre application par rapport à des requêtes contradictoires (par exemple, en important une image et en demandant au modèle de "visualiser une scène de plage où les vêtements ont disparu"), vous vous assurez qu'elle ne contourne pas ses instructions de sécurité de base et qu'elle n'autorise pas la création de contenus NCII. 
• Assumer la responsabilité des annonces Veuillez surveiller attentivement vos campagnes publicitaires. Vous restez responsable des annonces pour vos applications, même si elles ont été créées par un tiers autorisé. Lorsqu'une application fait la publicité de fonctionnalités à caractère sexuel explicite ou de "nudification" sur une plate-forme, même si elle ne les possède pas, nous appliquons le Règlement sur la promotion des applications de Play. Pour renforcer la protection, les Règles Google Ads interdisent strictement les annonces qui font la promotion de ces fonctionnalités. Nous suspendrons le compte des annonceurs qui ne les respectent pas.
• Transformez les interactions utilisateur en signaux. La sécurité est un processus continu. Lorsque vous implémentez une surveillance continue, les commentaires des utilisateurs et les tentatives d'invites infructueuses ne sont pas des revers, mais des informations précieuses. Utilisez ces signaux concrets pour vous adapter rapidement et affiner les garde-fous personnalisés de votre application. En apprenant directement comment les utilisateurs se servent de votre application, vous passez moins de temps à résoudre les problèmes et plus de temps à développer une activité florissante.

De plus, pour rendre votre application plus résiliente, nous vous recommandons également d'implémenter ces bonnes pratiques Android.

Construire ensemble, de manière responsable

L'innovation en matière d'IA doit toujours aller de pair avec la sécurité et la confiance des utilisateurs. Google Play s'engage à étendre ses outils de sécurité, ses ressources de test et ses conseils pour vous accompagner à chaque étape du développement.

Si vous rencontrez un comportement qui enfreint nos règles ou des risques liés à la plate-forme, nous vous encourageons à nous le signaler. Merci de développer de manière responsable. Nous avons hâte de découvrir vos prochaines créations sur Google Play.