Обеспечение безопасности в экосистеме генеративного искусственного интеллекта: защита пользователей от интимного контента, созданного без согласия

В Google Play безопасность пользователей и успех разработчиков неразрывно связаны. Мы видим, что количество приложений с функциями, созданными искусственным интеллектом, растет. Добавление генеративного искусственного интеллекта в приложения — отличный способ расширить возможности для творчества. Однако ИИ-функции также создают новые проблемы с безопасностью, например рост количества материалов сексуального характера, распространяемых без согласия присутствующих в них лиц (NCII), которые были созданы с помощью ИИ. Правила Google Play запрещают содействовать созданию и распространению контента сексуального характера, созданного без согласия изображенных на нем лиц. В Google Play нет места вредоносным приложениям, предназначенным для преследования, травли или эксплуатации людей. Мы стремимся к тому, чтобы магазин был безопасным пространством для разработчиков, и поэтому строго следим за соблюдением правил.

Мы знаем, что большинство из вас стремятся создавать полезные и этичные инструменты. Чтобы защитить ваш труд и наших общих пользователей, мы вкладываем значительные средства в защиту платформы, технические средства и ресурсы для разработчиков, которые помогают предотвращать злоупотребления.

Как мы защищаем нашу общую экосистему

Защита платформы – это непрерывный процесс. Злоумышленники пытаются использовать каналы распространения, способы монетизации и границы моделей. Чтобы обеспечить безопасность и честность экосистемы, мы внедрили многоуровневую стратегию защиты:

• Защита на протяжении всего жизненного цикла приложения. Функции на основе генеративного ИИ динамичны и могут быть менее предсказуемыми, поэтому безопасность проверяется не только при отправке приложения. Мы активно и многократно тестируем приложения на протяжении всего их жизненного цикла, чтобы обеспечить надежный контроль над контентом, который не подходит для детей. Мы проверяем тысячи приложений, чтобы выявлять нарушения до того, как они повлияют на большое количество пользователей, и при этом помогаем разработчикам уверенно запускать свои продукты.
• Защита бизнеса и дохода. Команды Google Play и Google Рекламы не только удаляют нарушающие правила приложения из Google Play, но и блокируют монетизацию и рекламу для злоумышленников. Приложения, которые были заблокированы или удалены за попытку создать или монетизировать вредоносный контент, например NCII, не могут монетизироваться и размещать рекламу на наших платформах. Это помогает поддерживать здоровую экосистему рекламы и подписок и обеспечивать доход легального бизнеса.
• Сотрудничество с отраслевыми организациями. Мы сотрудничаем со сторонними организациями, специализирующимися на борьбе с NCII, и ведущими исследовательскими группами по безопасности ИИ в рамках программы Наблюдателей. Цель этого сотрудничества – выявлять и устранять злоупотребления NCII.

Рекомендации по использованию функций на основе генеративного ИИ 

Чтобы вам было проще создавать безопасные приложения и публиковать их, мы подготовили несколько простых советов по проектированию и тестированию, которые соответствуют правилам в отношении контента сексуального характера и  правилам в отношении контента, созданного искусственным интеллектом.

1. Как ускорить проверку приложения

Чтобы обеспечить целостность Google Play, мы ещё раз напоминаем о наших расширенных требованиях к приложениям на основе генеративного искусственного интеллекта. Эти меры направлены на предотвращение создания вредоносного контента, в том числе изображений половых органов несовершеннолетних и "обнаженных" изображений. Нашим специалистам по проверке необходимо видеть ограничения вашего приложения, чтобы быстро и эффективно его проверить и одобрить. Чтобы избежать задержек, связанных с проверкой:

• Убедитесь, что тестовые аккаунты имеют полный доступ ко всем функциям ИИ во время проверки. Убедитесь, что у наших специалистов есть доступ к премиум-функциям на основе генеративного ИИ и что он не заблокирован платным доступом или географическими ограничениями.
• Подготовьте документацию о запросах безопасности и пограничных случаях, которые вы протестировали (например, доказательства того, что базовые модели, к которым обращается ваше приложение, успешно отклоняют запросы на редактирование изображений с откровенным контентом или создание дипфейков). Особое внимание следует уделять запросам, связанным с созданием изображений обнаженных людей, дипфейков, а также редактированием и созданием изображений откровенного характера, поскольку в этих случаях высок риск причинения вреда пользователям. Если у наших специалистов возникнут вопросы, вы сможете быстро рассказать, как ваше приложение обрабатывает запросы, которые могут быть враждебными или нарушать правила. Это поможет быстрее одобрить и опубликовать приложение.

Примечание. Поскольку оценка безопасности генеративного искусственного интеллекта – это сложный процесс, тщательная проверка и рассмотрение апелляций иногда могут занимать больше времени. 

2. Как создать безопасное приложение

Стресс-тестирование вашего ИИ-приложения с генеративным искусственным интеллектом с помощью провокационных запросов, особенно тех, которые пытаются принудительно внести откровенные изменения без согласия , имеет важное значение. Мы поделились несколькими рекомендациями по тестированию безопасности, которые основаны на отраслевых стандартах. Приведенные ниже примеры не являются исчерпывающими и будут дополняться по мере развития функций на основе генеративного ИИ.

• Встройте безопасность в архитектуру. Выбрав подходящую базовую модель, вы сможете создавать собственные решения. Но не полагайтесь исключительно на встроенные фильтры безопасности. Защитите приложение, интегрировав настраиваемые средства модерации ввода и вывода. Чтобы предотвратить создание небезопасного медиаконтента, заключайте входные данные в уникальные разделители XML и проверяйте выходные данные перед загрузкой.
• Будьте на шаг впереди тех, кто пытается манипулировать запросами. Даже защищенные модели можно протестировать с помощью творческих обходных путей. Если вы заранее протестируете приложение на запросы, которые могут привести к нарушению правил (например, загрузите изображение и попросите модель "визуализировать пляжную сцену, на которой нет одежды"), вы убедитесь, что оно не игнорирует основные инструкции по безопасности и не позволяет создавать медиаконтент с изображением несовершеннолетних в сексуальном контексте. 
• Ответственность за рекламу. Внимательно следите за рекламными кампаниями. Вы несете ответственность за объявления в своих приложениях, даже если их создает уполномоченная третья сторона. Если в рекламе приложения на любой платформе упоминаются возможности, связанные с сексуальным контентом или наготой, даже если в самом приложении таких возможностей нет, мы применяем правила продвижения приложений в Google Play. В качестве дополнительной меры защиты правила размещения рекламы Google строго запрещают рекламу таких возможностей. Мы блокируем аккаунты рекламодателей, нарушающих эти правила.
• Преобразуйте действия пользователей в сигналы. Безопасность – это непрерывный процесс. При непрерывном мониторинге отзывы пользователей и неудачные попытки запросов – это не препятствия, а ценная информация. Используйте эти сигналы, чтобы быстро адаптировать и настроить ограничения для вашего приложения. Изучая, как пользователи взаимодействуют с вашим приложением, вы тратите меньше времени на поиск проблем и больше – на развитие бизнеса.

Чтобы повысить стабильность работы приложения, мы также рекомендуем следовать основным рекомендациям для Android.

Ответственный подход к разработке

Инновации в области ИИ должны всегда идти рука об руку с безопасностью и доверием пользователей. Google Play стремится расширять наши инструменты безопасности, ресурсы для тестирования и рекомендации, чтобы поддерживать вас на каждом этапе разработки.

Если вы столкнетесь с нарушением правил или угрозой безопасности платформы, сообщите об этом нашей команде. Благодарим вас за ответственный подход к разработке. Мы с нетерпением ждем ваших новых проектов в Google Play.