생성형 AI 생태계의 안전 보장: 비동의 친밀 콘텐츠로부터 사용자 보호

Google Play에서는 사용자 안전과 개발자의 성공이 함께 이루어집니다. AI 생성 기능이 포함된 앱이 계속 증가하고 있으며, 실제로 앱에 생성형 AI를 추가하는 것은 놀라운 창의적 가능성을 열어주는 좋은 방법입니다. 그러나 AI 기능은 동의하지 않은 사적인 이미지 (NCII)의 AI 지원 생성 증가와 같은 새로운 안전 문제도 야기합니다. Google Play 정책은 비동의 성적 콘텐츠의 지원, 생성 또는 배포를 금지합니다. 개인을 타겟팅, 괴롭힘 또는 악용하도록 설계된 유해한 애플리케이션은 Google Play에 절대 허용되지 않으며, Google은 개발자가 번창할 수 있는 안전한 공간으로 스토어를 유지하기 위해 정책을 시행하기 위해 최선을 다하고 있습니다.

대다수의 개발자가 긍정적이고 윤리적인 도구를 빌드하는 데 전념하고 있다는 것을 알고 있습니다. Google은 개발자의 노력과 공유 사용자층을 모두 보호하기 위해 악용을 방지하기 위한 플랫폼 보호, 기술적 방어, 개발자 리소스에 막대한 투자를 하고 있습니다.

공유 생태계를 보호하는 방법

플랫폼 보호는 지속적인 노력입니다. 악의적인 행위자는 배포 채널, 수익 창출 경로, 모델 경계를 악용하려고 시도합니다. 생태계를 공정하고 안전하게 유지하기 위해 Google은 다층 방어 전략을 마련했습니다.

• 앱 수명 주기 전반의 보호 조치: 생성형 AI 기능은 동적이고 예측하기 어려울 수 있으므로 안전은 앱을 제출할 때 일회성 검사로 끝나지 않습니다. Google은 앱 수명 주기 전반에서 강력한 NCII 제어를 위해 앱을 적극적으로 반복 테스트합니다. 수천 개의 앱을 검토하여 악용이 대규모로 사용자에게 영향을 미치기 전에 포착하고 개발자가 자신 있게 출시할 수 있도록 합니다.
• 비즈니스 및 수익 보호: Google Play에서 정책을 위반하는 앱을 삭제하는 것 외에도 Play 및 Ads팀은 악의적인 행위자의 수익 창출 및 광고 경로를 차단하기 위해 협력합니다. NCII와 같은 유해한 콘텐츠를 생성하거나 수익을 창출하려고 시도하여 정지되거나 삭제된 앱은 Google 플랫폼 전반에서 수익 창출 및 광고가 차단됩니다. 이렇게 하면 광고 및 구독 생태계를 건전하게 유지하고 합법적인 비즈니스 수익을 지원할 수 있습니다.
• 업계 협력: Google은 우선순위 플래그 지정 프로그램을 통해 전문 서드 파티 NCII 방어 조직 및 선도적인 AI 안전 연구 그룹과 협력하여 특히 NCII 악용을 식별하고 해결합니다. 

생성형 AI 기능을 위한 실용적인 권장사항 

더 안전한 앱을 빌드하고 원활한 게시 환경을 제공하기 위해 성적인 콘텐츠 정책 및 AI 생성 콘텐츠 정책에 따라 앱을 설계하고 테스트하는 몇 가지 간단한 방법을 소개합니다.

1. 앱 검토를 간소화하는 데 도움을 주세요

Play 스토어의 무결성을 유지하기 위해 Google은 생성형 AI 애플리케이션을 구체적으로 타겟팅하는 강화된 요구사항을 반복하고 있습니다. 이러한 조치는 NCII 및 '누디파이' 미디어를 비롯한 유해한 콘텐츠의 생성을 방지하기 위해 설계되었습니다. 검토팀은 앱의 보호 장치를 명확하게 파악하여 앱을 효과적이고 신속하게 검토하고 승인할 수 있어야 합니다. 다음과 같은 방법으로 불필요한 검토 지연을 방지할 수 있습니다.

• 검토 중에 테스트 계정이 모든 AI 기능에 완전히 액세스 할 수 있도록 합니다. 검토자가 앱의 프리미엄 생성형 AI 기능에 액세스할 수 있으며 구독 요구사항 또는 유료 장벽에 의해 차단되지 않도록 하세요 (여기에는 지리적 제한 기능이 포함됨).
• 테스트한 안전 프롬프트 및 특이 사례에 관한 문서를 편리하게 보관 합니다 (예: 앱이 호출하는 기본 모델이 노골적인 이미지 수정 또는 딥페이크 요청을 성공적으로 거부한다는 증거). 이러한 맥락에서 사용자 피해 위험이 높기 때문에 '누디파이' 또는 '언드레스' 관련 및 유사한 프롬프트, 딥페이크 생성, 노골적인 이미지 수정 및 생성에 특히 주의해야 합니다. Google팀에 질문이 있는 경우 앱이 적대적이고 잠재적으로 정책을 위반하는 요청을 처리하는 방법을 신속하게 공유하면 앱을 더 빠르게 승인하고 게시할 수 있습니다.

참고: 생성형 AI 안전 평가는 고유하게 복잡하므로 철저한 검토 및 이의신청에 시간이 더 오래 걸릴 수 있습니다. 

2. 안전을 고려한 앱 설계

적대적 프롬프트, 특히 비동의 노골적인 수정을 강제하려는 프롬프트 에 대해 생성형 AI 앱에 스트레스 테스트를 실행하는 것이 중요합니다. Google은 업계 표준 프레임워크를 사용하는 안전 테스트를 위한 몇 가지 권장사항을 공유했습니다. 이러한 예는 완전하지 않으며 생성형 AI 기능이 발전함에 따라 계속 발전할 것입니다.

• 아키텍처에 안전을 내장합니다. 비즈니스에 가장 적합한 기본 모델을 선택하면 원하는 방식으로 유연하게 빌드할 수 있습니다. 하지만 해당 모델의 기본 안전 필터에만 의존하지 마세요. 맞춤설정된 입력 및 출력 조정 컨트롤을 통합하여 앱을 안전하게 유지하세요. 입력을 고유한 XML 구분 기호로 래핑하고 출력이 로드되기 전에 유효성을 검사하면 앱에서 안전하지 않은 미디어를 생성하지 못하도록 할 수 있습니다.
• 프롬프트 조작보다 한발 앞서 나가세요. 안전한 모델도 창의적인 해결 방법으로 테스트할 수 있습니다. 이미지를 업로드하고 모델에 '옷이 사라진 해변 장면을 시각화'하도록 요청하는 것과 같은 적대적 프롬프트에 대해 앱을 사전에 테스트하면 앱이 핵심 안전 지침을 우회하고 NCII 미디어를 생성할 수 없도록 할 수 있습니다. 
• 광고에 대한 책임을 유지합니다. 광고가 승인된 서드 파티에 의해 생성되더라도 앱 광고에 대한 최종 책임은 개발자에게 있으므로 광고 캠페인을 면밀히 모니터링하세요. 앱에 이러한 기능이 없더라도 앱이 모든 플랫폼에서 성적으로 노골적이거나 '누디파이' 기능을 광고하는 경우 Play 앱 프로모션 정책에 따라 시행합니다. 추가 보호 계층으로 Google의 광고 정책은 이러한 기능을 홍보하는 광고를 엄격히 금지하며 정책을 위반하는 광고주의 계정을 정지합니다.
• 사용자 상호작용을 신호로 전환합니다. 안전은 지속적인 프로세스입니다. 지속적인 모니터링을 구현하면 사용자의 사용자 의견과 실패한 프롬프트 시도가 방해가 아니라 유용한 통찰력이 됩니다. 이러한 실제 신호를 사용하여 앱의 맞춤설정된 보호 장치를 빠르게 조정하고 미세 조정하세요. 사용자가 앱을 사용하는 방식을 직접 학습하면 문제를 해결하는 데 소요되는 시간을 줄이고 번창하는 비즈니스를 구축하는 데 더 많은 시간을 할애할 수 있습니다.

또한 앱의 복원력을 높이기 위해 이러한 Android 핵심 관행을 구현하는 것이 좋습니다.

함께 책임감 있게 빌드

AI 혁신은 항상 안전 및 사용자 신뢰와 함께 이루어져야 합니다. Google Play는 개발의 모든 단계에서 개발자를 지원하기 위해 안전 도구, 테스트 리소스, 가이드를 확장하기 위해 최선을 다하고 있습니다.

정책을 위반하는 행위나 플랫폼 위험이 발생하면 Google팀에 신고해 주시기 바랍니다. 책임감 있게 빌드해 주셔서 감사합니다. Google Play에서 개발자가 다음에 무엇을 만들지 기대하고 있습니다.