Memastikan Keamanan dalam Ekosistem AI Generatif: Melindungi Pengguna dari Konten Intim Non-Konsensual

Di Google Play, keselamatan pengguna dan kesuksesan developer berjalan beriringan. Kami terus melihat pertumbuhan aplikasi dengan fitur yang dihasilkan AI, dan memang, menambahkan AI generatif ke aplikasi Anda adalah cara yang bagus untuk membuka berbagai kemungkinan kreatif yang luar biasa. Namun, fitur AI juga menghadirkan tantangan keamanan baru, seperti meningkatnya pembuatan penggambaran adegan intim non-konsensual (NCII) yang difasilitasi AI. Kebijakan Google Play melarang memfasilitasi, membuat, atau mendistribusikan konten seksual non-konsensual. Aplikasi berbahaya yang dirancang untuk menargetkan, melecehkan, atau mengeksploitasi individu sama sekali tidak boleh ada di Google Play, dan kami berkomitmen untuk menegakkan kebijakan kami agar Play Store tetap menjadi tempat yang aman bagi developer untuk berkembang.

Kami tahu bahwa sebagian besar dari Anda berdedikasi untuk membangun alat yang positif dan etis. Untuk melindungi hasil kerja keras Anda dan basis pengguna bersama kita, kami banyak berinvestasi dalam perlindungan platform, pertahanan teknis, dan sumber daya developer untuk menghentikan penyalahgunaan.

Cara kami melindungi ekosistem bersama kami

Melindungi platform adalah upaya berkelanjutan. Pihak jahat mencoba mengeksploitasi saluran distribusi, jalur monetisasi, dan batas model. Untuk membantu menjaga ekosistem tetap adil dan aman, kami telah menerapkan strategi pertahanan berlapis:

• Pengamanan di seluruh siklus proses aplikasi: Fitur AI generatif bersifat dinamis dan dapat kurang dapat diprediksi, sehingga keamanan bukan hanya pemeriksaan satu kali saat Anda mengirimkan aplikasi. Kami secara aktif dan berulang kali menguji aplikasi di seluruh siklus prosesnya untuk kontrol NCII yang kuat - meninjau ribuan aplikasi untuk menangkap penyalahgunaan sebelum berdampak pada pengguna dalam skala besar, sekaligus memastikan developer dapat meluncurkan dengan percaya diri.
• Melindungi bisnis dan pendapatan Anda: Selain menghapus aplikasi yang melanggar dari Google Play, tim Play dan Iklan kami bekerja sama untuk menghentikan jalur monetisasi dan iklan bagi pihak tidak bertanggung jawab. Aplikasi yang ditangguhkan atau dihapus karena mencoba membuat atau memonetisasi konten berbahaya seperti NCII akan diblokir dari monetisasi dan iklan di seluruh platform kami. Hal ini membantu menjaga kesehatan ekosistem iklan dan langganan serta mendukung pendapatan bisnis yang sah.
• Kolaborasi dengan industri: Kami berpartner dengan organisasi pihak ketiga khusus yang bergerak di bidang pertahanan dari NCII dan grup riset keamanan AI terkemuka melalui Program Pelapor Prioritas kami, khususnya untuk mengidentifikasi dan mengatasi penyalahgunaan NCII. 

Praktik terbaik yang praktis untuk fitur AI Generatif Anda 

Untuk membantu Anda membuat aplikasi yang lebih aman dan memiliki pengalaman publikasi yang lebih lancar, berikut beberapa cara mudah untuk mendesain dan menguji aplikasi Anda, yang selaras dengan Kebijakan Konten Seksual dan Kebijakan Konten Buatan AI kami.

1. Membantu kami menyederhanakan peninjauan aplikasi Anda

Untuk menjaga integritas Google Play Store, kami mengulangi persyaratan yang ditingkatkan yang secara khusus menargetkan aplikasi AI Generatif. Tindakan ini dirancang untuk mencegah pembuatan konten berbahaya, termasuk NCII dan media "nudifikasi". Tim peninjau kami memerlukan visibilitas yang jelas terhadap pembatasan aplikasi Anda agar kami dapat meninjau dan menyetujui aplikasi Anda secara efektif dan cepat. Anda dapat mencegah penundaan peninjauan yang tidak perlu dengan:

• Memastikan akun pengujian memiliki akses penuh ke semua fitur AI selama peninjauan. Pastikan peninjau dapat mengakses fitur AI generatif premium aplikasi Anda dan tidak terhalang oleh persyaratan langganan atau penghalang konten berbayar (termasuk fitur yang dibatasi secara geografis).
• Menyimpan dokumentasi tentang perintah keamanan dan kasus ekstrem yang Anda uji (misalnya, bukti bahwa model dasar yang dipanggil aplikasi Anda berhasil menolak permintaan pengeditan gambar vulgar atau deepfake). Perhatian khusus harus diberikan pada perintah terkait "membuat telanjang" atau “membuka pakaian” dan perintah serupa, pembuatan deepfake, serta pengeditan dan pembuatan gambar vulgar karena peningkatan risiko bahaya bagi pengguna dalam konteks ini. Jika tim kami memiliki pertanyaan, kemampuan untuk dengan cepat membagikan cara aplikasi Anda menangani permintaan yang merugikan dan berpotensi melanggar dapat membantu aplikasi Anda disetujui dan dipublikasikan lebih cepat.

Catatan: Karena evaluasi keamanan AI Generatif sangat rumit, peninjauan dan pengajuan banding yang menyeluruh terkadang memerlukan waktu lebih lama. 

2. Mendesain aplikasi Anda untuk Keselamatan

Pengujian stres pada aplikasi AI Generatif Anda terhadap perintah adversarial - terutama yang mencoba memaksakan pengeditan vulgar non-konsensual - sangat penting. Kami telah membagikan beberapa praktik terbaik untuk pengujian keamanan yang mengandalkan framework standar industri untuk membantu Anda. Contoh ini tidak lengkap dan akan terus berkembang seiring dengan perkembangan fitur AI Generatif:

• Bangun keamanan langsung ke dalam arsitektur Anda. Saat memilih model pokok yang paling sesuai untuk bisnis Anda, Anda akan mendapatkan fleksibilitas untuk membangunnya sesuai keinginan Anda. Namun, jangan hanya mengandalkan filter keamanan bawaan model tersebut. Jaga keamanan aplikasi Anda dengan mengintegrasikan kontrol moderasi input dan output yang disesuaikan. Dengan membungkus input dalam pembatas XML unik dan memvalidasi output sebelum dimuat, Anda dapat mencegah aplikasi membuat media yang tidak aman.
• Selalu selangkah lebih maju dari manipulasi perintah. Bahkan model yang aman dapat diuji dengan solusi kreatif. Saat Anda secara proaktif menguji aplikasi terhadap perintah yang bertentangan - seperti mengupload gambar dan meminta model untuk “memvisualisasikan pemandangan pantai tanpa pakaian” - Anda memastikan aplikasi tidak melewati petunjuk keamanan intinya dan memungkinkan pembuatan media NCII. 
• Mempertahankan akuntabilitas untuk iklan. Pantau kampanye iklan Anda dengan cermat - Anda tetap bertanggung jawab atas iklan untuk aplikasi Anda, meskipun iklan tersebut dibuat oleh pihak ketiga yang berwenang. Jika aplikasi mengiklankan kemampuan yang vulgar secara seksual atau “membuat telanjang” di platform mana pun – meskipun aplikasi tidak memiliki kemampuan ini – kami akan menerapkan kebijakan sesuai dengan Kebijakan Promosi Aplikasi Play. Sebagai lapisan perlindungan tambahan, kebijakan iklan Google secara ketat melarang iklan yang mempromosikan kemampuan ini dan kami akan menangguhkan akun pengiklan yang melanggar.
• Ubah interaksi pengguna menjadi sinyal. Keamanan adalah proses berkelanjutan. Saat Anda menerapkan pemantauan berkelanjutan, masukan pengguna dan upaya perintah yang gagal dari pengguna Anda bukanlah kemunduran, melainkan wawasan yang berharga. Gunakan sinyal dunia nyata ini untuk beradaptasi dengan cepat dan menyempurnakan batas aman yang disesuaikan untuk aplikasi Anda. Dengan mempelajari langsung cara orang menggunakan aplikasi Anda, Anda akan menghabiskan lebih sedikit waktu untuk mengejar masalah dan lebih banyak waktu untuk membangun bisnis yang berkembang.

Selain itu, untuk membuat aplikasi Anda lebih tangguh, sebaiknya terapkan juga praktik inti Android ini.

Membangun secara bertanggung jawab, bersama-sama

Inovasi AI harus selalu sejalan dengan keamanan dan kepercayaan pengguna. Google Play berkomitmen untuk memperluas alat keamanan, sumber daya pengujian, dan panduan kami untuk mendukung Anda di setiap tahap pengembangan.

Jika Anda pernah menemukan perilaku yang melanggar kebijakan atau risiko platform, sebaiknya laporkan kepada tim kami. Terima kasih telah membangun secara bertanggung jawab. Kami tidak sabar ingin melihat karya Anda berikutnya di Google Play.