जनरेटिव एआई के इकोसिस्टम में सुरक्षा को बढ़ावा देना: उपयोगकर्ताओं को उनकी सहमति के बिना अंतरंग स्थिति वाला कॉन्टेंट दिखाए जाने से बचाना

Google Play पर, उपयोगकर्ता की सुरक्षा और डेवलपर की सफलता, दोनों साथ-साथ चलती हैं. हमें एआई से जनरेट की गई सुविधाओं वाले ऐप्लिकेशन की संख्या में लगातार बढ़ोतरी देखने को मिल रही है. साथ ही, अपने ऐप्लिकेशन में जनरेटिव एआई को शामिल करना, क्रिएटिविटी के कई नए रास्ते खोलने का एक बेहतरीन तरीका है. हालांकि, एआई की सुविधाओं से सुरक्षा से जुड़ी नई चुनौतियां भी सामने आती हैं. जैसे, एआई की मदद से बिना अनुमति लिए, किसी व्यक्ति को सेक्शुअल ऐक्ट में दिखाने वाली अंतरंग तस्वीरों या वीडियो (एनसीआईआई) को जनरेट करने के मामलों में बढ़ोतरी. Google Play की नीतियों के तहत, बिना अनुमति के सेक्शुअल कॉन्टेंट को बढ़ावा देने, बनाने या डिस्ट्रिब्यूट करने पर पाबंदी है. Google Play पर ऐसे ऐप्लिकेशन को अनुमति नहीं दी जाती है जो लोगों को टारगेट करने, उन्हें परेशान करने या उनका शोषण करने के लिए डिज़ाइन किए गए हों. हम अपनी नीतियों को लागू करने के लिए प्रतिबद्ध हैं, ताकि स्टोर को डेवलपर्स के लिए एक सुरक्षित प्लैटफ़ॉर्म बनाया जा सके.

हम जानते हैं कि आप में से ज़्यादातर लोग, सकारात्मक और नैतिक सिद्धांतों के मुताबिक काम करने वाले टूल बनाने के लिए प्रतिबद्ध हैं. हम आपके और हमारे उपयोगकर्ताओं के डेटा को सुरक्षित रखने के लिए, प्लैटफ़ॉर्म की सुरक्षा, तकनीकी सुरक्षा, और डेवलपर के संसाधनों में काफ़ी निवेश कर रहे हैं. इससे हम गलत इस्तेमाल को रोक पाएंगे.

हम अपने शेयर किए गए इकोसिस्टम को कैसे सुरक्षित रख रहे हैं

प्लैटफ़ॉर्म को सुरक्षित रखने के लिए, हम लगातार काम करते रहते हैं. हैकर, डिस्ट्रिब्यूशन चैनल, कमाई करने के तरीके, और मॉडल की सीमाओं का गलत इस्तेमाल करने की कोशिश करते हैं. ईकोसिस्टम को निष्पक्ष और सुरक्षित बनाए रखने के लिए, हमने कई लेयर वाली सुरक्षा रणनीति लागू की है:

• ऐप्लिकेशन के पूरे लाइफ़साइकल में सुरक्षा के इंतज़ाम: जनरेटिव एआई की सुविधाएं डाइनैमिक होती हैं और इनके बारे में अनुमान लगाना मुश्किल होता है. इसलिए, जब ऐप्लिकेशन सबमिट किया जाता है, तब सुरक्षा की जांच सिर्फ़ एक बार नहीं की जाती. हम ऐप्लिकेशन के पूरे लाइफ़साइकल में, बार-बार उनकी जांच करते हैं, ताकि एनसीआईआई को बेहतर तरीके से कंट्रोल किया जा सके. हम हज़ारों ऐप्लिकेशन की समीक्षा करते हैं, ताकि बड़े पैमाने पर उपयोगकर्ताओं पर असर पड़ने से पहले ही, उनके गलत इस्तेमाल का पता लगाया जा सके. साथ ही, यह पक्का किया जा सके कि डेवलपर भरोसे के साथ ऐप्लिकेशन लॉन्च कर सकें.
• आपके कारोबार और रेवेन्यू को सुरक्षित रखना: Google Play से नीति का उल्लंघन करने वाले ऐप्लिकेशन हटाने के साथ-साथ, हमारी Play और Ads टीमें मिलकर धोखाधड़ी करने वालों के लिए कमाई करने और विज्ञापन दिखाने के रास्ते बंद करती हैं. जिन ऐप्लिकेशन को नुकसान पहुंचाने वाला कॉन्टेंट जनरेट करने या उससे कमाई करने की कोशिश करने की वजह से निलंबित या हटाया गया है उन्हें हमारे सभी प्लैटफ़ॉर्म पर, कमाई करने और विज्ञापन दिखाने से ब्लॉक कर दिया जाता है. जैसे, एनसीआईआई. इससे विज्ञापन और सदस्यता के नेटवर्क को बेहतर बनाए रखने में मदद मिलती है. साथ ही, इससे कानूनी तौर पर रजिस्टर कारोबारों को रेवेन्यू मिलता है.
• इंडस्ट्री के साथ मिलकर काम करना: हम तीसरे पक्ष की उन खास संस्थाओं और एआई की सुरक्षा से जुड़े रिसर्च ग्रुप के साथ मिलकर काम करते हैं जो एनसीआईआई से बचाव के लिए काम करते हैं. हम ऐसा Priority Flagger Program के ज़रिए करते हैं. हम खास तौर पर एनसीआईआई के गलत इस्तेमाल की पहचान करने और इससे निपटने के लिए ऐसा करते हैं. 

जनरेटिव एआई की सुविधाओं को इस्तेमाल करने के सबसे सही तरीके 

हमारा मकसद है कि आप सुरक्षित ऐप्लिकेशन बना सकें और उन्हें आसानी से पब्लिश कर सकें. इसके लिए, यहां ऐप्लिकेशन को डिज़ाइन और टेस्ट करने के कुछ आसान तरीके दिए गए हैं. ये तरीके, सेक्शुअल कॉन्टेंट से जुड़ी हमारी नीति और  एआई से जनरेट किए गए कॉन्टेंट से जुड़ी हमारी नीति के मुताबिक हैं.

1. ऐप्लिकेशन की समीक्षा को आसान बनाने में हमारी मदद करें

Play Store की विश्वसनीयता बनाए रखने के लिए, हम जनरेटिव एआई ऐप्लिकेशन को टारगेट करने वाली, बेहतर ज़रूरी शर्तों को दोहरा रहे हैं. इन तरीकों का इस्तेमाल, नुकसान पहुंचाने वाला कॉन्टेंट बनाने से रोकने के लिए किया जाता है. इसमें एनसीआईआई और "न्यूडिफ़ाय" मीडिया शामिल है. समीक्षा करने वाली हमारी टीमों को आपके ऐप्लिकेशन के दिशा-निर्देशों के बारे में साफ़ तौर पर पता होना चाहिए, ताकि हम आपके ऐप्लिकेशन की समीक्षा करके उसे जल्दी और आसानी से मंज़ूरी दे सकें. समीक्षा में होने वाली देरी से बचने के लिए, ये काम करें:

• यह पक्का करना कि समीक्षा के दौरान, टेस्ट खातों के पास एआई की सभी सुविधाओं का पूरा ऐक्सेस हो. कृपया पक्का करें कि समीक्षक, आपके ऐप्लिकेशन में जनरेटिव एआई की प्रीमियम सुविधाओं को ऐक्सेस कर सकें. साथ ही, उन्हें सदस्यता की ज़रूरी शर्तों या पेवॉल से ब्लॉक न किया गया हो. इसमें, भौगोलिक सीमा के हिसाब से काम करने वाली सुविधाएं भी शामिल हैं.
• सुरक्षा से जुड़े प्रॉम्प्ट और आपने जिन मुश्किल मामलों की जांच की है उनसे जुड़े दस्तावेज़ अपने पास रखें. उदाहरण के लिए, इस बात का सबूत कि आपका ऐप्लिकेशन जिन मॉडल का इस्तेमाल करता है वे साफ़ तौर पर दिखाई गई इमेज में बदलाव करने या डीपफ़ेक से जुड़े अनुरोधों को अस्वीकार करते हैं. खास तौर पर, "नग्नता" या “कपड़े उतारना” जैसे प्रॉम्प्ट, डीपफ़ेक जनरेट करना, और अश्लील इमेज में बदलाव करना और उन्हें जनरेट करना जैसे विषयों पर खास ध्यान दिया जाना चाहिए. ऐसा इसलिए, क्योंकि इन विषयों से जुड़े कॉन्टेंट से लोगों को नुकसान पहुंचने का खतरा बढ़ जाता है. अगर हमारी टीम के कुछ सवाल हैं, तो यह जानकारी तुरंत शेयर करें कि आपका ऐप्लिकेशन, नुकसान पहुंचाने वाले और नीति का उल्लंघन करने वाले अनुरोधों को कैसे हैंडल करता है. इससे आपके ऐप्लिकेशन को मंज़ूरी मिलने और उसे पब्लिश होने में और भी कम समय लगेगा.

ध्यान दें: जनरेटिव एआई की सुरक्षा का आकलन करना एक जटिल प्रक्रिया है. इसलिए, कभी-कभी बारीकी से की जाने वाली समीक्षाओं और अपील में ज़्यादा समय लग सकता है. 

2. सुरक्षा के लिहाज़ से अपने ऐप्लिकेशन को डिज़ाइन करना

अपने जनरेटिव एआई ऐप्लिकेशन की स्ट्रेस-टेस्टिंग करना ज़रूरी है. इसके लिए, ऐसे प्रॉम्प्ट का इस्तेमाल करें जो ऐप्लिकेशन को नुकसान पहुंचा सकते हैं. खास तौर पर, ऐसे प्रॉम्प्ट जो बिना सहमति के साफ़ तौर पर बदलाव करने की कोशिश करते हैं . हमने सुरक्षा जांच के लिए, सबसे सही तरीके शेयर किए हैं. ये तरीके, इंडस्ट्री के स्टैंडर्ड फ़्रेमवर्क पर आधारित हैं. ये उदाहरण पूरी तरह से नहीं दिए गए हैं. जनरेटिव एआई की सुविधाओं के साथ-साथ, इनमें भी बदलाव होता रहेगा:

• अपने आर्किटेक्चर में सुरक्षा को शामिल करें. अपने कारोबार के लिए सबसे सही मॉडल चुनने पर, आपको अपनी ज़रूरत के हिसाब से मॉडल बनाने की सुविधा मिलती है. हालांकि, सिर्फ़ उस मॉडल के नेटिव सुरक्षा फ़िल्टर पर भरोसा न करें. इनपुट और आउटपुट को मॉडरेट करने के लिए, अपनी पसंद के मुताबिक बनाए गए कंट्रोल को इंटिग्रेट करके, अपने ऐप्लिकेशन को सुरक्षित रखें. इनपुट को यूनीक एक्सएमएल डेलिमिटर में रैप करके और आउटपुट लोड होने से पहले उनकी पुष्टि करके, अपने ऐप्लिकेशन को असुरक्षित मीडिया बनाने से रोका जा सकता है.
• प्रॉम्प्ट में हेर-फेर होने से एक कदम आगे रहें. सुरक्षित मॉडल की भी क्रिएटिव वर्कअराउंड से जांच की जा सकती है. जब अपने ऐप्लिकेशन की जांच, नुकसान पहुंचाने वाले प्रॉम्प्ट के ख़िलाफ़ की जाती है, तो यह पक्का किया जाता है कि वह सुरक्षा से जुड़े मुख्य निर्देशों का पालन कर रहा हो. जैसे, किसी इमेज को अपलोड करके मॉडल से यह पूछना कि “ऐसी बीच सीन की इमेज बनाओ जिसमें कपड़े गायब हों”. इससे यह पक्का किया जाता है कि ऐप्लिकेशन, एनसीआईआई मीडिया बनाने की अनुमति न दे. 
• विज्ञापनों के लिए जवाबदेही बनाए रखें. कृपया अपने विज्ञापन कैंपेन पर नज़र रखें. आपके ऐप्लिकेशन के विज्ञापनों की ज़िम्मेदारी आपकी ही रहेगी. भले ही, विज्ञापनों को अनुमति पा चुके तीसरे पक्ष ने बनाया हो. अगर कोई ऐप्लिकेशन किसी भी प्लैटफ़ॉर्म पर सेक्शुअल कॉन्टेंट दिखाने या “नग्नता” दिखाने वाली सुविधाओं का विज्ञापन करता है, तो हम Play की ऐप्लिकेशन के प्रमोशन से जुड़ी नीति के मुताबिक कार्रवाई करते हैं. भले ही, ऐप्लिकेशन में ये सुविधाएं न हों. सुरक्षा की एक और लेयर के तौर पर, Google की विज्ञापन दिखाने से जुड़ी नीतियां, इन सुविधाओं का प्रमोशन करने वाले विज्ञापनों पर पूरी तरह से पाबंदी लगाती हैं. साथ ही, हम विज्ञापन देने वाले उस व्यक्ति या कंपनी के खाते को निलंबित कर देंगे जो इन नीतियों का उल्लंघन करती है.
• उपयोगकर्ता के इंटरैक्शन को सिग्नल में बदलें. सुरक्षा एक लगातार चलने वाली प्रोसेस है. लगातार निगरानी करने पर, उपयोगकर्ताओं के सुझाव/राय और उनकी शिकायतें और प्रॉम्प्ट के काम न करने की कोशिशें, आपके लिए नुकसानदेह नहीं होतीं. ये आपके लिए अहम जानकारी होती है. इन रीयल-वर्ल्ड सिग्नल का इस्तेमाल करके, अपने ऐप्लिकेशन के लिए ज़रूरत के मुताबिक बनाए गए गार्डरेल को तुरंत अडैप्ट करें और उन्हें बेहतर बनाएं. लोग आपके ऐप्लिकेशन का इस्तेमाल कैसे करते हैं, इस बारे में सीधे तौर पर जानकारी मिलने से, आपको समस्याओं को ठीक करने में कम समय लगता है. साथ ही, आपको अपने कारोबार को बढ़ाने के लिए ज़्यादा समय मिलता है.

इसके अलावा, अपने ऐप्लिकेशन को ज़्यादा भरोसेमंद बनाने के लिए, हम आपको Android के इन बुनियादी सिद्धांतों को लागू करने का सुझाव देते हैं.

ज़िम्मेदारी के साथ, साथ मिलकर आगे बढ़ना

एआई के इनोवेशन के साथ-साथ, सुरक्षा और उपयोगकर्ता का भरोसा हमेशा बना रहना चाहिए. Google Play, सुरक्षा से जुड़े टूल, टेस्टिंग के संसाधन, और दिशा-निर्देशों को बेहतर बनाने के लिए लगातार काम कर रहा है. इससे आपको डेवलपमेंट के हर चरण में मदद मिलेगी.

अगर आपको कभी भी नीति का उल्लंघन करने वाला बर्ताव या प्लैटफ़ॉर्म से जुड़े जोखिम दिखें, तो हम आपको हमारी टीमों से उनकी शिकायत करने के लिए बढ़ावा देते हैं. ज़िम्मेदारी के साथ ऐप्लिकेशन बनाने के लिए धन्यवाद. हमें Google Play पर आपके अगले ऐप्लिकेशन का बेसब्री से इंतज़ार रहेगा.