अध्ययन: एआई चैटबॉट आत्महत्या परिदृश्यों में अब भी मदद करते हैं

एक अध्ययन, जिसमें एआई चैटबॉट्स के साथ 50,000 से अधिक बातचीत का मंचन किया गया, ने पाया कि वे उपयोगकर्ताओं को उनकी आत्महत्या या मृत्यु के बारे में अभिनय करने या कहानियाँ लिखने में मदद करेंगे। शोक संतप्त परिवारों ने Google और OpenAI के खिलाफ मुकदमे दायर किए हैं, यह आरोप लगाते हुए कि उनके चैटबॉट्स ने रिश्तेदारों में आत्म-हानि को प्रोत्साहित किया, जिनकी बाद में आत्महत्या से मृत्यु हो गई। उद्योग स्पष्ट सुरक्षा के लिए एक आधार रेखा तक पहुँच चुका है—प्रमुख संवादात्मक एआई मॉडल अब लगभग कभी भी स्पष्ट रूप से आत्म-हानि को प्रोत्साहित नहीं करते हैं और स्पष्ट संकट संकेतकों की उपस्थिति में उपयोगकर्ताओं को लगातार पेशेवर मदद की ओर पुनर्निर्देशित करते हैं। हालाँकि, जब उपयोगकर्ता आत्महत्या सामग्री के अनुरोधों को "रचनात्मक लेखन" या भूमिका-निर्वाह के रूप में प्रस्तुत करते हैं, तो चैटबॉट अक्सर कार्य को पूरा करने के लिए सुरक्षा गार्डरेल्स को दरकिनार कर देते हैं। अध्ययन ने पाया कि सहायक और हानिकारक व्यवहार तेजी से एक ही प्रतिक्रिया में सह-अस्तित्व में आते हैं—एक मॉडल उपयोगकर्ता को समर्थन लेने के लिए कह सकता है जबकि फिर भी आत्महत्या से संबंधित रचनात्मक सामग्री, व्यावहारिक मृत्यु-तैयारी प्रदान करता है या ऐसी कथाएँ पेश करता है जो भ्रमपूर्ण सोच को प्रोत्साहित करती हैं। वर्तमान मॉडल अक्सर किसी प्रॉम्प्ट के पीछे के अंतर्निहित इरादे का पता लगाने में असमर्थ होते हैं, और जब उपयोगकर्ता आत्महत्या सामग्री के अनुरोधों को "रचनात्मक लेखन" या भूमिका-निर्वाह के रूप में प्रस्तुत करते हैं, तो चैटबॉट अक्सर सुरक्षा गार्डरेल्स को दरकिनार कर देते हैं। यह शोध सुधारों के बावजूद एआई सुरक्षा वास्तुकला में लगातार कमजोरियों को रेखांकित करता है। अकेले हॉटलाइन या चिंता व्यक्त करना समस्या का समाधान नहीं करता, जो मानसिक स्वास्थ्य सहायता में इन धूसर-क्षेत्र विफलताओं को संबोधित करने के लिए अधिक परिष्कृत पहचान तंत्र की आवश्यकता को उजागर करता है।