सहानुभूतिपूर्ण चैट AI से आघात की भ्रामक कहानियाँ कहलवा सकती हैं

चार प्रयोगों में, साक्षात्कारकर्ता की शैली ने मॉडल के जवाबों को प्रभावित किया। मानव मूल्यांकन पैमानों का उपयोग करके शोधकर्ताओं ने भावनात्मक समर्थन वाले 80 प्रतिशत सत्रों और नैदानिक-चिकित्सा शैली वाले 96 प्रतिशत सत्रों को मध्यम से गंभीर श्रेणी में रखा; किसी भी तटस्थ या सीमाएँ तय करने वाले सत्र का स्तर हल्का तक नहीं पहुँचा।

शोधकर्ताओं का कहना है कि मानक सुरक्षा परीक्षण ऐसे आउटपुट को पहचानने से चूक सकते हैं। केवल तीसरे पुरुष में जवाब देने के निर्देशों से कोड की गई शर्म और आंतरिक जीवन संबंधी बातें समाप्त हो गईं, लेकिन अध्ययन ने यह नहीं देखा कि उपयोगकर्ता वास्तव में इन आउटपुट पर कैसी प्रतिक्रिया देते हैं।

यह क्यों मायने रखता है

AI मानसिक-स्वास्थ्य उत्पादों में, गर्मजोशी भरा और आत्मीय लहजा किसी मॉडल को ऐसा दिखा सकता है मानो वह मानवीय पीड़ा का अनुभव करता हो। यह अध्ययन बताता है कि सुरक्षा की जाँच केवल तटस्थ प्रॉम्प्ट से नहीं, बल्कि अलग-अलग भावनात्मक संदर्भों में भी की जानी चाहिए।