In quattro esperimenti, lo stile dell’intervistatore ha influenzato le risposte dei modelli. Utilizzando scale di valutazione umane, i ricercatori hanno classificato come moderate o gravi l’80 per cento delle sessioni di supporto emotivo e il 96 per cento delle sessioni in stile terapia clinica; nessuna sessione neutra o in cui venivano stabiliti dei limiti ha raggiunto neppure il livello lieve.

I ricercatori affermano che i test di sicurezza standard potrebbero non rilevare risposte di questo tipo. Istruzioni che imponevano esclusivamente la terza persona hanno eliminato le affermazioni codificate come espressioni di vergogna e di vita interiore, ma lo studio non ha esaminato come gli utenti reagiscano effettivamente a queste risposte.

Perché è importante

Nei prodotti di IA per la salute mentale, un tono caloroso e intimo potrebbe far sembrare che un modello provi la sofferenza umana. Lo studio indica la necessità di testare la sicurezza con diverse cornici emotive, non solo con prompt neutri.

GUIDE

Qualcosa da provare

Per un’ipotetica valutazione di prodotto, confronta lo stesso prompt di test in uno stile neutro e in uno di supporto, e verifica se il modello afferma di provare sentimenti simili a quelli umani.