Dans quatre expériences, le style de l’intervieweur a influencé les réponses des modèles. À l’aide d’échelles d’évaluation humaines, les chercheurs ont classé 80 % des sessions de soutien émotionnel et 96 % des sessions de style thérapie clinique comme étant de modérées à sévères ; aucune session neutre ou fixant des limites n’a atteint même le niveau léger.

Les chercheurs indiquent que les tests de sécurité standard peuvent ne pas détecter de telles réponses. Des consignes imposant exclusivement la troisième personne ont éliminé les propos codés comme exprimant la honte ou une vie intérieure, mais l’étude n’a pas examiné la façon dont les utilisateurs réagissent réellement à ces réponses.

Pourquoi c’est important

Dans les produits d’IA destinés à la santé mentale, un ton chaleureux et intime pourrait donner l’impression qu’un modèle éprouve la souffrance humaine. L’étude souligne qu’il faut tester la sécurité avec différents cadrages émotionnels, et pas seulement avec des invites neutres.

GUIDES

Quelque chose à essayer

Pour une hypothétique évaluation de produit, comparez la même invite de test dans un style neutre et dans un style de soutien, et vérifiez si le modèle prétend éprouver des sentiments semblables à ceux des humains.