Les chercheurs ont testé des centaines de questions dans différentes langues et sous différents formats de réponse. Les questions formulées en chinois simplifié ont suscité davantage de réponses favorables au gouvernement pour la plupart des modèles, tandis que certains modèles non chinois ont eux aussi parfois repris des positions officielles. Les tendances politiques étaient plus difficiles à détecter dans des tâches professionnelles réalistes.

Vals a indiqué qu’un réglage fin ciblé avait réduit ce type de réponses pour Thomson 1.0 Small, de 84,6 % dans son modèle de base Qwen3.6 35B à 15,0 %. L’entreprise précise que ses questions ne correspondent pas aux questions habituelles des utilisateurs ; les refus ont été comptés comme neutres, et certains modèles ont été utilisés par l’intermédiaire de fournisseurs tiers. Ces limites sont importantes pour interpréter les résultats.

Pourquoi c’est important

Le comportement des modèles peut dépendre de la langue et du contexte, et le score d’alignement de l’étude ne mesure pas la véracité.

GUIDES

Quelque chose à essayer

Si vous comparez des modèles, essayez de poser une question sensible dans plusieurs langues et de comparer les réponses ouvertes.