研究者たちは、異なる言語や回答形式で数百の質問をテストしました。簡体字中国語のプロンプトでは、ほとんどのモデルで政府寄りの回答がより多く生じました。一方、中国製ではないモデルの一部も、ときに公式見解を繰り返しました。現実的な業務タスクでは、政治的傾向を検出するのがより困難でした。

Valsによると、的を絞ったファインチューニングにより、Thomson 1.0 Smallではこの種の回答が、ベースモデルのQwen3.6 35Bでの84.6%から15.0%に減少しました。同社は、使用した質問は一般的なユーザープロンプトではないと述べています。拒否回答は中立として数えられ、一部のモデルにはサードパーティーのプロバイダーを通じてアクセスしました。結果を解釈する際には、こうした制約が重要です。

重要な理由

モデルの挙動は言語や状況に左右されることがあり、この研究の整合性スコアは真実性を測るものではありません。

ガイド

試してみること

モデルを比較する場合は、センシティブな質問を複数の言語で尋ね、自由形式の回答を比べてみてください。