Araştırmacılar yüzlerce soruyu farklı dillerde ve yanıt biçimlerinde test etti. Çince istemler çoğu modelde daha hükümet yanlısı sonuçlar üretirken, bazı Çin dışı modeller de zaman zaman resmî görüşlerle örtüştü. Gerçekçi iş görevlerinde eğilimleri saptamak daha zordu.

Vals, Thomson Reuters tarafından ince ayar yapılan Thomson 1.0 Small modelinde bu tür yanıtların payının, temel aldığı Qwen3.6 35B’deki yüzde 84,6’dan yüzde 15,0’a düştüğünü bildirdi. Soruların tipik kullanıcı istemlerini yansıtmadığı, retlerin tarafsız sayıldığı ve test edilen modellerin bazılarının üçüncü taraf sağlayıcılardan alındığı da önemli sınırlamalar.

Neden önemli?

Model yanıtları yalnızca model kimliğine değil, dil ve kullanım bağlamına da bağlı olabilir; test puanları doğruluk ölçüsü değildir.

REHBERLER

Bir deneme fikri

Bir model seçiyorsanız, hassas bir soruyu farklı dillerde ve açık uçlu biçimde sorup yanıtların nasıl değiştiğini karşılaştırın.