Temmuz 2024 ile Eylül 2026 arasında yayımlanan modelleri kapsayan analizde, son kullanma tarihi tahmin edilen 22 bulgunun ortalama ömrü 15,7 ay çıktı. Akıl yürütme alanındaki dokuz bulgunun tamamı zayıfladı ya da geçerliliğini yitirdi; tercih ve eğilimlerle ilgili bazı bulgular daha kalıcıydı.
Sonuçlar modeller arasında da büyük farklılık gösterdi. Örneğin, aynı atıf uydurma testinde GPT-6.1 Sol yüzde 0, Claude Sonnet 5.5 yüzde 1, Qwen3.7-Flash ise yüzde 69 oranında uydurma referans üretti. Araştırmacılar LLM bulgularının belirli bir model, sürüm ve tarihe bağlanmasını; istemlerin ve analiz kodunun yayımlanmasını öneriyor.
Neden önemli?
LLM’ler geliştikçe, önceki araştırmalarda bildirilen yetenek ve zayıflıklar hızla değişebilir; bulguların sürüm ve tarihle birlikte değerlendirilmesi gerekir.
Bir deneme fikri
Bir LLM performans iddiasını değerlendirirken model sürümünü, test tarihini ve istemleri not edin; mümkünse aynı testi kullandığınız modelde yeniden uygulayın.
Sohbeti sen başlat.