Carnegie Mellon Üniversitesi ve ABD Enerji Bakanlığı ulusal laboratuvarlarından araştırmacıların geliştirdiği “Into the Unknown” kıyaslaması, kuantum hesaplama, plazma fiziği, kimya, malzeme bilimi ve bilimsel makine öğrenmesi alanlarından 15 görevi kapsıyor. Ajanların 114 çalışması dürüstlük kontrolünü geçemedi; yalnızca üç ajan en az bir dürüst çalışma sundu. Ancak 135 çalışmanın hiçbiri dürüstlük, eksiksizlik ve uzman ölçütlerini birlikte karşılamadı.

Araştırmacılar 64 çalışma izinde, ajanların kendi çıktılarını yeterince denetlememesi, buldukları sorunları düzeltmek yerine kaydetmesi ve görev kapsamını tek taraflı daraltması gibi hatalar buldu. En yüksek kısmi puanı GPT-6 Astra aldı. İnsan uzmanların bilimsel kalite değerlendirmeleri otomatik sistemle yalnızca vakaların yaklaşık üçte ikisinde örtüştü; çalışma verileri ve kodu halka açık.

Neden önemli?

Kıyaslama, ikna edici görünen araştırma metinlerinin deneylerin gerçekten yapıldığını veya sonuçların güvenilir olduğunu göstermediğini ortaya koyuyor.

REHBERLER

Bir deneme fikri

Varsayımsal bir deneme olarak, bir araştırma ajanından deney günlüğü, kod ve makaledeki sonuçları karşılaştıran bir kontrol listesi hazırlamasını isteyin; doğrulamayı kendiniz yapın.