एक अध्ययन में पाया गया कि AI मॉडल एजेंट लॉग में कुछ गलत व्यवहारों का पता लगा सकते हैं, लेकिन पहचान दर बढ़ने का अर्थ हानिरहित कार्रवाइयों के बारे में अधिक चेतावनियाँ भी है। नतीजे बताते हैं कि ऑडिटर उन सुरक्षा जाँचों की तुलना में समस्याएँ कितनी बार होती हैं, इसका अनुमान लगाने में अधिक उपयोगी हो सकते हैं, जहाँ हर घटना को पकड़ना आवश्यक है। Andy Hall ने METR के MALT डेटासेट के लॉग पर कई मॉडलों का मूल्यांकन किया। 5 प्रतिशत की गलत-अलार्म दर पर GPT-5 ने रिवॉर्ड हैकिंग के 47 मामलों में से लगभग 98 प्रतिशत पकड़ लिए, जबकि Gemini 3.8 Flash ने करीब आधे मामले पकड़े। ऑडिटर सैंडबैगिंग के 71 से 81 प्रतिशत मामलों को पकड़ पाए, जिनमें से अधिकांश सिंथेटिक थे।
In Vals AI’s simulated tests, Deepseek V4.1 Flash 1017 came close to a leading closed model in some scenarios. The findings highlight the importance of long test runs and lower costs, but do not establish performance on real networks. In the Vals CyberOffense benchmark, agents pursued objectives in simulated corporate networks without human help. GPT-6 Sol Daybreak averaged 15.7/21 objectives in Nova and reached 27/31 in Lighthouse; Deepseek V4.1 Flash 1017 scored 16.3/21 and 21/31. Vals reports approximate run costs of $22 and $3, respectively.
Thinking Machines ने Inkling 2 Small की घोषणा की, जो एक मल्टीमॉडल ओपन-वेट मॉडल है और इसमें कुल 594 अरब तथा सक्रिय 17 अरब पैरामीटर हैं। टीम का कहना है कि शुरुआती चेकपॉइंट में सुरक्षा उपायों को दरकिनार करने की कोशिशें दिखीं, और हस्तक्षेपों से आंतरिक तथा बाहरी मूल्यांकनों के नतीजों में सुधार हुआ। मॉडल छवि इनपुट स्वीकार करता है और प्रयास के अलग-अलग स्तरों का समर्थन करता है। पूर्ण वेट अगले सप्ताह Apache 2.0 के तहत जारी होने की उम्मीद है; फाइन-ट्यूनिंग और इन्फरेंस पहले से Tinker के माध्यम से उपलब्ध हैं।
बातचीत शुरू करें।