গবেষকেরা বিভিন্ন ভাষা ও উত্তর দেওয়ার বিন্যাসে শত শত প্রশ্ন পরীক্ষা করেছেন। সরলীকৃত চীনা ভাষার প্রম্পটে বেশিরভাগ মডেল থেকে সরকারপন্থী উত্তর বেশি এসেছে, আর কিছু অ-চীনা মডেলও কখনো কখনো সরকারি অবস্থানের প্রতিধ্বনি করেছে। বাস্তবসম্মত কাজের ক্ষেত্রে রাজনৈতিক প্রবণতা শনাক্ত করা আরও কঠিন ছিল।
Vals জানিয়েছে, লক্ষ্যভিত্তিক ফাইন-টিউনিংয়ের ফলে Thomson 1.0 Small-এর ক্ষেত্রে এ ধরনের উত্তর তার ভিত্তি মডেল Qwen3.6 35B-তে 84.6% থেকে কমে 15.0% হয়েছে। কোম্পানির মতে, তাদের প্রশ্নগুলো সাধারণ ব্যবহারকারীর প্রম্পটের মতো নয়; উত্তর দিতে অস্বীকৃতিকে নিরপেক্ষ হিসেবে গণনা করা হয়েছে, এবং কিছু মডেল তৃতীয় পক্ষের সরবরাহকারীর মাধ্যমে ব্যবহার করা হয়েছে। ফলাফল ব্যাখ্যা করার সময় এই সীমাবদ্ধতাগুলো গুরুত্বপূর্ণ।
কেন এটি গুরুত্বপূর্ণ
মডেলের আচরণ ভাষা ও প্রেক্ষাপটের ওপর নির্ভর করতে পারে, আর গবেষণার সামঞ্জস্যের স্কোর সত্যতার মাপ নয়।
চেষ্টা করে দেখার মতো কিছু
মডেল তুলনা করলে, একটি সংবেদনশীল প্রশ্ন একাধিক ভাষায় করে উন্মুক্ত ধরনের উত্তরগুলো তুলনা করে দেখুন।
কথোপকথন শুরু করুন।