ওয়েটের মান −1, 0 বা +1; অতিরিক্ত স্কেল মেটাডেটা প্রকৃত স্টোরেজ খরচ বাড়ায়। ছবি ইনপুটের জন্য ঐচ্ছিক 0.36 GB-এর Q8_0 mmproj ফাইল প্রয়োজন।

Qwen3.5-2B থেকে উদ্ভূত এই মডেলটি Apache 2.0 লাইসেন্সের অধীনে প্রকাশিত। বেশির ভাগ প্যাকিংয়ের জন্য PrismML-এর llama.cpp ফর্ক প্রয়োজন; উৎসে বলা হয়েছে, আপস্ট্রিম llama.cpp-তে b11556 এবং পরবর্তী সংস্করণে শুধু Q2_0 ফাইলটি কাজ করে।

কেন এটি গুরুত্বপূর্ণ

ছোট ফাইলটি সীমিত স্টোরেজ ও মেমরির ডিভাইসে স্থানীয় মাল্টিমোডাল স্থাপন নিয়ে কাজ করা ডেভেলপারদের সহায়তা করতে পারে; নির্দিষ্ট হার্ডওয়্যারে কর্মক্ষমতা এখনও পরীক্ষা করা দরকার।

নির্দেশিকা

চেষ্টা করে দেখার মতো কিছু

একটি কাল্পনিক মূল্যায়ন হিসেবে, আপনার লক্ষ্য ডিভাইসে সমর্থিত প্যাকিংগুলোর তুলনা করুন এবং ফাইলের আকার ও ইনফারেন্সের সময় মেমরি ব্যবহার পরিমাপ করুন।