Q2_K বিল্ডটি 2.47 GB, আর F16 হলো 14.23 GB; Unsloth 4.2 GB-এর Q4_K_M বিকল্পটি সুপারিশ করে। কম বিট-প্রস্থেও নির্ভুলতা ধরে রাখতে সাহায্য করার জন্য Unsloth Dynamic 2.0 গুরুত্বপূর্ণ লেয়ারগুলোকে বেশি নির্ভুলতায় রাখে। মডেলটি Unsloth Desktop, ComfyUI-GGUF এবং stable-diffusion.cpp-এর সঙ্গে কাজ করে, এবং প্রায় 11 GB VRAM প্রয়োজন।
বেস মডেলের সাধারণ 40 ধাপের বদলে Turbo আটটি ডিনয়েজিং ধাপ ব্যবহার করে; সূত্রে বলা হয়েছে, ইমেজ তৈরির এই অংশটি প্রায় পাঁচ গুণ দ্রুত। বাণিজ্যিক উৎপাদনে ব্যবহারের জন্য লাইসেন্সের বিধিনিষেধ যাচাই করুন; Alibaba Cloud অর্থের বিনিময়ে Turbo API দেয়।
কেন এটি গুরুত্বপূর্ণ
কোয়ান্টাইজেশনের বিকল্পগুলো কম মেমোরির ভোক্তা GPU-তে 7B ইমেজ মডেল চালানো সম্ভব করে, পাশাপাশি ফাইলের আকার ও আউটপুটের বিশ্বস্ততার মধ্যে বেছে নেওয়ার সুযোগ দেয়।
চেষ্টা করে দেখার মতো কিছু
কাল্পনিকভাবে, আপনার হার্ডওয়্যার উপযুক্ত হলে Q4_K_M এবং আরও বেশি নির্ভুলতার বিল্ডে একই প্রম্পট পরীক্ষা করুন, তারপর মেমোরি ব্যবহার ও আউটপুট তুলনা করুন।
কথোপকথন শুরু করুন।