Q2_K बिल्ड 2.47 GB का है, जबकि F16 14.23 GB का है; Unsloth 4.2 GB वाले Q4_K_M विकल्प की अनुशंसा करता है। Unsloth Dynamic 2.0 कम बिट चौड़ाई पर सटीकता बनाए रखने में मदद के लिए महत्वपूर्ण लेयर्स को अधिक सटीकता पर रखता है। यह मॉडल Unsloth Desktop, ComfyUI-GGUF और stable-diffusion.cpp के साथ काम करता है, और इसके लिए लगभग 11 GB VRAM चाहिए।

Turbo, बेस मॉडल के सामान्य 40 चरणों के बजाय आठ डिनॉइज़िंग चरणों का उपयोग करता है; स्रोत के अनुसार, इमेज जनरेशन का यह हिस्सा लगभग पाँच गुना तेज़ है। व्यावसायिक उत्पादन में उपयोग के लिए लाइसेंस प्रतिबंध जाँचें; Alibaba Cloud सशुल्क Turbo API प्रदान करता है।

यह क्यों मायने रखता है

क्वांटाइज़ेशन के विकल्प कम मेमोरी वाले उपभोक्ता GPU पर 7B इमेज मॉडल चलाना संभव बनाते हैं, और उपयोगकर्ताओं को फ़ाइल आकार तथा आउटपुट की निष्ठा के बीच चयन करने देते हैं।

मार्गदर्शिकाएँ

आजमाने के लिए कुछ

काल्पनिक रूप से, यदि आपका हार्डवेयर उपयुक्त है, तो Q4_K_M और अधिक सटीकता वाले बिल्ड के साथ एक ही प्रॉम्प्ट जाँचें, फिर मेमोरी उपयोग और आउटपुट की तुलना करें।