Q2_K sürümü 2,47 GB, F16 sürümü 14,23 GB; Unsloth, 4,2 GB’lık Q4_K_M seçeneğini öneriyor. Unsloth Dynamic 2.0, düşük bit derinliklerinde doğruluğu korumak amacıyla kritik katmanları daha yüksek hassasiyette tutuyor. Model Unsloth Desktop, ComfyUI-GGUF eklentisi ve stable-diffusion.cpp ile kullanılabiliyor; yaklaşık 11 GB VRAM gerekiyor.

Turbo, temel modeldeki tipik 40 adım yerine 8 gürültü giderme adımı kullanıyor; kaynak, görüntü başına bu bölümün yaklaşık beş kat hızlandığını belirtiyor. Üretim amaçlı ticari kullanım için lisans kısıtını inceleyin; Alibaba Cloud ücretli bir Turbo API sunuyor.

Neden önemli?

Kuantizasyon seçenekleri, 7B görüntü modelini daha düşük bellekli tüketici GPU’larında çalıştırma olanağı sunuyor; dosya boyutu ile çıktı doğruluğu arasında seçim yapılabiliyor.

REHBERLER

Bir deneme fikri

Varsayımsal olarak, donanımınız uygunsa aynı istemi Q4_K_M ve daha yüksek hassasiyetli bir sürümde deneyip bellek kullanımını ve çıktıları karşılaştırın.