Ağırlıklar −1, 0 veya +1 değerlerini alıyor; ek ölçek bilgileri gerçek depolama maliyetini artırıyor. Görsel girişi için isteğe bağlı 0,36 GB’lık Q8_0 mmproj dosyası gerekiyor.

Model Qwen3.5-2B’den türetilmiş ve Apache 2.0 lisanslı. Çoğu paket için PrismML’nin llama.cpp çatalı gerekiyor; kaynak, yalnızca Q2_0 dosyasının upstream llama.cpp b11556 ve sonrasında çalıştığını belirtiyor.

Neden önemli?

Daha küçük dosya boyutu, sınırlı depolama ve belleğe sahip cihazlarda yerel çok kipli model dağıtımını araştıran geliştiriciler için anlamlı olabilir; donanımdaki performans ayrıca doğrulanmalı.

REHBERLER

Bir deneme fikri

Varsayımsal bir deneme olarak, hedef cihazınızda desteklenen paketleri karşılaştırıp dosya boyutunu ve çıkarım sırasında bellek kullanımını ölçün.