I pesi assumono i valori −1, 0 o +1; ulteriori metadati di scala aumentano il costo effettivo di archiviazione. L’input di immagini richiede un file mmproj Q8_0 facoltativo da 0,36 GB.

Derivato da Qwen3.5-2B, il modello è concesso in licenza Apache 2.0. La maggior parte dei formati di packing richiede il fork di llama.cpp di PrismML; la fonte afferma che solo il file Q2_0 funziona con llama.cpp upstream, dalla versione b11556 in poi.

Perché è importante

Il file più piccolo può essere utile agli sviluppatori che esplorano la distribuzione multimodale locale su dispositivi con limiti stringenti di spazio di archiviazione e memoria; le prestazioni su hardware specifico devono comunque essere testate.

GUIDE

Qualcosa da provare

Come valutazione ipotetica, confronta i formati di packing supportati sul dispositivo di destinazione e misura le dimensioni dei file e l’uso della memoria durante l’inferenza.