Les poids prennent les valeurs −1, 0 ou +1 ; des métadonnées d’échelle supplémentaires augmentent le coût réel du stockage. L’entrée d’images nécessite un fichier mmproj Q8_0 facultatif de 0,36 GB.

Dérivé de Qwen3.5-2B, le modèle est distribué sous licence Apache 2.0. La plupart des conditionnements nécessitent le fork llama.cpp de PrismML ; la source indique que seul le fichier Q2_0 fonctionne avec llama.cpp en amont, à partir de la version b11556.

Pourquoi c’est important

Le fichier plus petit peut aider les développeurs qui explorent le déploiement multimodal local sur des appareils aux capacités de stockage et de mémoire limitées ; les performances sur du matériel spécifique doivent encore être testées.

GUIDES

Quelque chose à essayer

À titre d’évaluation hypothétique, comparez les conditionnements pris en charge sur votre appareil cible et mesurez la taille des fichiers ainsi que l’utilisation de la mémoire pendant l’inférence.