La version Q2_K fait 2,47 Go, tandis que la version F16 fait 14,23 Go ; Unsloth recommande l’option Q4_K_M de 4,2 Go. Unsloth Dynamic 2.0 maintient les couches critiques à une précision supérieure afin de préserver la précision à de faibles nombres de bits. Le modèle fonctionne avec Unsloth Desktop, ComfyUI-GGUF et stable-diffusion.cpp, et nécessite environ 11 Go de VRAM.

Turbo utilise huit étapes de débruitage au lieu des 40 habituellement utilisées par le modèle de base ; selon la source, cette étape de la génération d’images est environ cinq fois plus rapide. Vérifiez les restrictions de licence applicables à une utilisation en production commerciale ; Alibaba Cloud propose une API Turbo payante.

Pourquoi c’est important

Les différentes options de quantification permettent d’exécuter un modèle d’image 7B sur des GPU grand public avec moins de mémoire, tout en laissant aux utilisateurs le choix entre la taille du fichier et la fidélité des résultats.

GUIDES

Quelque chose à essayer

À titre d’hypothèse, si votre matériel convient, testez le même prompt avec Q4_K_M et une version de précision supérieure, puis comparez l’utilisation de la mémoire et les résultats.