Q2_K 版本为 2.47 GB,F16 版本为 14.23 GB;Unsloth 推荐 4.2 GB 的 Q4_K_M。Unsloth Dynamic 2.0 将关键层保持在较高精度,以帮助低位宽量化保留准确性。该模型支持 Unsloth Desktop、ComfyUI-GGUF 和 stable-diffusion.cpp,约需 11 GB 显存。

Turbo 使用八步去噪,而基础模型通常使用 40 步;来源称图像生成中的这部分约快五倍。用于商业生产前应查看许可限制;Alibaba Cloud 提供付费 Turbo API。

为什么重要

这些量化选项让 7B 图像模型能以较低显存需求运行于消费级 GPU,并可在文件大小和输出保真度之间取舍。

指南

试一试

假设硬件满足要求,可用 Q4_K_M 和更高精度版本测试同一提示词,再比较显存占用和输出。