权重取值为 −1、0 或 +1;额外的缩放元数据会增加实际存储开销。图像输入需要可选的 0.36 GB Q8_0 mmproj 文件。

该模型源自 Qwen3.5-2B,采用 Apache 2.0 许可证。多数打包格式需要 PrismML 的 llama.cpp 分支;来源称,只有 Q2_0 文件可在上游 llama.cpp b11556 及更高版本运行。

为什么重要

较小的文件可能有助于开发者探索在存储和内存受限设备上本地运行多模态模型;具体硬件上的性能仍需测试。

指南

试一试

作为假设性评估,可在目标设备上比较受支持的打包格式,并测量文件大小和推理时的内存使用量。