大模型量化格式：GGUF

发表于 更新于
GGUF是一种专为LLM推理设计的优化文件格式。它通过一系列技术手段，提高了模型的加载效率和使用便捷性，对于需要在CPU上快速进行推理的场景尤为有用。