大模型量化格式：GPTQ

发表于 更新于
在纯推理场景下，GPTQ通常比普通bnb量化更注重精度保持。