大模型量化技术（1）

发表于 更新于
利用大模型量化技术可以显著地减少大模型推理部署时的显存开销。