0%

能在单个显卡上部署的支持中文的开源LLM推荐。

大模型在部署的时候,肯定离不开一个概念,叫显存占用。这里主要来看怎么计算大模型的显存占用。