ByteCat

利用本地大模型实现伪zero-shot中文文本分类。

介绍下大模型应用后端服务常见的几种部署架构。

利用Ollama在云服务器上构建大模型后端api服务。

利用LocalAI在云服务器上构建大模型后端api服务。

在无CPU的阿里云服务器部署chatglm3-6b大模型。

google的端上推理格式，litertlm。

LM-Studio，在本地私密运行AI模型。

AutoGGUF提供了一个图形用户界面，用于使用llama.cpp库量化GGUF模型。

GGUF是一种专为LLM推理设计的优化文件格式。它通过一系列技术手段，提高了模型的加载效率和使用便捷性，对于需要在CPU上快速进行推理的场景尤为有用。

AWQ是比GPTQ更新的一类4bit PTQ方法，在推理部署和速度上通常更友好。