利用大模型实现信息抽取
利用本地大模型实现伪zero-shot中文文本信息抽取。
利用本地大模型实现伪zero-shot中文文本信息抽取。
利用本地大模型实现伪zero-shot中文文本分类。
介绍下大模型应用后端服务常见的几种部署架构。
利用Ollama在云服务器上构建大模型后端api服务。
利用LocalAI在云服务器上构建大模型后端api服务。
在无CPU的阿里云服务器部署chatglm3-6b大模型。
AutoGGUF提供了一个图形用户界面,用于使用llama.cpp库量化GGUF模型。
GGUF是一种专为LLM推理设计的优化文件格式。它通过一系列技术手段,提高了模型的加载效率和使用便捷性,对于需要在CPU上快速进行推理的场景尤为有用。
除了运行时量化,还有一种静态量化方式。这种方式保存的模型加载起来更简单。
我们也可以选择将量化后的模型进行保存,下次使用可以直接加载。