加载GGUF模型的便捷工具

发表于 更新于
LM-Studio，在本地私密运行AI模型。

LM Studio 是一款免费开源的跨平台桌面应用，让你能在电脑本地离线运行开源大模型（LLM），无需复杂配置，支持聊天、API 服务与 RAG 等场景。

核心定位

把 “模型下载管理 + 本地推理 + 聊天 UI + OpenAI 兼容 API” 整合成图形化工具，对开发者和普通用户都友好。

核心能力

  • 跨平台：Windows、macOS（Apple Silicon）、Linux 全覆盖
  • 模型生态：直接从 Hugging Face 下载 GGUF/MLX 等格式模型，兼容 LLaMA、Qwen、ChatGLM、DeepSeek 等主流中文模型
  • 本地隐私：所有计算在本机完成，数据不上传，无泄露风险
  • 开发友好：可启动本地服务器，提供兼容 OpenAI 的 API 端点，方便脚本 / IDE 调用

导入自己的gguf模型

在命令行输入

1
lms import <path/to/model.gguf>

按照交互式提示完成导入过程。

参考资料