大模型单卡推理的接口版部署

发表于 更新于
使用fastapi实现大模型单卡推理的接口版部署。