vLLM

AnythingLLM

本地知识库加多模型对话，适合把文档接进模型。

Chatbox

本地多模型桌面客户端，可接不同模型与自己的密钥。

Cherry Studio

多模型桌面客户端，支持本地与云端模型切换。

llama.cpp

在本地跑大模型的 C++ 实现，适合离线与轻量部署。

LM Studio

在本地运行大模型的桌面客户端，图形界面里下载并切换模型，适合想离线试用模型又不想写代码的人。

Ollama

用一条命令在本机拉起开源大模型并对外提供接口，适合做本地推理验证与不方便出网的数据试验。