dsh-mlx-local
> 本插件是向DSH许愿得到的，本人不对其中的屎山代码负责。
在 Apple Silicon Mac 上通过 DSH 运行本地大模型。插件负责管理 Python 环境、启动和停止 mlx_lm.server,并把本地服务接入 DSH 已有的自定义 provider。
功能
- 在设置页提供“MLX 模型”栏目,可启动、停止、切换本地模型;
- 自动探测 Python 3.9–3.13,创建独立 venv 并安装
mlx-lm; - 模型目录管理:添加、移除、预下载、列出本地模型;
- 服务异常退出检测、残留进程回收、DSH 退出时自动关闭服务;
- 为本地 Qwen3 自动配置思考强度,主界面模型选择器可切换 Off / High;
- 不注册额外 provider,继续使用 DSH 的“自定义提供方”接入。
环境要求
| 项目 | 要求 |
|---|---|
| 硬件 | Apple Silicon(M 系列)Mac |
| 系统 | macOS 13 或更高 |
| DSH | DeepSeek Harness 0.1.0-rc.6 及可用的 dsh 命令 |
| Python | 3.9–3.13,建议 3.10–3.12;未安装时插件会给出 brew install python@3.12 提示 |
| 网络 | 首次使用 HF 模型时需要联网下载权重 |
| 磁盘 | 每个 4-bit 模型约 2–6 GB |
安装
方式一:使用 GitHub Release 发布包
直接安装:
dsh plugin --profile web add https://github.com/JshGao/dsh-mlx-local/releases/download/v0.2.3/dsh-mlx-local-0.2.3.tgz如果 DSH 不跟随下载跳转,先手动下载:
curl -L -O https://github.com/JshGao/dsh-mlx-local/releases/download/v0.2.3/dsh-mlx-local-0.2.3.tgz
dsh plugin --profile web add ./dsh-mlx-local-0.2.3.tgz安装后重启 DSH。
方式二:从源码安装
git clone https://github.com/JshGao/dsh-mlx-local.git
cd dsh-mlx-local
npm install
npm run pack
dsh plugin --profile web add ./dsh-mlx-local-0.2.3.tgz然后重启 DSH。
> 安装、更新、卸载标准插件会修改 profile,需要重启 DSH 后生效。
快速开始
1. 重启 DSH 后打开 设置 → MLX 模型; 2. 如果本地已有 MLX 模型目录,点击 加载模型… 选择目录;否则可直接使用内置 HF 模型; 3. 选择模型后点击 启动,等待状态变为“运行中”; 4. 在 设置 → 模型 → 添加 provider 中: - 选择 自定义提供方; - route 名任意,例如 local; - 协议选择 openai-completions; - baseURL 填 http://127.0.0.1:8080/v1; - 模型 id 填 MLX 插件目录中显示的模型 id; - API Key 填任意值,本地服务不会校验。 5. 新建会话,在主界面选择该 provider。若模型是 Qwen3,思考强度会显示 Off / High。
模型管理
- 本地模型目录会保存在设置中;也可以在设置页中加载新的本地 MLX 模型。
- HF 模型首次启动时会自动下载,也可以使用
mlx_pull_model预下载。 - 切换模型会先停止旧服务再启动新服务。
- 插件不会自动注册
mlx-localprovider;接入统一使用 DSH 自定义 provider。
卸载
dsh plugin --profile web remove dsh-mlx-local然后重启 DSH。插件设置和 ~/.dsh/mlx/ 下的 venv、日志会保留;如需彻底删除,可手动删除 ~/.dsh/mlx/ 和 HuggingFace 缓存。
常见问题
见 [docs/TROUBLESHOOTING.md](docs/TROUBLESHOOTING.md)。