<div align="center">
🎙️ dsh-talk
DeepSeek Harness 的 voice-first 会话闭环:对它说话,听它回答。
按下麦克风说话,回复会被朗读出来——说话即打断。
      
English · 简体中文 · Español · Português · हिन्दी
</div>
---
兼容性
| 方面 | 状态 | |---|---| | Harness | DeepSeek Harness 0.1.1-rc.2 | | Node | ^22.19.0 \|\| >=24.0.0 | | 浏览器 | Web Speech + MediaRecorder(Chrome/Edge 最佳);其余场景用宿主侧转写/TTS 引擎 |
你能得到什么
dsh-talk 双向闭合语音环路:
speak工具 —— agent 朗读自己的回复。TTS 引擎:浏览器语音、edge-tts(网络神经语音)或piper(本地)。音频在浏览器播放;会话日志记录脱敏后的朗读内容。- 输入框麦克风按钮 —— 按下说话,转写文本自动回填输入框(或直接提交)。STT 引擎:浏览器 Web Speech(含中间结果)、FunASR HTTP 服务或本地
whisper.cpp。 - 说话即打断 —— 开始说话即停止当前播报(经 client→host 的
talkRemote 通道)。 - 事件播报 —— 回合完成、待审批(waterfall 安全:绝不阻塞门禁)与出错,带静音开关与可配话术。
- 设置页签 —— 引擎/语言选择与播报开关,以追加式 profile patch 操作保存(带备份)。
浏览器 宿主
🎙 按下 ──▶ 打断 ────────────────────▶ talk/interrupt
录音(MediaRecorder / Web Speech)
转写(浏览器)或 talk/transcribe ────▶ FunASR / whisper.cpp
回填草稿或提交 ◀── talk:speech 投影 ── speak 工具 / 事件播报
▶ 播放音频(talk/audio 或 speechSynthesis)快速开始
# 1. 把 bundle 装进你的 profile
dsh plugin --profile web add "github:PerryLink/dsh-talk#main"
# 或从 npm 安装(正式发布版)
dsh plugin --profile web add dsh-talk
# 2. 重启并核实行
dsh --profile web --dump-config | grep -A2 'id: talk'然后按下输入框旁的麦克风说话;也可以让 agent 用 speak 工具朗读回复:
> 用 speak 工具说"你好"。安装与卸载
- git 通道(最新
main):dsh plugin --profile web add "github:PerryLink/dsh-talk#main"——prepare脚本仅用生产依赖构建。 - npm 通道(正式发布版):
dsh plugin --profile web add dsh-talk。 - tarball 通道:在本仓库执行
pnpm pack,然后dsh plugin --profile web add ./dsh-talk-<version>.tgz。 - 卸载:
dsh plugin --profile web remove dsh-talk(或从 profile patch 中删除该行)。
> 如果 pnpm 对本包报 ERR_PNPM_IGNORED_BUILDS(esbuild 的平台二进制无害校验),在你的 pnpm-workspace.yaml 中加入 allowBuilds: { esbuild: true } —— dsh CLI 会打印确切片段。
配置
所有可调项都是 Schemastery Config 字段(可在 cordis.yml 中修改)。cordis.patch.yml 内联说明了每个键。
| 键 | 默认值 | 含义 |
|---|---|---|
record.enabled | true | 显示输入框麦克风按钮 |
record.hotkey | (无) | 可选切换快捷键,如 "alt+r" |
record.maxSeconds | 60 | 录音上限(秒,1..600) |
record.autoSubmit | false | 转写结果直接作为用户消息提交(false = 回填草稿) |
stt.engine | auto | auto / web / funasr / whisper;auto 优先已配置的本地引擎,其次 Web Speech |
stt.language | auto | BCP-47 语言或 auto |
stt.interim | true | 显示中间转写(Web Speech) |
stt.funasr.url | (无) | FunASR 推理端点;引擎为 funasr 时必填 |
stt.whisper.modelPath | (无) | whisper.cpp 模型;引擎为 whisper 时必填 |
tts.engine | auto | auto / browser / edge-tts / piper;auto 优先 piper,其次 edge-tts,最后浏览器语音 |
tts.rate | 0 | edge-tts/piper 语速偏移(百分比,-50..50) |
tts.fallbackToBrowser | true | 本地引擎失败时回退浏览器语音 |
tts.piper.modelPath | (无) | piper 语音模型;引擎为 piper 时必填 |
announce.enabled | true | 事件播报总开关 |
announce.onTurnEnd / onApproval / onError | true | 播报哪些事件 |
announce.messages.* | "Turn complete." 等 | 播报话术 |
interrupt | true | 开始说话即停止当前播放 |
maxSpeakChars | 20000 | speak 工具文本上限(1..100000) |
maxAudioCacheBytes | 8388608 | 内存合成音频缓存上限(1 MiB..64 MiB) |
工具与界面
| 界面 | 类型 | 说明 |
|---|---|---|
speak | 工具 | 朗读文本(browser/edge-tts/piper);支持单次引擎/音色覆盖;规范 JSON 结果 |
| 麦克风按钮 | conversation.input.left 槽位 | 录音 → 转写 → 回填草稿(或提交);按下即打断 |
| 设置页签 | settings.plugins.tab(id talk) | 引擎/语言/播报开关;追加式保存 |
talk:* | Typert Remote | status、audio、transcribe、applySettings、interrupt(宿主命名空间) |
权限与数据
- 权限:插件只保存内存中、字节受限的音频缓存;麦克风权限由浏览器管理。设置页签只向 profile 追加 patch 片段(带时间戳备份)——绝不重写文件。
- 数据:音频绝不进入模型上下文或会话日志。
dsh-talk/speech事件只携带朗读 id、引擎、原因、大小与脱敏文本。所有展示/日志面都会脱敏凭据、JWT、bearer 头与临时路径。 - 网络:只联系你配置的引擎(edge-tts 网络合成、FunASR 端点);浏览器语音与 Web Speech 留在本机。
安全边界
- 模型可见 ⟺ 已记录 —— 模型只看到 speak 工具的规范值;每次朗读均可自会话日志重建。
- 审批播报绝不阻塞 ——
approval/request监听器总是调用next()。 - 输出脱敏 —— 凭据与临时音频路径绝不上日志或展示面。
- 失败响亮 —— 非法引擎、越界数值、缺模型/端点的引擎配置在挂载时即报错。
已知限制
- 浏览器支持:Web Speech 与 MediaRecorder 均特性检测;不可用时麦克风按钮自动禁用,配置了宿主引擎(FunASR/whisper.cpp)仍可转写。
- 本地引擎需自行安装:
edge-tts、piper、whisper.cpp可执行文件与模型需单独安装。 - 录音格式:浏览器按其原生 MediaRecorder 编解码器录音;whisper.cpp 可能要求 WAV 录音配置或服务端转换。
- 设置重载生效:设置页签追加到 profile patch;重载 profile(或重启 Web 应用)后生效。
开发
pnpm install # node ^22.19 || >=24
pnpm run typecheck # tsc:src + tests,对照本地 harness checkout
pnpm run typecheck:ci # tsc:对照已发布的 0.1.1-rc.2 类型(无 paths)
pnpm test # vitest:45 个测试、7 个套件
pnpm run build # tsc 声明 + tsdown bundle(lib/)
pnpm run verify:self-contained # 依赖声明全部来自 registry
pnpm run verify:artifacts # 构建产物 ESM 面 + client ModuleLoader 握手
pnpm pack # 发布用 tarballTopics
dsh, dsh-plugin, deepseek-harness, deepseek, cordis, voice, speech, tts, stt, speech-to-text, text-to-speech, microphone
Contributors
- @PerryLink —— 创建者与维护者:朗读管线、语音引擎、麦克风录音、事件播报、投影单元与五语文档。
PerryLink DSH Plugin Family
本项目是由 PerryLink 维护的 29 个 DeepSeek Harness 插件之一。如果这个对你有用,其他插件很可能也会:
| Plugin | One-liner |
|---|---|
| dsh-auto-review | 审批链上的第二模型自动审查,默认失败关闭 |
| dsh-background-agents | 持久化后台子代理,带 Web UI 侧边栏、消息与打断 |
| dsh-budget | DeepSeek Harness 的成本治理:预算、碳排与延迟一屏呈现。 |
| dsh-checkpoint-rewind | Claude Code /rewind 等价物:快照、会话分叉、一次性恢复 |
| dsh-claude-move | 将 Claude Code 会话、记忆、技能与 CLAUDE.md 迁入 DSH |
| dsh-click | 跨平台原生桌面控制(DeepSeek Harness),Windows 优先。 |
| dsh-composer-history | Web 输入框的终端式输入历史:方向键、Ctrl+R 搜索 |
| dsh-defend | DeepSeek Harness 的提示注入、越狱与密钥泄露防护。 |
| dsh-doublecheck | 工程纪律门禁:需求质询、测试门禁、对抗式审查 |
| dsh-draw | DeepSeek Harness 的统一静态图像生成路由。 |
| dsh-fast | DeepSeek Harness 的只读性能诊断。 |
| dsh-github | DSH 的 GitHub PR/issue 集成,每次写入都经审批门 |
| dsh-library | DeepSeek Harness 的本地文档知识库。 |
| dsh-local-ai | DeepSeek Harness 的本地模型(Ollama)接入。 |
| dsh-lsp-actions | 经语言服务器的 LSP 诊断、格式化、补全、代码操作与重命名 |
| dsh-mask | DeepSeek Harness 的 PII 脱敏中间件——数据到模型前匿名化,展示层还原。 |
| dsh-mcp-panel | 只读 MCP 运行时面板:/mcp 命令 + 带状态、工具与错误的设置页 |
| dsh-memento | 带审批门的跨会话记忆:ctx.memory 接缝 + SQLite + memory 工具 |
| dsh-observe | DeepSeek Harness 的 OpenTelemetry 与 Langfuse 可观测导出器。 |
| dsh-output-styles | Claude Code outputStyles 等价的运行时样式切换 |
| dsh-permission-rules | Claude Code 风格声明式 allow/deny/ask 权限规则,带审计 |
| dsh-plugin-guide | 按需 agent 技能形式的插件开发知识库 |
| dsh-score | DeepSeek Harness 插件的多指标质量评分。 |
| dsh-session-pin | 在 Web 侧边栏置顶会话,顺序持久化 |
| dsh-session-sync | DeepSeek Harness 的跨设备会话同步——会话存储的专用 git 镜像。 |
| dsh-skill-pack-security | 安全审计技能包:密钥扫描、依赖与供应链审查 |
| dsh-talk | DeepSeek Harness 的语音优先会话闭环:对它说,听它答。 |
| dsh-test-drive | DeepSeek Harness 插件的隔离式安装冒烟实测。 |
| dsh-translate | DeepSeek Harness 的厂商参数翻译与确定性 JSON 修复。 |
License
[Apache License 2.0](LICENSE) © 2026 dsh-talk contributors