dsh-multimodal 使用指南
给 DeepSeek Harness 加眼睛和画笔:粘贴图片自动转写后继续对话,也能根据描述生成图片,模型与后端完全由用户自行配置。
本文为派生内容(基于 wiki / faq / compatibility_json 自动组装),非 AI 即时创作。
本文由本站基于该插件已收录的字段自动派生(wiki / faq / compatibility_json / readme),非 AI 即时创作。每节末尾标源字段。
快速上手
dsh-multimodal
— 源: plugin_wiki.wiki_content
安装与验证
dsh plugin --profile web add github:MC5lan/dsh-multimodal
复制以上命令在 DSH Web Profile 内运行。安装完成后在「插件列表」启用即可。
— 源: plugins.install
关键要点
- API Key 白名单(
allowedApiKeyEnvs):只有白名单内的环境变量/凭据名可被当作 API Key 读取——恶意配置无法再用apiKeyEnv: "GITHUB_TOKEN"之类的手段窃取任意环境变量密钥 - 信任域名列表(
trustedBaseUrls):自定义视觉平台必须指向官方主机或你显式信任的域名——凭据不会被静默重定向到攻击者端点;显式列出的本地端点(如http://localhost:11434)允许 http 且无需 Key - SSRF 防护:生图结果下载与
reference_imageURL 均拒绝回环 / 内网(RFC1918)/ 链路本地地址 - 不转发 sessionId:内部会话 ID 不会发送给第三方视觉 API
- Prompt injection 标记:视觉与 OCR 输出均以显式"不可信上下文"标记包裹后再交给文本模型
— 源: plugin_wiki.readme_zh (fallback readme_raw)
常见问题
这个插件自带模型吗?
不带。插件本身只提供接入逻辑和 UI,真正的视觉模型(智谱、硅基流动、魔搭、讯飞、本地 Ollama 等)和图片生成后端(阿里百炼、OpenAI 协议、自定义适配器)都由你在设置页面或配置文件中自行声明,详见 README 的 extraProviders 与 image.backends 章节。
图片数据会上传到 DeepSeek 吗?
不会。dsh-multimodal 在请求发送给 DeepSeek 之前,会先把你配置的视觉模型把图片转写成文字,原始图片字节始终留在本地或你选的视觉服务商那里,不会进入 DeepSeek 的上下文。
视觉识别和图片生成能接本地 Ollama 吗?
可以。设置 → 多模态 → 平台接入里有"本地 Ollama"一键预设,会自动把 http://localhost:11434 加入可信域名,本地回环地址无需 API key。
怎么避免误把别的密钥当成视觉 API key 发出去?
0.2.1 之后插件维护了一份 API key 白名单(allowedApiKeyEnvs)与可信 host 列表(trustedBaseUrls),只有白名单里的环境变量名才能被读作 API key,且 base URL 必须命中已知官方 host 或可信列表,本地回环地址单独放行。
后端生成图片失败了会怎么办?
你可以在 image.failoverOrder 配置一个备选后端顺序,主后端请求失败时会按顺序回退;如果是 AUTH 类错误或用户主动中止则不触发回退,省得浪费额度。
怎么卸载/禁用这个插件?
执行 dsh plugin --profile web remove 即可卸载(如果是 GitHub 安装,对应命令为 remove github:MC5lan/dsh-multimodal);卸载不会修改你已经写好的 ~/.dsh/settings.yaml 里的 dsh-multimodal 段。
— 源: plugin_wiki.faq_json
兼容性
- DSH: 0.1.0-rc.6+
- Node: >=18(@types/node ^22.0.0,README 推荐 Node 18+)
— 源: plugin_wiki.compatibility_json
踩坑提醒
安装前请审阅上游仓库;本指南基于已收录字段自动派生,可能滞后于最新版本。如发现与官方文档冲突,请以上游为准。
— 来源:通用规则