跳到主内容

dsh-multimodal

5Star1Fork0Issue0Watching

给 DeepSeek Harness 加眼睛和画笔:粘贴图片自动转写后继续对话,也能根据描述生成图片,模型与后端完全由用户自行配置。

机审证据5/5方法论数据来源安装命令持续维护DSH 版本风险扫描
机审证据安装命令仓库已核验dsh-plugin Topic许可证READMEAI 百科
语言
TypeScript
License
MIT
分支
main
deepseek-harnessdshdsh-plugindsh-pluginsmultimodalmultimodal-aivision

安装

命令web profile
$ dsh plugin --profile web add github:MC5lan/dsh-multimodal

在终端中运行以上命令,通过 dsh CLI 安装此插件。可在右上角切换 Profile。 第一次用 dsh?看这篇新手教程

对话式安装

帮我安装 DeepSeek Harness 插件 MC5lan/dsh-multimodal:先查看仓库 https://github.com/MC5lan/dsh-multimodal 确认安全性,然后执行安装命令并验证插件加载成功。

把这段指令粘贴给 DSH Web GUI 里的助手,由它代你完成安装与验证。

一句话定位

给 DeepSeek Harness 装上"眼睛"和"画笔":在聊天里贴图后,由你配置的视觉模型先逐字转写图片内容,再把文字交给 DeepSeek 继续解题;当对话需要出图时,可调用你配置的图片后端生成图片并直接展示在对话里。

核心能力

  • 在 deepseek-vision 这条会话线路上自动启用图片附件,粘贴/拖入截图即可被识别
  • 把图片转写成保留代码、报错、UI 文案的纯文字,再让 DeepSeek 在同一回合接着解题
  • 提供 generate_image 工具:让 DeepSeek 在需要插图时自动调用,把图片直接渲染在对话卡片中
  • 提供 extract_text 工具:把图片里的文字按 Markdown/纯文本/JSON 三种格式抽出来
  • 支持任意 OpenAI 兼容的视觉端点(智谱、阿里百炼、讯飞星辰、硅基流动、魔搭、Ollama 等)通过配置直接接入
  • 内置 0.2.1 之后的安全策略:API key 白名单、可信 host 列表、SSRF 防护、敏感字段脱敏、审计日志、LRU 缓存

技术实现

  • 语言: TypeScript(ESM)
  • 关键依赖: @deepseek-ai/cordis(插件注入)、@deepseek-ai/dsh-llm(注册 provider 和工具)、@deepseek-ai/dsh-settings(设置页面)、eventsource-parser(流式响应解析)
  • 架构模式: Cordis 插件,通过 apply(ctx, config) 在 llm 子系统注册 deepseek-vision provider 与用户声明的 extraProviders;同时在 tools 子系统注册 generate_image 和 extract_text 两个工具;在 agent pre-step 钩子中改写图像消息
  • 入口文件: src/index.ts(导出 apply),src/vision.ts(视觉转写钩子),src/image-gen.ts(图生成工具),src/ocr.ts(OCR 工具)

适用场景

经常需要把报错截图、设计稿、表格、聊天记录贴进对话框让 AI 接着改、接着修,或者在写文章/做方案时希望 AI 直接生成示意图的用户。插件默认不内置任何模型,团队已有的视觉/生图服务(公司内网 API、付费平台、本地 Ollama)都可以直接接入,避免数据外传。

前置依赖与兼容性

依赖最低版本说明
DeepSeek Harness0.1.0-rc.6同时支持 web 与 headless profile
Node.js18+@types/node ^22.0.0,README 推荐 18 以上
平台跨平台无操作系统限制
原生模块无仅依赖纯 JS 包,无 node-gyp 编译
运行时依赖cordis ^4.0.1、schemastery ^3.18.1、eventsource-parser ^3.1.1由插件 package.json 声明

安装方式

dsh plugin --profile web add github:MC5lan/dsh-multimodal

配置项

配置类型说明默认值
allowedApiKeyEnvs字符串数组允许被当作视觉 API key 读取的环境变量/凭证名["DEEPSEEK_API_KEY"]
trustedBaseUrls字符串数组除官方主机外,额外允许的视觉 API baseURL(含本地 Ollama)[]
providers.deepseek.baseURL字符串DeepSeek API 地址https://api.deepseek.com
providers.deepseek.apiKeyEnv字符串DeepSeek API key 对应的环境变量/凭证名DEEPSEEK_API_KEY
providers.deepseek.models数组在 deepseek-vision 路由下额外展示的模型列表[]
extraProviders.<key>对象任意 OpenAI 兼容视觉端点(含 displayName/baseURL/apiKeyEnv/models){}
vision.watchProvider字符串启用"眼睛"的会话线路deepseek-vision
vision.transcribeProvider字符串真正做视觉转写的 provider(留空 = 关闭转写)""
vision.transcribeModel字符串转写使用的模型 ID(留空用路由默认)""
vision.fallbackProviders字符串数组主视觉 provider 失败/限流时按顺序尝试的备选[]
vision.transcribeMode字符串转写模式:auto/structured/ocr/describe/error-fix/chart-sql/design-codeauto
vision.parallelImages布尔多张图片是否并发转写false
vision.costProvider/costModel/costMaxPixels字符串/数字小图走廉价 provider 的成本路由(≤ N 像素)""/""/1000000
vision.sceneHints布尔是否在截图转写后追加场景提示true
vision.redactSensitive布尔是否在转写结果中脱敏手机号/身份证/邮箱false
vision.auditLog布尔是否为每次转写打一行审计日志false
vision.transcribePrompt字符串发给视觉模型的转写指令内置"逐字转写"长 prompt
vision.transcribeTimeoutMs数字单次转写超时(毫秒)90000
ocr.provider/ocr.model字符串extract_text 工具使用的 provider 与模型""
image.backends.<key>对象图生成后端定义(kind/baseURL/apiKeyEnv/model/defaultSize){}
image.activeBackend字符串当前激活的图生成后端 key(留空 = 关闭出图)""
image.failoverOrder字符串数组主后端失败时按顺序回退的后端 key 列表[]
image.verifyChineseText布尔是否用视觉模型二次校验生成图片里的中文是否乱码false
image.verifyProvider/verifyModel字符串校验用的视觉 provider 与模型""
streamIdleTimeoutMs数字流式响应空闲超时(毫秒)300000

常见问题

Q: 这个插件自带模型吗?

A: 不带。插件只提供接入逻辑和 UI,真正的视觉模型(智谱、硅基流动、魔搭、讯飞星辰、本地 Ollama 等)和图生成后端(阿里百炼、OpenAI 协议、自定义适配器)都需要在设置页面或配置文件中自行声明,详见 extraProviders 与 image.backends。

Q: 图片字节会上传到 DeepSeek 吗?

A: 不会。dsh-multimodal 在请求发送给 DeepSeek 之前,先用你配置的视觉模型把图片转写成文字,原始图片字节始终留在本地或你选的视觉服务商,不会进入 DeepSeek 的上下文。

Q: 视觉识别和图生成能接本地 Ollama 吗?

A: 可以。设置 → 多模态 → 平台接入里有"本地 Ollama"一键预设,自动把 http://localhost:11434 加入可信 host 列表,本地回环地址无需 API key。

Q: 怎么避免误把别的密钥当作视觉 API key 发出去?

A: 0.2.1 起插件维护了一份 API key 白名单(allowedApiKeyEnvs)与可信 host 列表(trustedBaseUrls):只有白名单里的环境变量名才允许被读作 API key,base URL 必须命中已知官方 host 或可信列表;本地回环地址单独放行。

Q: 后端生成图片失败会怎样?

A: 你可以在 image.failoverOrder 配置备选后端顺序,主后端请求失败时会按顺序回退;AUTH 类错误或用户主动中止则不触发回退,避免浪费额度。

Q: 没有视觉 provider 时粘贴图片会怎样?

A: 会以占位符 【图片转写失败: 原因】 注入到对话,DeepSeek 会继续解题而不是卡住;如果你不希望图片出现,关掉 vision.transcribeProvider 即可。

Q: 设置里没有"多模态"入口怎么办?

A: 先确认插件已挂载(dsh --profile web --dump-config 应列出 dsh-multimodal),然后在浏览器硬刷新(Ctrl+F5)。

Q: 怎么卸载/禁用这个插件?

A: dsh plugin --profile web remove 即可卸载(GitHub 安装对应 remove github:MC5lan/dsh-multimodal),卸载不影响你已经写好的 ~/.dsh/settings.yaml 中 dsh-multimodal 段,下次再装会自动恢复。

上手难度

入门 — 配置项看似多,但 README 把"贴 key → 用"做成了一键流程,平台预设卡和 paste-key 自动识别都默认开启,没有视觉模型时也不会让对话卡死。

已知问题与限制

  • 自定义图片后端(kind: custom)通过 import() 动态加载用户提供的 .mjs 文件,该文件以宿主进程的全部权限执行,README 与源码均明确提示"只加载你信任的文件"
  • 远程 extra provider 必须使用 HTTPS 且 host 命中官方/可信名单;只有本地回环(localhost/127.0.0.1/[::1])才允许走 HTTP 且免 key
  • kind: custom 的图生成后端必须在配置里显式声明 adapterFile,否则 validateConfig 会拒绝加载
  • 用户声明的视觉 provider 默认没有 name/description/contextWindow 时,注入到模型目录会回退为 128k 上下文,但 maxTokens 没有默认值(避免被当成真实值),需要在配置里显式提供
  • 视觉转写失败时会以占位符继续对话而不会重试,因此依赖稳定视觉 provider 时建议在 fallbackProviders 配置至少一个备选

查看使用指南 →

该插件的安装步骤、关键要点、FAQ 与兼容性说明(基于已收录字段派生)。

收录徽章

Listed on deepseek-plugin.org
[![Listed on deepseek-plugin.org](https://img.shields.io/badge/listed_on-deepseek--plugin.org-007EC6)](https://deepseek-plugin.org/plugins/MC5lan/dsh-multimodal)

把这段 markdown 粘贴到你的 GitHub README,链接回本插件详情页。徽章只声明已被本站收录,不代表安全认证。

返回插件目录