跳到主内容

dsh-video-lens 使用指南

给纯文本 DSH 智能体增加视频理解能力:抽帧 + 可选语音转写 + 视觉模型,输出结构化证据

本文为派生内容(基于 wiki / faq / compatibility_json 自动组装),非 AI 即时创作。

本文由本站基于该插件已收录的字段自动派生(wiki / faq / compatibility_json / readme),非 AI 即时创作。每节末尾标源字段。

快速上手

dsh-video-lens

— 源: plugin_wiki.wiki_content

安装与验证

dsh plugin --profile web add dsh-video-lens

复制以上命令在 DSH Web Profile 内运行。安装完成后在「插件列表」启用即可。

— 源: plugins.install

关键要点

  • Scene changes are detected with ffmpeg's scdet filter (ffmpeg ≥ 6.0). Videos without detectable cuts fall back to uniform midpoint sampling.
  • ASR is strictly additive: if asrApiKeyEnv is unset or the provider fails, the visual analysis still completes and transcript is null.
  • All media work is delegated to ffmpeg/ffprobe on PATH — no native decoding in the agent.
  • Reads: any local file path the agent passes to its tools (via ffprobe/ffmpeg).
  • Executes: ffprobe and ffmpeg from PATH (never a shell — argv arrays only).

— 源: plugin_wiki.readme_zh (fallback readme_raw)

常见问题

需要安装 ffmpeg 吗?

是的。插件调用系统的 ffprobe / ffmpeg,需要在 PATH 中可用,推荐 ffmpeg >= 6.0(用于场景切分滤镜),否则会自动降级为均匀采样。

必须配置视觉模型和语音识别才能用吗?

必须配置视觉模型(默认 SiliconFlow 的 Qwen3-VL-8B),通过 VIDEO_LENS_API_KEY 环境变量传入。语音识别可选,未配置时 transcript 为 null,视觉分析仍然正常完成。

视频分析会发数据到哪些外部地址?

每次 video_analyze 都会把抽帧图片发到配置的 visionBaseUrl(默认 SiliconFlow);若启用 ASR,会把提取的音频再发一次到 asrBaseUrl。两者均使用 OpenAI 兼容协议,可替换为任意同类端点。

支持哪些视频格式?

实际由系统 ffmpeg 决定,常见 mp4 / mov / mkv / webm 均可识别。ffprobe 返回的容器名(format_name)会原样写入 metadata。

支持 Windows 吗?

README 明确标注 "macOS / Linux tested; Windows untested",作者未在 Windows 上验证过,代码层面无平台特定依赖但未做兼容性测试。

如何卸载?

从 profile 的 package.json 中移除 dsh-video-lens 依赖和 dsh.profile.bundles 中的条目,然后重新安装 profile 即可;插件不会写入持久数据。

— 源: plugin_wiki.faq_json

兼容性

  • DSH: 未声明
  • Node: >=20
  • Platforms: macOS, Linux

— 源: plugin_wiki.compatibility_json

踩坑提醒

安装前请审阅上游仓库;本指南基于已收录字段自动派生,可能滞后于最新版本。如发现与官方文档冲突,请以上游为准。

— 来源:通用规则