你是否曾为剪辑视频而头疼?面对一堆原始素材,需要手动裁剪、拼接、调色、加字幕,整个过程耗时耗力,尤其对于开发者或内容创作者来说,技术门槛和重复劳动让人望而却步。传统的视频剪辑软件要么操作复杂,要么无法通过代码进行批量和智能化处理。今天,我们将深入探讨一个革命性的开源项目——browser-use/video-use,它让你能够通过与 Claude Code 这样的编码智能体“对话”来完成视频编辑。你只需将原始视频放入一个文件夹,用自然语言描述你的需求,就能自动获得剪辑好的final.mp4。本文将为你提供从零开始,涵盖环境搭建、核心原理、实战操作到排错优化的完整指南,无论你是想自动化处理教程视频、访谈内容,还是制作个人 Vlog,都能从中找到可落地的解决方案。
1. 项目背景与核心概念
1.1 什么是 browser-use/video-use?
browser-use/video-use是一个开源项目,它本质上是一个为 AI 编码智能体(如 Claude Code、Codex、Hermes 等)设计的“技能”(Skill)。这个技能赋予智能体理解和编辑视频的能力。其核心理念是“让 LLM(大语言模型)读视频,而不是看视频”。
项目通过将视频内容转化为结构化的文本数据(如逐字稿、时间戳)和按需生成的视觉摘要图,使得 LLM 能够基于这些“阅读材料”进行推理和决策,从而驱动 FFmpeg 等工具完成实际的视频编辑任务。这避免了直接向 LLM 输入海量视频帧数据(那将产生天文数字的 token 消耗),实现了高效、精准的智能剪辑。
1.2 它能解决什么问题?
- 自动化粗剪:自动删除“嗯”、“啊”等填充词、错误的开头以及镜头间的静默空隙。
- 智能调色:为每个视频片段自动应用颜色分级(如温暖的电影感、中性增强等),也支持自定义 FFmpeg 滤镜链。
- 专业音频处理:在每个剪辑点添加 30 毫秒的音频淡入淡出,消除爆音。
- 字幕生成与烧录:自动生成并内嵌字幕,默认样式为两词一组的全大写块,风格可完全自定义。
- 动画叠加:通过调用 HyperFrames、Remotion、Manim 或 PIL 等工具生成动画覆盖层,并由并行子智能体处理。
- 自我评估与迭代:在最终输出前,系统会在每个剪辑边界对渲染结果进行自我评估,检查视觉跳跃、音频爆音等问题,并在发现问题时尝试修复(最多重试3次)。
- 会话持久化:编辑状态和记忆保存在
project.md文件中,下次可以从中断处继续。
1.3 核心工作流程
项目的处理管道清晰且高效:
转录 (Transcribe) -> 打包 (Pack) -> LLM 推理 (LLM Reasons) -> 生成编辑决策列表 (EDL) -> 渲染 (Render) -> 自我评估 (Self-Eval) │ └─ 发现问题? -> 修复并重新渲染 (最多3次)- 转录:使用 ElevenLabs 的 Scribe API 对每个视频源进行语音识别,获得带精确到词级别时间戳、说话人分离和音频事件(如(笑声)、(掌声))的文本。
- 打包:将所有源的转录文本整合到一个约 12KB 的
takes_packed.md文件中,作为 LLM 的主要“阅读”视图。 - LLM 推理:LLM 分析
takes_packed.md,理解内容,并根据你的指令(如“将这些剪辑成一个发布视频”)制定剪辑策略。在需要视觉确认时(如模糊的停顿、不同条目的比较),它会按需调用timeline_view函数生成包含缩略图、波形图和文字标签的 PNG 图像。 - 生成 EDL:LLM 输出一个编辑决策列表,精确描述如何裁剪、排列和处-理每个片段。
- 渲染:系统根据 EDL,调用 FFmpeg 执行实际的视频拼接、滤镜应用、字幕烧录等操作。
- 自我评估:对渲染出的视频在每个剪切点进行检查,确保质量达标,否则进入修复循环。
2. 环境准备与安装指南
在开始使用video-use之前,你需要准备好基础环境。以下步骤以 macOS/Linux 系统为例,Windows 用户可通过 WSL 或相应包管理器(如 Chocolatey 安装 ffmpeg)进行类似操作。
2.1 前置依赖安装
2.1.1 安装 Python 和包管理工具
项目推荐使用uv作为 Python 包管理器,它比传统的 pip 更快更轻量。你也可以使用pip。
# 安装 uv (可选,但推荐) curl -LsSf https://astral.sh/uv/install.sh | sh # 安装后重启终端或运行 source ~/.bashrc (或 ~/.zshrc) # 确保已安装 Python 3.8+ python3 --version2.1.2 安装 FFmpeg
FFmpeg 是视频处理的核心工具,必须安装。
# macOS (使用 Homebrew) brew install ffmpeg # Ubuntu/Debian sudo apt update sudo apt install ffmpeg # 验证安装 ffmpeg -version2.1.3 安装 yt-dlp (可选)
如果你需要从 YouTube 等网站下载视频作为素材,可以安装yt-dlp。
brew install yt-dlp # 或 pip install yt-dlp2.1.4 准备 ElevenLabs API 密钥
video-use依赖 ElevenLabs 的 Scribe API 进行高精度语音转录。你需要一个 API 密钥。
- 访问 ElevenLabs 官网 <