正在打开每日关注
正在打开每日关注
开源 video-use 以转录、EDL 与按需视觉检查驱动代理剪辑,降低视频理解与渲染成本。
🚀这两天想研究一下用 Codex 剪辑视频,最近比较火🔥。 网上搜了下,挖到了 browser-use 团队刚开源的 video-use,免费开源,目前 15k star! 体验完不得不佩服这项目的底层思路,太省Token了🥳 它直接在 Codex 和 FFmpeg 之间搭了个音视频架构师,用极低的 Token 成本实现了毫秒级的无损剪辑。 工作流程如下: 音频转录 > 文本打包 > AI 大模型推理 > 生成剪辑表(EDL) > FFmpeg渲染 > 自动过检审查 它的自动化剪辑链路非常有意思,主要分为以下四点: 1. 文本化视觉 先用 ElevenLabs Scribe 把视频缩水成 12KB 的时间戳文本。Codex 剪视频不需要盯着画面看,像读修改方案一样,在文字层就能完成高精度裁剪。 2. 强迫症剪口 每个切口自动补上 30ms 的微小音频淡化。以前用 AI 剪辑经常遇到的咔哒爆音和转场突兀,直接被物理抹平。 3. 生成式特效 遇到需要加特效的段落,它会直接派发子任务去跑 Manim、Remotion 或 PIL,在后台并行生成动画并完美覆盖到原片上。 4. 闭环式质检 渲染完不直接交工。它自己会用 timeline_view 跑一遍画面和字幕的对比,如果发现瑕疵,自己打回去重新渲染,系统最多支持重试 3 次。 传统的 AI 剪辑动辄要烧掉几千万 Token 的视频流。 而这个方案用文本骨架结合按需看图的思路,精准解决了大模型不懂音视频底层、不懂渲染流程的短板。 牛逼牛逼,使用 Codex 剪辑视频必备!🚀 传送门👉🏻:https://t.co/JItW4aCB6k
是什么 video-use 是 browser-use 团队开源的 Python 项目,目标是让 Claude Code 等编码代理通过对话完成视频剪辑。仓库元数据显示其拥有 21,564 个 Stars,创建于 2026-04-12,最近提交于 2026-08-26。它不依赖预设菜单,用户把原始素材放入目录后,由代理生成最终视频。
核心设计 README 将流程拆成“转录→打包→模型推理→生成 EDL→FFmpeg 渲染→自评”。音频转录层提供词级时间戳、说话人和音频事件,并压缩为约 12KB 的文本;只有在剪点判断等必要时,才用 timeline_view 查看胶片条、波形和文字标签组成的视觉复合图。系统还包含 30ms 音频淡化、字幕烧录、并行动画子代理,以及写入 project.md 的会话记忆。
值得借鉴 把高成本的连续视觉输入替换为结构化文本,再用按需视觉检查补足歧义,是很清晰的 Agent 媒体工作流范式。策略确认、自评和最多三次重渲染,也把用户控制与自动化闭环结合起来。
坑与边界 安装说明显示它需要 FFmpeg、ElevenLabs API key,在线素材下载还可选用 yt-dlp;动画覆盖依赖 HyperFrames、Remotion、Manim 或 PIL。它的主要价值在代理编排和媒体工程效率,而不是视觉设计本身。