正在打开每日关注
正在打开每日关注
美团开源 13.6B 视频模型,统一文生、图生与视频续写,支持分钟级 720p/30fps 生成。
AI生成视频的痛点一直很明确,要么时间长不了,要么长了就崩画质。 美团开源的LongCat-Video把这个门槛推了过去。136亿参数的基础模型,原生支持长视频生成,分钟级输出不掉色、不崩质量,720p 30fps几分钟就能出片。 它把文生视频、图生视频、视频续写统一到了一个框架里,一个模型全搞定。音频驱动的数字人方案也一起放出来了。 可以看看https://t.co/fzWzGflKxn
是什么 LongCat-Video 是美团开源的 13.6B 参数基础视频生成模型,仓库以 Python 为主,覆盖文生视频、图生视频与视频续写,并提供长视频、交互式生成和音频驱动数字人相关模型。它的定位是把多种输入与连续生成任务纳入同一框架。
核心设计 README 将视频续写作为原生预训练任务,以支持分钟级输出并减轻颜色漂移和质量衰减;推理采用时间、空间维度的粗到细策略,并用 Block Sparse Attention 改善高分辨率效率;训练引入多奖励 GRPO。Avatar 1.5 进一步使用 Whisper-large-v3、蒸馏采样与可选 INT8,分别服务于唇形同步、速度和显存占用。
关键洞察 值得借鉴的是能力分层:统一任务框架承接输入差异,时空分阶段推理承接效率问题,Avatar 分支再通过音频编码器适配数字人场景。仓库提供模型下载、单卡/多卡命令和多个 demo 入口,方便复现实验;README 声称其公开评测接近领先开源及商业方案。
边界与风险 13.6B 权重与 PyTorch/CUDA、FlashAttention 等依赖使本地部署门槛不低;给定材料未提供明确硬件、真实端到端时延或各场景稳定性数据,不能将分钟级生成理解为通用 SLA。Avatar 的 CFG、参考帧、分辨率和蒸馏参数仍需按任务调优。