正在打开推特点赞
正在打开推特点赞
基于 Decart Lucy 2.5 的实时视频转视频应用，通过手势框选实现 30fps 低延迟 AI 世界窗口。
项目开源地址 使用了 Decart Lucy 2.5 视频模型 项目分为 实时 或使用Google Gemini Omni 模型 或 使用在线API 没有显卡的也可以通过 使用在线API 继续往下看 https://t.co/c0q1bw2ksl
是什么
这是一个将手势交互与实时 AI 视频生成结合的浏览器应用。用户用双手比划出「取景框」手势，摄像头画面中的框内区域即被替换为 AI 实时生成的视频流，达到「透过手指看到另一个世界」的沉浸效果。
核心设计
双轨并行架构：MediaPipe Hand Landmarker 在本地跟踪手势并计算四边形区域；同一摄像头流通过 WebRTC 发送至 Decart Lucy 2.5 进行实时视频转视频推理，返回的变换流再被精确裁剪到手指框内渲染。两条管线独立运行，手势跟踪不依赖 AI 推理延迟。
低延迟关键路径：Lucy 2.5 官方标称 tens of milliseconds 模型延迟，配合 WebRTC 的实时传输，整体达到 30fps 流畅体验。这与 Gemini Omni Flash「分钟级」离线处理形成鲜明对比。
状态热切换：1-6 数字键切换风格 prompt 时，新 prompt 直接注入运行中的 WebRTC 会话，无需重连，保证了交互连续性。
降级策略：无 API Key 时自动回退到本地色彩滤镜，手势跟踪仍可演示，降低了首次体验门槛。
值得借鉴的亮点
python3 -m http.server 即可运行，部署极简边界与风险