手指取景框：实时 AI 世界交互体验

是什么 这是一个浏览器端实时生成式视觉交互实验。用户举起双手形成四边形手指画框，画框内呈现由 Decart Lucy 2.5 实时视频到视频生成的 AI 世界。给定元数据显示，仓库使用 JavaScript，拥有 237 个 Stars，创建于 2026-08-03，最近提交于 2026-08-07。

架构与核心设计 摄像头流以 1280×720、30fps 镜像到全屏 Canvas；MediaPipe Hand Landmarker 计算手指框，并结合解剖角点排序、手势迟滞、传送拒绝、速度自适应平滑和丢失保持稳定边界。原始流经 WebRTC 送入 Lucy 2.5，返回流再按屏幕坐标绘制到四边形内。1–6 键可切换实时风格提示，无需重连，也支持自定义提示。无 Key 时则回退到本地色彩滤镜，仍可演示追踪流程。

关键洞察 它把手势识别、空间窗口与生成内容串成直觉交互闭环，价值不只在模型接入，也在动作与画面的同步感。实时性、视觉边界和降级路径都被纳入体验设计，适合借鉴为生成式交互原型方法。同一系列还对比了本地效果和离线 Gemini Omni Flash 视频重绘。

边界与风险 体验依赖摄像头权限、浏览器 WebRTC、在线服务与 Decart Key；demo 模式禁用 AI。README 中的 30fps、约实时和数十毫秒延迟属于项目声明，本次没有视觉或独立性能证据，不能据此判断生产稳定性或画面质量。