earshot：给 AI 编码 Agent 装上耳朵的开源音频工具库
earshot 让 AI Agent 能听声、评声、造声，覆盖音频描述、匹配检索、音画同步质检与代码合成音效，提供 CLI 与 MCP 接入。
来源摘录
Opus5.5等模型可以制作非常漂亮的视频，但是AI 听不见声音，可能选择的音效很糟糕，是Slop！于是earshot 这个开源库尝试解决这个问题！ 举个例子：假设 AI 正在制作一段 30 秒的软件发布视频： 1. AI 找到十几个鼠标点击音效 2. Earshot 选出最符合“柔和、精致点击声”的几个 3. Earshot 从长录音中截出干净片段 4. 视频完成后，它检查点击声有没有和按钮按下的画面对齐。 5. 最后检查整体音量、结尾、音乐和音效密度，并给出具体修改时间点 因此，它更像是： 音频检测仪 + 音效搜索助手 + 视频声音质检工具 https://t.co/gqNvcR0Y4q
Introducing earshot Opus 5.5 can build a whole launch video in code but still produces sloppy sfx. so we built earshot. it's ears for AI coding agents. they can now hear sounds, judge them and even make their own good sounds. every sound in this video was made with code. (sound on!!)
深度解析
是什么
earshot 是 Leon Lin 开源的 Python 库（716 stars，CPU-only），定位为「编码 Agent 的耳朵」。它把声音转成 Agent 可推理的证据：用文字描述一段音频听感、判断其与描述的匹配度、在长录音中定位最佳片段、判别真实录音还是代码合成、输出整片逐秒听写与标注图，并对照 7 部专业发布片打分。提供 CLI、Python API 和 MCP Server 三种接入，每个命令先给自然语言结论，--json 给完整数据。
核心设计
能力分三层：感知层（describe/match/find/timeline/sheet/critique）把音频量化为标签、z 分数、响度、节拍与音画同步点；创造层的 forge 用物理合成配方（模态共振、滤波噪声、房间与麦克风模拟）渲染候选，再由自身构建的 critic（描述匹配、realness、参考集接近度、1/3 倍频程平衡等无模型惩罚项）驱动进化搜索迭代；fit 通过分析-综合把录音逆向成可调参数的配方模块。0.3 版还内置 201 个按 ID 秒级渲染、无模型无网络的音效银行与整片音效组渲染。
关键洞察 README 诚实地标注了 Goodhart 边界：搜索优化的是自家模型，模型分全过不代表声音变好，须依赖无模型测量、频谱对比与人工盲测。v1 盲测 15 次中作者仅 8 次认出合成音（约等于抛硬币），说明代码造音已逼近难辨真伪。
边界与风险 CLI 每次调用需重新加载模型约 20-40 秒，多命令场景应走 MCP 或 API；参考录音因授权不随仓库分发，需自备；realness 模型易被模态加房间声骗过；盲测仅一人 15 次，非严格证明。