AI 闭环测试：Grok 4.5 + Codex 自动化验收方案

是什么

泊舟提出了一套完整的 AI 自动化测试验收工作流，核心思路是将「测试用例生成—执行—缺陷修复—回归验证」全流程交给 AI Agent 闭环处理，人类仅负责需求输入和最终结果确认。

核心设计

工作流分为四个环节：

1. 用例生成：由 AI 根据需求文档和现有代码生成面向测试人员的正式测试用例文档，确保覆盖度和可执行性。
2. 黑盒执行：Grok 4.5 接入 Computer Use 能力，在明确约束「不允许看代码、完全模拟测试人员视角」的前提下，按用例文档进行点击操作、功能验证。
3. 缺陷修复：Grok 生成的缺陷报告直接交给 Codex，由 Codex 基于报告定位问题并修改代码。
4. 循环验收：通过 loopx 工具将修复后的版本自动回传，Grok 再次执行验收，形成闭环直到通过或人工介入。

关键洞察

• 角色隔离是核心 trick：强制 Grok「不看代码」模拟黑盒测试，避免了 AI 因知晓实现细节而跳过边界条件，更接近真实测试人员的发现能力。
• 速度是规模化前提：Grok 4.5 能在短时间内完成 400+ 测试用例，说明该方案在吞吐量上已具备工程实用性，不再是 toy demo。
• Codex + Grok 分工明确：一个负责「发现」、一个负责「修复」，形成类似「测试-开发」的对抗协作结构，减少单模型自我验证的盲区。

边界与风险

• 幻觉与误报：Grok 可能将非缺陷判定为缺陷，或遗漏真正的逻辑错误，需人工抽检校准。
• Computer Use 的稳定性：UI 自动化本身受页面变动、加载时序、弹窗干扰等影响，复杂交互场景可能中断。
• 安全与权限：让 AI 直接操作代码和测试环境，需严格隔离生产环境，避免误操作导致数据或部署风险。
• loopx 的可靠性：循环依赖工具链的稳定性，若某轮修复引入回归问题，可能陷入无效震荡。