为什么这两个月,QA 这个词突然又被拎出来讲。
简单说,写代码这一段变快了,验证这一段没变。整条链现在堵在后面。
Cursor 和 Claude Code 把生成压到几分钟,人肉点按钮验收还是那个速度。一个团队一天提十个 PR,能认真验完的也许三个。剩下靠运气上线。
这期收几条,都绕着这件事。
Momentic 把测试做成了进仓库的文件
这家在做的事,本质上是把验证从一个人的动作,变成一份可以进仓库的文件。
测试用 YAML 写,自然语言描述步骤和断言。文件放仓库里,跟业务代码一起 review、一起做版本管理。CLI 在本地和 CI 跑同一份,退出码当合并前的必需检查。
这条是我想讲的。不是因为它快,是它把测试重新变回了代码资产。
以前的端到端测试工具很多是录屏式的。点一遍,存下来,UI 一改全废。团队跑三个月就放弃,原因不是工具不行,是维护成本比手点还高。
YAML 进仓库这个动作看着小,其实是把“测试是谁的责任”换了位置。从 QA 一个人,变成提 PR 的那个人。
写代码的 agent 和验证代码的 agent,是同一套东西的两个会话
配套的还有 MCP。编码智能体能自己写测试,在实时会话里检查,然后把 YAML 跟代码一起存进去。
这个设计方向我觉得对。实际用起来大概率还是会有“agent 写了个自己觉得对的测试”这种自证清白的情况。
Triage:测试挂了,平台替你分个类
是应用的 bug,是测试本身不稳定,还是环境问题。归到应用 bug 的,自动在当前分支上提修复。归到其他原因的,给负责人开 PR。
这句话读起来很顺。真跑起来准不准,我没验证过,先放在这里。
分类的难点不在技术。每个团队对“什么算 bug”的定义都不一样。Momentic 的解法是让你把产品术语、业务规则、预期行为写进知识库,AI 步骤运行时去查。还有 .momentic/skills,专门放“我们家的 agent 老是在这里搞错”的那些知识点。
翻译成白话:你得先给 AI 写一份“这东西到底该怎么用”的说明书。
这活儿不轻松,但也不冤。写不出来,说明团队自己也没想清楚。
官网那个 QA Bench,我打个七折看
20 个区域,每个限时 60 分钟,让 Mo 跟 Codex、Claude Code、Devin 比找 bug。报告说基于 1396 个已标注 bug,Mo 找到 269 个带标签的,第二名 86 个。
数字很漂亮。这套评估方法我只吃透了一半,先不替它背书。自己家办的 benchmark,赢了是应该的。要验证,得等第三方拿真实项目跑一轮。
客户指标我也一样处理。发布频率提高 8 倍、每月省 40 多个工程小时、缺陷逃逸率降 89%、某客户日测试时间从 7 小时压到 30 分钟。这类数字我向来只当方向看,不当结论。它们证明的是有人在用,不是你用了也这样。
有一处细节我记住了
Runway 那边提到,一次覆盖 110 个提示的自动评估,5 秒内起来,14 分钟跑完,人工做一个多小时。
这个量级差不是效率优化。是把一件原本“做不完所以不做”的事,变成了“顺手做一下”。
真正改变行为的从来不是快 20%。是跨过某条线之后,一件事从“要不要做”变成“不用想就做了”。
留给普通人的
你现在自己捣鼓小项目,用不用 Momentic 都无所谓。那是给团队用的东西,个人开发者光配 SSO 和审计日志就没必要。
但它指的方向对你有用。测试是可以写成文件、进仓库、被 review 的。不是点一遍记下来,是写下来。
哪怕只有五条测试,用 YAML 或者别的什么格式存在项目里,也比在脑子里记着“我上次点过应该没问题”强。
还有一条更实际的。工具越强,“你能不能说清楚要什么”越值钱。知识库那个功能就是明证。写不清楚产品规则的团队,AI 帮不了你,只会更快地把你的糊涂放大。
本周就这些。上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。
下周见。
