分数从 71 掉到 18,坏的是那段解析逻辑
前几天我又在跑一个写 Bash 的 agent 评估。同一个模型、同一组任务、同一温度,就换了个接收输出的包装,分数从 71 掉到 18。同事在旁边瞅了半天,第一句是:“你是不是把 prompt 改坏了?”我没改 prompt,连输出都没改,改的是执行前那段解析逻辑。
前几天我又在跑一个写 Bash 的 agent 评估。同一个模型、同一组任务、同一温度,就换了个接收输出的包装,分数从 71 掉到 18。同事在旁边瞅了半天,第一句是:“你是不是把 prompt 改坏了?”我没改 prompt,连输出都没改,改的是执行前那段解析逻辑。