100% 成功率,BLEU-4 为零:评估机制的形状
一个教算法的 RAG 系统,报告了 179 道考试题 100% 成功率,平均响应 38.0 秒。同一套生成的答案,BLEU4 为零,ROUGE1 F1 是 0.0963,ROUGEL F1 是 0.0683。 一个说全对,一个说和参考答案之间没有任何连续四词序列共现。表面相似度归零,但系统报告全部命中。
一个教算法的 RAG 系统,报告了 179 道考试题 100% 成功率,平均响应 38.0 秒。同一套生成的答案,BLEU4 为零,ROUGE1 F1 是 0.0963,ROUGEL F1 是 0.0683。 一个说全对,一个说和参考答案之间没有任何连续四词序列共现。表面相似度归零,但系统报告全部命中。