这篇 AI 论文的实验结果可信吗？

Question

1. 主张和指标是不是同一件事

作者若说模型“更可靠”“更安全”或“更会推理”，先看对应指标到底测了什么。准确率、偏好投票、BLEU、延迟、人工评分和拒答率不能互相替代。指标只覆盖了主张的一部分时，结论就要缩小。

特别要看任务定义：输入是否和真实场景相似，标签是否代表用户真正关心的结果，评分规则会不会奖励取巧答案。

主榜的关键不只是最高分，而是比较双方是否用了相同或可解释的条件：训练数据、参数量、预训练、检索资源、提示次数、计算预算、模型选择和后处理。任何优势都可能来自其中一项。

如果基线较旧、没有调参或被放在不同硬件上，论文依旧可能有价值，但不能把分数差直接解释为方法本身更好。

检查是否报告多个随机种子、误差条、置信区间、显著性检验或至少不同数据切分上的结果。尤其是小数据集、昂贵人工评测或微小提升，一次运行的最佳数值说服力有限。

也要看作者挑选模型的过程。若尝试过很多配置，却只展示最好的一次，读者无法知道这个提升有多常见。

训练集和测试集的近重复、同一文档的相邻片段、预训练数据包含测试题、通过人工提示反复针对测试集调参，都会让结果虚高。论文不一定能排除所有泄漏，但应说明数据来源、划分方式和已知风险。

对检索、代码生成和大模型工作，还要问外部工具和联网资料是否在评测时可用。不同访问条件下的数字不应被直接混在一起比较。

一套基准、一个语言、一个计算预算或一类用户，不代表所有场景。看论文是否列出了失败案例、数据分布变化、成本、安全风险和作者自己的限制。没有限制段落不是优点，往往只是信息不足。

最实用的结论通常不是“可信/不可信”二选一，而是“在这组数据、这个指标和这些资源条件下，证据支持到什么程度”。