怎么测试一个 AI PDF 论文摘要工具是否准确？

1. 先定义准确，不要把“看起来完整”当作准确

一段摘要可以语法正确、结构清楚，同时把实验对象、比较基线或结论范围写错。测试单位应该是可以回到原文判断真假的单条主张，而不是对整段文字给一个印象分。

FENICE 采用的方向就是先提取原子主张，再把它们与源文档对齐。对普通使用者，不必复现整套自动指标，但可以沿用同一个原则：每个关键判断都要能指出原文证据。

2. 用一组小而难度不同的论文，不要只测一个漂亮 PDF

先选 5–10 篇你或同事已经理解、能够人工核对的论文。一个样本只能说明工具在那份文件上的表现；它不能代表不同出版社版式、学科写法或扫描质量。

至少保留四类样本：关键结论在连续正文中；最重要数字在表格中；方法依赖公式和符号定义；PDF 有双栏、页眉脚注、图片文字或 OCR 问题。还可以加入一篇故意缺少你所问证据的论文，专门测试拒答。

• 正文样本：检查核心主张和结论范围。
• 表格样本：检查数值、单位、数据集和基线。
• 公式样本：检查符号定义、条件和推导关系。
• 困难 PDF：检查阅读顺序、乱码、脚注和图中文字。
• 缺失证据样本：检查工具会说“未找到”还是编出答案。

3. 固定问题和输出格式，才能公平比较

给每个工具同一份 PDF、同一轮对话上下文和同一组问题。不要在某个工具答错后连续提示到它答对，却把另一个工具的第一次答案拿来比较。

一个最小测试可以只问四项：一句话核心主张；支持它的准确页码、章节、表格或公式；作者明确写出的最大局限；证据不存在时写“未找到”。另外记录模型版本、日期、是否联网以及是否启用 OCR，因为这些条件会改变结果。

4. 分项记分，而不是只看摘要像不像人写的

可以把每项记为 0、1、2 分：0 是错误或无证据，1 是部分正确但范围或位置不准，2 是原文支持且位置可复查。分别计算主张支持、证据定位、关键遗漏和拒答能力，不要先把它们压成一个总分。

LongDocFACTScore 和 FactPICO 都说明，长文档或专业证据摘要不能只靠传统文字重合度或单一自动事实指标代表质量。小规模购买决策中，人工抽查关键主张通常比一个漂亮的综合分更可解释。

• 主张支持：原文是否真的表达了这件事？
• 证据定位：页码、章节、表格或公式是否存在并支持主张？
• 范围控制：有没有把相关性写成因果，或把局部结果写成普遍结论？
• 关键遗漏：方法条件、基线或作者声明的局限是否被跳过？
• 拒答能力：证据缺失时是否明确说不知道？

5. 用干净文本做对照，把抽取错误和模型错误分开

如果工具把表格读乱、合并双栏段落或漏掉公式，后面的模型即使推理正常也只能基于错误输入回答。遇到错误时，把同一页的人工校正文本或表格内容直接提供给模型再问一次。

干净文本下答对、原 PDF 下答错，主要指向解析或 OCR；两种输入都答错，更可能是检索、上下文使用或推理问题。这个对照不会找出所有原因，但能避免把整个失败笼统归因于“模型不够强”。