PaperBridge 长尾问题
怎么看一篇 AI 论文的训练数据是否靠谱？
先确认数据从哪里来、采集到什么时间、如何清洗和切分，再看标注、许可、重复样本和不同群体的覆盖。数据规模只回答有多少样本，不能说明样本是否适合论文的任务，也不能排除训练集与测试集重叠。
把数据来源和时间边界写下来
记录公开数据集、网页抓取、用户数据、合成数据或人工采集各占多少。来源决定内容质量、授权条件和可能缺失的人群。
时间范围影响知识新旧和测试泄漏。模型在测试集发布后继续抓取网页时，需要检查题目、答案或讨论是否进入训练数据。
检查清洗、去重和切分发生在哪一步
文档级去重不足以处理同一内容的改写、代码镜像和视频片段。寻找近似去重方法、阈值、切分单位，以及先切分再清洗还是先清洗再切分。
同一用户、同一病人、同一长视频或同一仓库的样本落入不同切分，会让测试分数看起来更高。分组切分通常比随机逐条切分更可信。
判断数据是否覆盖论文声称的使用范围
查看语言、地区、设备、任务难度、少数类别和失败样本的比例。平均分可能由高频样本主导，而产品问题常出现在尾部。
如果数据无法公开，论文至少应说明数据表、采集规则、审核流程和可复查统计。信息不足时，应缩小对结果可迁移性的表述。
训练数据的 6 个检查点
- 数据来自哪里，采集到什么时间？
- 数据如何获得授权或许可？
- 清洗与近似去重怎么做？
- 训练、验证和测试按什么单位切分？
- 标注质量如何检查？
- 语言、人群和长尾场景覆盖如何？
原论文、研究与官方文档
以下来源用于核对事实；流程与比较建议是 PaperBridge 对研究、官方文档和工程实践的综合。