理解表示与生成
Transformer 提供生成骨架,BERT 一类编码器帮助理解稠密向量表示和语义检索。
RAG 论文学习路径
RAG(Retrieval-Augmented Generation)把模型参数里学到的知识,与可检索、可更新的外部文档结合。原论文使用 DPR 检索 Wikipedia 段落,再让生成模型基于问题和检索结果回答。它证明了检索能帮助知识密集型任务,但并没有自动解决检索错误、引用真实性、权限隔离和生产延迟。
Transformer 提供生成骨架,BERT 一类编码器帮助理解稠密向量表示和语义检索。
重点区分参数记忆与非参数记忆,并比较 RAG-Sequence 和 RAG-Token 如何选择文档。
InstructGPT 解释指令跟随,ReAct 解释推理与工具调用;现代 RAG 产品通常把这几条路线组合起来。
这条路线把检索、生成、指令对齐和工具行动拆开,避免把今天所有知识库产品能力都误算在 RAG 原论文上。
把双向预训练加任务微调变成自然语言理解的通用范式。
把参数记忆和可更新的外部检索结合起来,成为企业知识问答的基础架构。
把人类偏好反馈用于指令跟随,奠定了现代对话式 AI 的训练路径。
让模型交替进行推理与工具行动,成为今天 Agent 工作循环的直接原型。
FAQ
Patrick Lewis 等人在 2020 年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中系统提出并评估了 RAG。
不能。RAG 可以提供外部证据,但检索可能召回错误、过时或不相关的文档,生成模型也可能忽略或误读证据。
RAG 在推理时取回外部知识,内容更容易更新;微调改变模型参数,更适合调整行为、格式或特定能力。两者可以组合。