表現と生成
Transformerは生成の骨格を、BERT系エンコーダは密なベクトル表現と意味検索を理解する土台を与えます。
RAG論文の学習ルート
RAG原論文から検索拡張生成を理解する
RAGは、モデルのパラメータに保存された知識と、検索して更新できる外部文書を組み合わせます。原論文はDPRでWikipediaを検索し、質問と取得文書から回答を生成しました。知識集約型タスクで有効性を示しましたが、誤検索、引用の正確さ、権限管理、遅延まで自動的に解決するものではありません。
基盤モデルからRAG Agentまで
RAG原論文
パラメトリック記憶と非パラメトリック記憶を分け、RAG-SequenceとRAG-Tokenの文書選択を比較します。
製品とAgent
InstructGPTは指示追従、ReActは推論とツール操作を追加します。現在のRAG製品はこれらを組み合わせることが多いです。
RAGを理解する5本の重要論文
検索、生成、アラインメント、ツール利用を分けて読むことで、後の製品機能を原論文の成果と混同せずに理解できます。
- 01
- 02
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
双方向の事前学習とタスク別微調整を、自然言語理解の標準的な方法にしました。
- 03
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
モデル内部の記憶と更新可能な外部検索を組み合わせ、知識アシスタントの基礎を作りました。
- 04
Training language models to follow instructions with human feedback
人間の指示と好みに言語モデルを合わせる実用的な学習手順を確立しました。
- 05
ReAct: Synergizing Reasoning and Acting in Language Models
推論とツール操作を交互に行わせ、現在のAIエージェントの基本ループを示しました。
FAQ
RAG論文のFAQ
RAGは誰が提案しましたか？
Patrick Lewisらが2020年のRetrieval-Augmented Generation for Knowledge-Intensive NLP Tasksで体系的に提案・評価しました。
RAGはハルシネーションをなくせますか？
なくせません。検索結果が誤り、古い、無関係な場合があり、生成モデルが証拠を無視したり誤読したりすることもあります。
RAGとファインチューニングの違いは？
RAGは推論時に外部知識を検索し、更新しやすい方法です。ファインチューニングは重みを変え、行動や形式、専門能力の調整に向きます。併用もできます。