RAGと追加学習は何が違う？社内FAQを例に考える
資料を参照させたいのか、答え方を調整したいのかを分けて整理します。
この記事では、社内FAQの目的を整理し、RAGや追加学習を検討する前に必要な評価表を作れます。
「社内のことが分かるAIを作りたい」と聞くと、すぐに追加学習を想像するかもしれません。しかし、更新される規程を参照したい場合と、特定の形式で答えさせたい場合では、検討する方法が変わります。
資料を探して回答に使う方法
RAGは、関連する情報を検索し、生成する回答の材料に加える構成です。Google Cloudの説明では、外部の情報を参照する仕組みとして紹介されています。モデルに全部を覚えさせるというより、回答する場面で資料を渡すと考えると理解しやすくなります。
対して追加学習は、学習データを使ってモデルの振る舞いを調整する方法です。Google Cloudの追加学習の解説も参照してください。社内文書を入れれば、すべての事実を正確に記憶し、変更にも自動で追従するという意味ではありません。両者は組み合わせる場合もあります。
出張規程を例に選ぶ
「宿泊費の上限はいくらか」に答えたいなら、最新規程の該当箇所と適用条件が重要です。規程が改訂されたときに参照先を更新でき、利用者が原文を確認できる設計を先に検討します。「回答を毎回同じ項目で整理したい」なら、まず指示と出力形式を整え、それでも足りないかを測ります。
導入前に書いておくこと
- 代表的な質問を10件集め、どの資料で答えられるかを対応させます。資料が存在しない質問は別に扱います。
- 文書の責任者、更新日、閲覧可能な人を整理します。検索できることと、その人に見せてよいことを区別します。
- 正しい答え、根拠の場所、答えを保留すべき条件を用意します。同じ問題で構成を比べると、変更の効果を見やすくなります。
RAGでも、違う資料を検索したり、正しい資料から誤って解釈したりすることがあります。出典が付けば完成とは考えず、検索と回答を別々に確認しましょう。今日作るものは、社内FAQの質問・資料・権限を並べた小さな表です。
同じFAQでも、困りごとから選ぶ
| 困りごと | 最初に検討すること | 確かめる点 |
|---|---|---|
| 規程の改訂が回答に反映されない | 最新資料を回答時に参照する構成 | 検索された文書の版と適用日 |
| 回答の項目や文体がそろわない | 指示と出力形式を整え、改善するか測る | 必要項目を満たすか、内容も正しいか |
| 指示だけでは期待する形式が安定しない | 学習例と評価基準を用意し、追加学習の適否を検討 | 未使用の質問でも改善するか |
| 権限のない規程まで表示される | 検索・回答・ログのアクセス範囲を点検 | 利用者ごとに許可された情報だけを扱うか |
この表は構成を考えるための提案です。RAGは関連資料を回答の材料へ加える構成、追加学習は学習例などを使ってモデルを調整する方法です。料金や性能の比較結果を示すものではありません。
開発前に作れる、小さなFAQ評価表
架空の出張規程を題材に、次の型を埋めます。実在する社員の情報や機密の規程を、利用許可のないAIへ入力しないでください。
質問：出張時の宿泊費上限は？
参照する資料：架空の出張規程・最新版
期待する答え：規程の上限額と適用条件を示す
根拠の場所：該当する条項・表
閲覧できる人：［規程を参照してよい利用者］
保留する条件：規程が未取得、対象区分が不明、資料が矛盾
確認する結果：回答、参照資料の版、根拠、対象者への適用検索と回答をそれぞれ点検する
古い規程が検索されたなら、まず資料の管理や検索対象を見直します。最新規程が選ばれたのに上限額を誤って読んだなら、回答の作り方や評価を見直します。資料に答えがない質問で保留できるかも確認します。モデルの調整だけで解決しようとせず、どの段階で間違ったかを記録すると改善先が分かります。
今日試すこと：よくある質問を3つ選び、「期待する答え・根拠・保留する条件」を対応させてください。この作業だけでも、足りない資料や未決定のルールが見えてきます。