RAGと資料検索

RAGは、質問に関係する資料を検索し、その内容を生成モデルへ渡して答えを作る方法です。モデルの記憶だけに頼らず、どの資料が回答を支えるかを確認しやすくします。ただし、検索結果に正しい情報が含まれていることと、生成された答えが正しいことは別です。

検索と生成を分けて考える

基本的な流れは、資料を準備する、質問から候補を検索する、必要な抜粋を選ぶ、質問と抜粋をモデルへ渡す、答えと根拠を確認する、の順です。通常の利用時は、資料を読むたびにモデルの重みを書き換えるわけではありません。回答に使う情報を入力の文脈へ追加します。例えば製品の保証期間を尋ねる場合、製品番号と改訂日が合う説明書の条項を取り出せば、似た製品の古い条件を答える誤りを減らす手掛かりになります。

資料を分割し、出所を残す

長い文書を小さなまとまりへ分割すると検索しやすくなりますが、短すぎる断片は主語や適用条件を失います。見出しと本文、表の列名と値、注記と対象を一緒に扱う工夫が必要です。各断片に文書名、版、ページ、公開日、閲覧権限を保存すると、回答の根拠を元の箇所まで戻って確認できます。表を単なる文字列へ変換した際に列が崩れれば、検索モデルが優秀でも誤った値を渡します。検索の前に原資料の取り込み品質を確かめます。

改訂前と改訂後の文書を両方保存する場合は、検索で使う版の条件を先に決めます。同じ文章が複数の場所に重複していても、独立した複数の根拠があるとは限りません。検索結果の件数だけで信頼性を判断せず、出所と内容の関係を確かめます。

文字の一致と意味の近さを併用する

キーワード検索は製品番号や法律の条番号のような正確な一致に向きます。埋め込みを使う検索は、表現が異なる類似した質問を見つける手掛かりになります。しかし、ベクトルの距離が近いことは、内容が正しいことや最新版であることを保証しません。両者の候補を合わせ、再ランキングで質問への適合を詳しく判定する構成もあります。上位の件数を増やすほど常に良いわけではなく、無関係な資料が答えを混乱させることもあります。

引用と回答を別々に検査する

資料を見つけられなかった失敗と、見つかった資料を読み違えた失敗を分けます。評価用の質問に正解の根拠箇所を用意し、検索上位にそれが入った割合を調べます。次に、回答の個々の主張が渡した資料に支えられるかを確認します。例えば「保証は2年」と書かれた箇所の直後に「業務用は1年」とあれば、利用条件を確かめずに2年と答えるのは誤りです。引用リンクが付いているだけでは十分ではなく、資料内に答えがないときは不足を明示します。

微調整との違いと組み合わせ

微調整は重みを更新し、出力形式や課題の解き方などを学ばせる方法です。RAGは外部資料を選んで入力へ足す仕組みで、資料更新を反映しやすい利点があります。例えば社内規定の最新版を参照させる目的と、回答を決まった書式へそろえる目的は分けて設計でき、両者を併用することもあります。検索資料の文章は証拠として扱い、そこに紛れ込んだ操作指示を利用者の命令へ格上げしないことも必要です。利用者が読めない資料を検索段階で混ぜない設計が重要です。

関連項目