強化学習と報酬

強化学習は、行動によって変化する環境の中で、長期的な報酬を大きくする行動の選び方を学ぶ方法です。各場面の正解行動が最初からすべて与えられるとは限らず、行動の結果を観測して改善します。報酬として数えたものと、本当に達成したい目的が一致するかが重要です。

状態・観測・行動を分ける

環境の状態をs、行動をaとすると、方策はその状況でどの行動を選ぶかを定めます。実際に得られる観測は状態の一部だけの場合もあります。例えば迷路では現在位置だけでなく、鍵を持っているかによって選べる道が変わります。画面の一枚だけでは移動方向が分からないなら、過去の観測も必要です。行動の後に報酬と次の観測を受け取り、経験の列から方策を改善します。学習中に探索する動きと、学習済み方策を使う推論時の動きも区別します。

今の報酬より後の利益を選ぶ

その場で得る報酬だけを最大にすると、長期的には不利な行動を選ぶことがあります。割引率γを使う例では、現在から順に報酬へ1、γ、γ²という重みを付けて合計します。今すぐ1点を得る案と、途中は0点で二段階後に3点を得る案を、γ＝0.9で比べると後者は0.9²×3＝2.43点です。ただし成功の不確実性があれば期待値も考えます。割引の設定は、どれほど先の結果を重視するかという課題の定義に関わります。

試すことと、分かった手を使うこと

探索は、まだ十分に試していない行動を選んで情報を得ることです。活用は、現在よいと分かっている行動を選ぶことです。例えば二つの選択肢で、片方は毎回1点、もう片方は未知なら、未知の選択肢を一度も試さないとさらに高い報酬を見逃します。一方、探索を続けすぎると既知の良い行動を使う機会を失います。実環境での試行に危険や費用がある場合は、シミュレーションや保存済みデータを使う方法もあり、試行錯誤を無制限に許すわけではありません。

報酬の近道に注意する

床を掃除する機械へ「集めたごみの量」だけを報酬として与えると、本来の目的である部屋をきれいにすることとずれる可能性があります。例えば同じごみを何度も数える抜け道があれば、得点は高くても目的を達成できません。こうした問題は報酬の設計と評価の問題です。価値関数は方策のもとで将来どれほど報酬が得られるかを予測し、行動の比較に使いますが、その予測も学習データの外で正しいとは限りません。未知の状況での挙動を別に調べます。

ゲームで勝利にだけ点を与える場合、勝つまでの多数の行動のどれが役立ったかを割り当てる難しさもあります。途中の行動へ補助の報酬を置けば学びやすくなることがありますが、補助点を稼ぐだけの行動へ逸れないかを確認する必要があります。

言語モデルの好みの調整との関係

言語モデルでは、人が二つの回答のどちらを好むかを比較したデータから、応答を調整することがあります。RLHFの一つの構成は、好みを予測する報酬モデルを学び、その得点を高めるよう言語モデルを強化学習で更新します。一方、DPOのように好みの対から直接調整する方式もあり、すべてが同じ強化学習手順ではありません。好まれた回答が事実として正しいとは限らず、文章が説得的なだけで得点が上がる問題もあるため、真実性や課題の成功率を別に測ります。

関連項目