線形回帰と損失関数

線形回帰は、入力に重みを掛けて足し合わせ、数値を予測する方法です。簡単な式でも、何を誤差と呼ぶか、どの範囲まで予測してよいか、相関から原因まで言えるかという重要な問題が現れます。

予測を重みと切片で表す

入力をx、予測をŷとすると、一つの入力のモデルはŷ=wx+bです。wが傾き、bが切片で、観測からこの二つを決めます。説明用に、距離xに応じた作業時間をŷ=2x+1と表せば、x=3の予測は7です。これは自作の仮想例で、実際の作業時間に普遍的な関係があるという意味ではありません。入力が複数ならŷ=b+w₁x₁+w₂x₂+…と書けます。線形という言葉は重みについての形を指すため、x²を別の特徴として入れた場合も、重みに関して線形な回帰として扱えます。

残差を足すだけでは打ち消し合う

予測と実測の差が残差です。予測から実測を引く約束なら、差が2と−2の二例を足すと0になりますが、どちらも外れています。そこで差の二乗を平均するMSEや、絶対値を平均するMAEを使います。二乗は大きな外れを強く重視するため、異常な観測値の影響も大きくなります。MSEの単位は元の量の単位の二乗で、平方根を取ったRMSEは元の単位に戻ります。どの損失を小さくするかは、何を外したときに困るかという利用目的とも関わります。

小さな例で損失を計算する

入力xが0、1、2、実測yが1、3、5の三例を考えます。予測ŷ=x+1では予測値が1、2、3なので、残差は0、−1、−2、MSEは(0²+1²+2²)/3=5/3です。予測ŷ=2x+1なら三例とも一致し、MSEは0になります。ただし、わずか三例への完全な一致が、未知の範囲での正しさを保証するわけではありません。訓練集合の損失だけでなく、学習に使わなかった集合の損失と比較します。平均値だけを常に出す予測も比較対象にすると、入力を利用した効果を確かめられます。

最小二乗と正則化の役割

通常の線形回帰の二乗損失は重みについて凸であり、適切な条件で最小値を求められます。ただし同じ情報の特徴が重複すると、同じ予測を与える重みの組が複数あることがあります。データに強く似た特徴があると、わずかな観測の変化で係数が大きく変わる場合もあります。重みの二乗などに罰則を付ける正則化は、その不安定さや過学習を抑えるための方法です。罰則を強くし過ぎれば必要な関係まで表せなくなります。罰則の強さは検証用のデータで選び、テストに繰り返し合わせないようにします。

予測・外挿・因果関係を区別する

学習したxの範囲が0～2なのにx=100へ同じ直線を延ばすことを外挿と呼びます。数式上は計算できても、その範囲で直線関係が保たれる根拠は別に必要です。また、広告費と売上の係数が正でも、繁忙期に両方増えたためかもしれず、広告を増やした効果そのものとは限りません。係数の符号や大きさは、含めた特徴とその単位にも依存します。残差を入力や時間に対して図示し、曲がった傾向、ばらつきの変化、群ごとの偏りが残っていないかを見ると、単一の平均誤差だけでは分からない弱点を見つけられます。

関連項目