トークン化と温度・Top-p
言語モデルは、文章をトークンという単位へ変換して計算し、次のトークンを選びながら生成します。入力の分け方を決めるトークン化と、出力候補の選び方を決めるデコードは、別の段階です。
トークンは単語や文字と同じとは限らない
トークンはモデルが扱う語彙の要素で、文字、単語の一部、単語、記号などに対応します。サブワード方式では、よく現れるまとまりを一つにし、低頻度の語を細かい部分へ分けることで、有限の語彙でも多くの表現を扱えます。BPEはその代表的な方式の一つです。日本語の一文字が常に一トークンになるわけではなく、同じ文章でもモデルの語彙や前処理によって数が変わります。文字数から一定の倍率で厳密なトークン数を決めず、実際に使うトークナイザーで数えます。
記号や整形も入力の一部になる
空白、改行、全角と半角、特殊な記号などもトークン列に影響します。数値や長い識別子が複数のトークンに分かれることもあり、文字列全体を一つの不可分な単位として計算しているとは限りません。会話の役割や境界を表す特殊トークンも、モデルが学んだ形式と対応させる必要があります。モデルだけを交換して以前と違うトークナイザーを使うと、同じ番号が別の意味を指して正常に働かないことがあります。保存形式の互換性と、語彙・会話形式の互換性は分けて確認します。
貪欲法とサンプリングの違い
貪欲法は各段階で最も高い確率のトークンを選びます。サンプリングは分布に従って候補を選ぶので、同じ入力でも出力が変わり得ます。どちらでも、一段階ごとの選択が、文章全体で最も高い確率の系列を必ず与えるとは限りません。幅を持って候補を追う探索法もありますが、確率の高い文章ほど常に有用で正確というわけでもありません。出力の多様性が欲しい創作、形式を守りたい抽出など、課題によって選び方を考えます。偶然の違いを比較したいときは、乱数や設定の条件も記録します。
温度は候補の相対的な重みを変える
正の温度Tでロジットzをz/Tとしてsoftmaxへ渡すと、Tが小さいほど高い候補へ集中し、大きいほど分布が平らになります。仮に元の二候補の確率が0.8、0.2なら、T=0.5で比はそれぞれの二乗の比となり、正規化後は16/17と1/17です。温度は知識を書き換えるつまみではありません。低温度でも最有力の候補が誤っていれば誤答します。T=0は通常の割り算では扱えないので、実装によって貪欲法への切り替えなど別の意味にする場合があり、正の温度の式と区別します。
Top-kとTop-pで候補を絞る
Top-kは上位k個、Top-pは高い順に累積確率がp以上となる候補集合を残して再正規化する代表的な方法です。確率が0.50、0.30、0.15、0.05でp=0.75なら、上位二つで0.80となるため、その二候補を残し、確率は0.625、0.375になります。候補の数が固定されるTop-kと違い、Top-pの個数は分布の形で変わります。温度との適用順、同点、最低候補数などは実装で細部が異なります。設定を変えたら、面白さだけでなく、事実、形式、反復や途中終了も同じ課題で確認します。
確認問題
候補の確率が0.50、0.30、0.15、0.05のとき、累積確率が0.75以上になる最小の上位集合を使うTop-pでは何が残りますか。
解答と考え方を見る
上位一つでは0.50で不足し、上位二つで0.80になるので二つを残します。再正規化すると0.50/0.80=0.625と0.30/0.80=0.375です。これは説明用の定義に沿う例で、実装には最低候補数などの追加条件がある場合があります。
参考資料・次に読む資料
- Sennrichほか：Neural Machine Translation of Rare Words with Subword UnitsBPEを含むサブワード分割と、未知・低頻度語の扱いを検討した論文。
- Hugging Face：Generation strategies貪欲法、サンプリングなど、次のトークンを選ぶ方法の公式資料。
- Holtzmanほか：The Curious Case of Neural Text Degeneration生成時の反復と、累積確率を使うnucleus samplingの原論文。
資料確認日：2026-11-03。