ローカルAIと推論に必要なメモリ

ローカルAIは、自分の端末など手元の環境でモデルの計算を実行する使い方です。実行できるかはパラメーター数だけでは決まりません。重み、計算途中の領域、文脈の記録、入力の種類を合わせて、メモリと速度を見積もります。

モデルと実行するソフトを分ける

モデルのファイルには、学習済み重みや、入力を扱うための設定などが含まれます。推論エンジンは、その構造に従って計算するソフトです。llama.cppはCPUやGPUを使う推論の公開実装の一つで、対応する構造や形式のファイルを読み込みます。ファイルの拡張子が同じだけでは、すべてのモデルがどの版でも使えるとは限りません。文章用、画像対応、音声対応など必要な部品を確認し、モデルの利用条件と実装の対応状況も確かめます。

GGUFは、推論用モデルの重みやメタデータを格納するファイル形式の一つです。量子化の単一の手法名ではなく、同じ形式でも保存精度やモデルの構造は異なります。

重みだけの容量を概算する

P個のパラメーターを一律bビットで保存すると、重みだけの理想的な容量はP×b÷8バイトです。例えば80億個なら16bitで160億バイト、4bitで40億バイトとなり、十進単位では約16GBと4GBです。実際の量子化では尺度や補助情報が必要で、一部の層を高精度のまま保持する場合もあります。さらに推論時の作業領域が加わるため、4GBのモデルファイルが4GBの空きVRAMだけで必ず動くとは言えません。GBとGiBの単位の違いにも注意します。

文脈を保持するKVキャッシュ

自己回帰型Transformerでは、既に読んだトークンの鍵と値を保存し、次の生成で再利用するKVキャッシュを用いることがあります。一般的な固定構成の密な注意では、保存する文脈が長いほど容量が増え、同時に複数の会話を処理すればその分も必要です。概算には層数、KVヘッド数、ヘッド次元、文脈長、保存精度を使います。鍵と値で二組あることも数えます。ただし窓の範囲だけを保持する方式や別構造では異なり、モデルごとの設計を確認します。

仮の構成を32層、4096トークン、KVヘッド8個、各128次元、要素2バイト、1系列とすると、鍵と値の合計は536,870,912バイト、512MiBです。特定製品の値ではなく、何を数えるかを示す計算例です。

入力の処理と一語ずつの生成

長い入力を最初に読む段階と、その後にトークンを順次生成する段階では、計算の使い方が異なります。前者が速くても後者が同じ割合で速いとは限りません。CPUとGPUへ一部ずつ処理を分けると、VRAMに入り切らないモデルを実行できる場合がありますが、転送やCPU側の計算が速度を制限します。比較するときは、同じ入力長、出力長、量子化、同時処理数で、最初の出力までの時間と継続生成の速さを分けて測ります。

学習の必要量とは同じでない

推論では主に既存の重みを使いますが、学習では勾配、最適化器の状態、逆伝播用の中間値なども必要になります。したがって、推論で動いたモデルを同じメモリで全体学習できるとは限りません。少数の追加重みだけを学ぶ方式でも、入力長やバッチ数によって必要量が変わります。また、ローカル実行という名前だけで通信がないと決めつけず、外部検索や遠隔APIを使う機能、ログの保存先を確認します。データの扱いはモデルの配置と接続先の両方で決まります。

関連項目