GPUのメモリに収まらないAIモデルでも、一部をRAMやSSDに置き、必要な部分を順に読み込めば実行できる場合がある。容量の制約を緩める代わりに、データを運ぶ時間をどう減らすかが課題になる。
モデルの一部を、計算の外側に置く
言語モデルは複数の層を通して入力を処理する。使う層の重みをGPUへ運び、計算が終わったら次の層へ進む構成を考えられる。GPU外へ置くことをオフロードと呼ぶ。
重みだけでなく、途中の値や過去のトークンに関するキャッシュも配置の対象になる。RAM、SSD、GPUのどこに何を置くかで、収まるモデルの大きさと速度が変わる。
読む量を、どれだけ使い回せるか
一つのトークンを出すたびに大量の重みをSSDから読み直すなら、SSDの速度が厳しい制約になる。次に使うデータを先読みし、計算と転送を重ねる工夫が必要である。
複数の入力をまとめて処理すると、読み込んだ重みを多くの入力に使える。FlexGenは、こうした配置とスケジューリングにより、限られたGPUで処理件数を高める方法を研究した。対話の一件ごとの応答時間とは、評価する指標が異なる。
動くかと、快適に使えるか
大量の文書を夜間にまとめて処理する用途では、一件が遅くても総処理量が重要になる。会話では、最初の文字が出るまでの時間や生成中の速度が重要になる。同じ構成でも評価が分かれる理由である。
モデルの量子化や小型化で読み出す量を減らせる場合もある。SSDを増設する際は、容量だけでなく実際の転送量、RAMの余裕、ソフトの対応を確認する。モデルファイルが保存できることだけでは、実用的な推論ができるとは判断できない。
読み込み中心の処理と書き込み中心の処理では、SSDへの負担も異なる。推論という名前だけから、書き込み寿命への影響を一律には判断できない。
参考資料
参考資料確認日：2026年10月13日。