GPUを2枚使っても、計算時間が半分になるとは限らない。仕事をどのように分けるか、GPU間でどれだけデータを交換するかによって、増設の効果は変わる。
別々の仕事なら、分担しやすい
独立した計算を2本走らせるなら、各GPUへ一つずつ割り当てられる。この場合、一つの計算の待ち時間が短くなるというより、同じ時間で終えられる仕事の数が増える。処理能力と一件の速さを区別する必要がある。
AIの学習で別々のデータを処理させるデータ並列では、各GPUにモデルのコピーを置く。その後、計算した勾配などを交換して、同じモデルへ更新する。交換の費用が加わる。
一つのモデルを分けると、連絡が増える
一枚に収まらないモデルは、層や行列などを複数GPUへ分けられる。処理の途中結果を次のGPUへ渡す必要があり、接続の速度や待ち時間が効いてくる。VRAMの合計量が増えても、一つの巨大なVRAMと同じ振る舞いにはならない。
小さな処理を頻繁にやり取りすると、GPUが相手を待つ時間が増える。計算をまとめる、通信と計算を重ねるといった工夫が必要になる。
並列化できない部分が、上限を作る
仮に全体の80％だけを理想的に2分割でき、残り20％がそのままなら、時間は0.2＋0.8÷2＝0.6倍になる。高速化は約1.67倍である。実際には通信や準備の費用も加わる。
購入前には、使うソフトが複数GPUに対応しているかを確認する。既存の一枚で何に時間がかかっているかを測れば、二枚目よりメモリやCPU、保存装置の改善が有効な場合も判断できる。
80％という値は説明用の仮定である。実測では、同じ問題サイズと精度で比較し、初期化時間やデータ読み込みを含めるかもそろえる。
参考資料
参考資料確認日：2026年10月13日。