用途に合ったAIサーバーの選び方:小型機から複数GPU構成まで

グラフィックスカードの名前ではなく、用途から始める

AIサーバーの選定はPCの組み立てに似ていますが、モデルのサイズ、データ転送速度、同時に発生する処理の数すべてを見る必要があります。モデルを読み込めるマシンでも、利用者への応答が間に合わないことがあり、データがStorage、CPU、ネットワークで詰まっている場合はGPUを増やしてもあまり役に立ちません。この記事では小型機、中型機、大型機を使い方のパターンに沿って分けており、メーカーによるサイズの標準規格ではありません。

• 用途を定める:既存のモデルを使うのか、既存のモデルに追加学習をするのか、新しいモデルを一から学習させるのか。
• データを定める:テキスト、画像、動画、または複数種類か。質問の長さ、画像の解像度、ファイル数も含めます。
• 許容できる時間を定める:即時に応答する必要があるか、処理を待ち行列に入れられるか、夜間にバッチで処理できるか。
• 同時の人数と処理数を定める:アカウントの総数は、マシンが実際に処理しているリクエスト数と同じではありません。

小型機、中型機、大型機はどこが違うのか

DGX Sparkは何のために生まれたのか

NVIDIA DGX Sparkは GB10 Grace Blackwell Superchip を採用し、ArmベースのCPUと、CPU/GPU向けの128 GBの共有メモリを備えています。特長は、複数カード構成のマシンを組み立てることから始めずに、デスク上でモデルの開発、試験、調整、実運用への適用ができる点です。スペック上のメモリ帯域幅は273 GB/sのため、容量と速度の両方を見る必要があり、128 GBをVRAM 128 GBのカードと同じだと解釈しないでください [1]

• LLMの試験、文書検索アシスタント、AI開発業務、組織内でのモデル評価に適しており、大型機へ拡張する前の段階として使えます。
• 共有メモリによりCPU/GPUが同じ領域を使いますが、オペレーティングシステムや他のプログラムもこの領域を使うため、モデル用に128 GBがそのまま残るわけではありません。
• フレームワーク、コンテナ、ライブラリ、拡張機能がArm64とこのGPUに対応しているか確認する必要があります。従来のx86向けソフトウェアは、すべてがそのまま移行して使えるわけではありません。
• 多数のユーザーへの対応や、大規模モデルをゼロから学習させることに対する自動的な答えになるわけではありません。実際の応答時間と処理量を測定する必要があります。

NVIDIA DGX Spark上の小規模AIサーバーをご覧ください。開始価格は約300,000 THBで、これはInspektionの提案における初期予算であり、NVIDIAの世界共通の小売価格ではありません。ハードウェア、ソフトウェア、設置、税金、保証、納期の各項目は見積書に従って確定します。

PCとワークステーション：用途に合ったGPUを選ぶ

予算と要件が明確な場合はPCが適しています。ワークステーションは、モデルに応じてECCメモリ、PCIeレーン、ハードウェア対応といった選択肢が増えます。確認すべき違いはマザーボード、CPU、ケース、電源システム、そしてメーカーが認定している機器リストであり、「ワークステーション」という名前が付いているからといって、あらゆる種類のカードを搭載できるわけではありません。

例としてDell Precision 7875上のAIサーバーワークステーションは、NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition、96 GB GDDR7 ECCメモリ、GPU電力300 Wという、Dellが対応を明記しているモデルに沿った構成方針を採用しています。開始価格は約700,000 THBで、CPU、RAM、SSD、PSU、およびサービス範囲を見積書で確認する必要があります。RTX 6000 Adaや600 WのWorkstation版ではありません [2][3]

GPU選びはメモリから始め、次に速度を見る

VRAMはGPUの作業机のようなものです。モデル、一時的なデータ、そして現在処理中の作業を十分に置ける広さが必要です。一方、帯域幅は机の上のデータを取り出す速さです。容量は作業を載せるのに役立ちますが、速度を表す数値ではありません。GPUを比較する際は、同じモデル、同じprecision、同じソフトウェアを使う必要があり、precisionやsparsityの条件が異なるAI TOPSの値を比べてはいけません。

VRAMがどれくらいあれば、どのような作業を始められるか

LLM モデルの必要容量をわかりやすく計算する

B はパラメータ数が十億単位であることを意味します。モデルの重みだけなら、パラメータ数 × 一パラメータあたりのビット数 ÷ 8 で概算できます。例として 8B を BF16/FP16 で使う場合は 8 × 2 = 16 GB、4-bit の場合は約 8 × 0.5 = 4 GB です。この表は GB を十進法（十のべき乗）で用いており、quantization（量子化）の metadata、KV cache、activation、runtime、そしてシステム用の領域はまだ含んでいません [10][11]

したがって、4-bit の 70B モデルで重みが 35 GB と計算できたとしても、40 GB の GPU があれば直ちに複数人へサービス提供できるという意味ではありません。各処理の質問と回答の文脈（コンテキスト）のための領域、さらに inference engine（推論エンジン）の動作のための領域を残しておく必要があります。ビット数を下げると容量は減りますが、回答の品質と速度も検証しなければならず、容量だけで選ぶべきではありません

モデルを使う、追加で学習させる、新たに学習し直す、それぞれ必要なマシンは同じではありません

画像関連の作業では、部品の検査／画像の分類と、diffusion による画像生成、そして動画生成とを分けて考える必要があります。解像度、batch、またはフレーム数を増やすと、必要な容量と処理時間が増えます。そのため、batch が小さい画像生成と画像モデルの train（学習）では、必要なスペックの水準がまったく異なります。offload、tiling、checkpointing といったメモリ削減の手法は役立つ場合がありますが、速度との引き換えになることがあり、実際に使う pipeline のマニュアルを確認する必要があります [14]

メインの RAM はどれくらい必要か

マシンの RAM は、DGX Spark のような共有メモリ型のプラットフォームを除き、カード上の VRAM とは別のものです。RAM の役割は、オペレーティングシステム、データ前処理のプログラム、database/cache、そしてモデル読み込み中のデータを支えることです。RAM が多くても VRAM が自動的に増えるわけではなく、モデルの一部を RAM に移すと CPU/GPU 間の帯域幅（バンド幅）が制約になる場合があります

• メモリの収支を書き出す: システムと基本サービス + data loader／前処理中の画像 + database/cache + モデル読み込み時または offload の分 + 同時に実行する他の処理 + 予備の領域
• 仮の例: システム 16 GB + データ前処理 24 GB + cache/database 16 GB + 読み込み時／作業用の予備 32 GB = 88 GB となるため、これより大きい容量、たとえば 128 GB を検討し、実際の peak（ピーク）を測定します。すべてのマシンが 128 GB でなければならないという規則ではありません
• 複数のサービスを動かす場合や、大きな dataset を同時に読み込む場合は、256 GB あるいはそれ以上を検討する必要があるかもしれませんが、実際の使用項目から考えるべきで、作業内容を見ずに RAM = VRAM × 2 という式を使ってはいけません
• 対応している DDR の世代、ECC UDIMM/RDIMM、メモリチャネル数、そしてマニュアルに沿った DIMM の挿し方を確認してください。複数枚のメモリを誤ったスロットに挿すと、期待した帯域幅（バンド幅）が得られない場合があります

ECCは、ある種類のメモリエラーを検出して訂正する仕組みであり、データが決して壊れないことを保証するものではありません。UDIMMとRDIMMは別の種類のメモリなので、プラットフォームに合わせて選ぶ必要があり、容量が同じで同じDDR世代だからという理由だけで選んではいけません。

パイプライン: データはどこを通るのか

Bandwidthは一秒間に送れるデータ量のことで、latencyは各処理の待ち時間のことです。どちらも重要です。道幅が広くても、一か所ずつ待つ工程があれば応答が遅くなることがあります。LLMの処理は、長いpromptを読み込む段階と、tokenを一つずつ生成して回答を作る段階とで挙動が異なるため、prefillとdecodeを分けて測定するとよいでしょう [11]

仮の例: 使用可能な状態のデータセットが 100 GB あり、接続経路が 10 Gbps で上限 1.25 GB/s だとすると、転送だけにかかる理論上の最短時間は 100 ÷ 1.25 = 80 秒です。実際にはoverhead、細かいファイル、CPU、ディスクの影響でこれより遅くなります。そのため、他の箇所が追いついているかを確認せずに、より速いNICを買うべきではありません。

CPUとマザーボード: スロットだけでなくレーンを見る

CPUはファイルの読み込み、画像のデコード、テキストのtokenize、batchの編成、その他のサービスの管理を担います。コア数が多いと役立つ処理もありますが、ソフトウェアがそれらのコアを使えることが前提です。マザーボードには、実際に空いているスロットと、CPU/チップセットから供給されるPCIeレーンの両方が必要です。長い×16の形状の口を見ただけで、すべての口が×16で使えると数えてはいけません。

• block diagramを読む: どのスロットがCPUに直結し、どのスロットがチップセット経由で、どの機器がM.2/NICとレーンを共有しているか
• 計画の例: GPU 4枚 ×16 = 64レーン、NVMe 2台 ×4 = 8レーン、NIC ×8 = 8レーン、この仮定では合計 80レーンです。オンボード機器も含めて、実際のレーン配線を確認する必要があります
• カードの大きさと間隔を確認する: 3スロットを占めるカードは、レーンの総数が足りていても他の口をふさぐことがあります
• PCIe bifurcationとriserは、CPU、BIOS、マザーボード、機器のすべてが対応している必要があります。分岐ケーブルを買えばどの機械でも使える、というわけではありません

4基のGPUを使うために必ず2基のCPUが必要というわけではありません。例として、WRX90プラットフォーム上のThreadripper PROは、一ソケットのシステムで最大 128 PCIe 5.0 lanes とメモリ 8 channels に対応します。ただし、実際に取り付けられるカードの枚数は、マザーボード、ケース、電源、メーカーの認証にも左右されます [17] Dell Precision 7875 には独自のスロット配置があるため、CPUのレーンが多いからこの機種で四枚のGPUに対応できる、と結論づけるべきではありません [22]

二基のCPUは何に役立つのか、そしてNUMAとは何か

二ソケットの機械は、プラットフォームによってコア数、RAM容量、I/Oリソースを増やせることがあります。しかし、あらゆる帯域幅を単純に足し合わせて、どの処理も二倍速くなるというものではありません。各CPUには自分の近くにあるメモリと機器があり、もう一方のCPU側へのアクセスはソケット間リンクを経由する必要があります。この考え方をNUMAと呼びます [15]

二基のCPUが適しているのは、CPU、RAM、I/Oの負荷が実際に追加のリソースを必要としていて、OSとソフトウェアが適切に処理を割り当てられる場合です。処理が主にGPUを待っていて、使用するカードの枚数も多くないなら、十分なレーンを備えた一 CPUのシステムのほうが扱いやすいこともあります。判断する前に、システムのツールでtopologyを確認し、benchmarkを取ってください。

複数GPUはどう使うのか ― 挿すだけでVRAMがすぐ合算されるわけではありません

そのカードがNVLinkに対応しているかを確認してください。RTXという名前や価格から推測してはいけません。PCIeを使う場合は、GPU間の経路と、システム全体のpeer-to-peer対応を確認する必要があります。複数台の構成では、ネットワークが計算の一部になります。NIC、switch、ソフトウェアに応じたRDMA、そしてGPU/NICの配置を確認する必要があります。100 Gbpsのポートがあれば、うまくscaleすることが保証される、というわけではありません [18]

NVLinkは、対応するシステムにおけるGPU間の高速な接続路です。一方RDMAは、対応する機器がネットワーク経由でデータを送受信する際、CPUのコピー作業の一部を軽減するのに役立ちます。どちらもハードウェアとソフトウェアの両方で対応が必要で、すべてのGPUやすべてのネットワークポートが備えている機能ではありません [18]

何人のユーザーに対応できるのか ― 何を見ればよいのか

「アカウントを持っている人」と「いま処理中のリクエスト」を区別してください。たとえば、組織に多数のアカウントがあっても、同時に質問している人は少ないかもしれません。逆に、ユーザーは少なくても毎回長い文書を送るなら、より多くのリソースを使う可能性があります。LLMの場合は、モデルのサイズ、precision、input/outputの長さ、同時リクエスト数、KV cache、そしてbatchingの仕組みを見てください [11]

• TTFT: 質問を送ってから最初のtokenが返るまでの時間。キューでの待ち時間も含みます
• 回答の速さ: リクエストごとのtokens/sと、回答が終わるまでの合計時間。マシン全体の総量だけを見ないでください
• Throughput: 指定した試験負荷のもとでの、一秒あたりの処理件数またはtoken数の合計
• P95 latency: 100件のリクエストのうち95件がこの値より遅くならずに完了する、という時間の値。同時利用者がいるときの遅さの症状を見るのに使います [21]
• エラーと品質: out-of-memory、timeout、質問に合っていない回答、そして文書の権限分離

計算のための仮の例: ある試験負荷で合計120 output tokens/sが測定され、一リクエストあたり平均20 output tokens/sが必要な場合、120 ÷ 20 = 6 という割り算は、同時リクエストを約6件から試す出発点として使うだけのものです。6人に対応できるという保証ではありません。prefill、KV cache、batching、回答の長さによって結果は変わるためです。実際のpromptと、合意した待ち時間の基準を用いて、複数の水準のconcurrencyでテストする必要があります

Power Supply、熱、そして設置スペース

システム全体の電力を集計してください: GPU + CPU + RAM + SSD/NIC + マザーボードとファン。そのうえで、負荷の急な変動とメーカーの要件に対する余裕を見てください。TDPやGPU powerの数値は、マシン全体についてコンセントで測定される値ではありません。PSUの効率と作業負荷が、実際の電力に影響します

仮の例であり、完成した組み立て仕様やDell 7875の仕様ではありません: GPU 4枚 × 300 W = 1,200 W; CPU 350 W; RAM/Storage/ボード/ファンの合計を仮に200 Wとすると、余裕を見る前の機器側の負荷は1,750 Wになります。PSU、コネクタ、電源ケーブル、そして実際に対応できる電力を確認する必要があります。この足し算の結果からそのまま1,750 WのPSUを買うべきではありません。600 Wのカード四枚ではGPUだけで合計2,400 Wになるため、カード一枚のマシンとはまったく別の課題になります

• メーカーが指定するコネクタとケーブルを確認し、認証のない変換ケーブルや分岐ケーブルは使わないこと
• 冗長構成のPSUでは、redundancyのモードを確認する必要があります: 二台あることは、PSU 一台の故障に耐えながら合計の電力をすべて使える、という意味ではありません
• passive coolingのカードは、要件どおりのchassisのairflowが必要です。一般的なケースに入れてPSUのファンに頼ろうとしないこと
• コンセント、電気回路、UPS（W/VAの単位と予備稼働時間の両方）を確認し、さらに熱、騒音、マシンの保守スペースについて建物の管理者とも確認すること

電気代は、測定された平均電力から計算します: 仮の例として 1 kW × 8時間 × 30日 = 240 kWh、これに実際の電気料金の単価を掛けます。冷却システムはまだ含まれていません。そのため、購入と賃借の費用を比較する前に、idleの状態と日常的に使う作業負荷の両方を測定しておくべきです

Storageには何を保存し、どれだけの速さが必要なのか

仮の例: dataset 500 GB + model/checkpoint 400 GB + cache 200 GB + システムと log 100 GB = 1,200 GB。これは増加分を見込む前の数字なので、実際にはこれより大きい実効容量を選び、backup も別に考える必要があります。また、生の容量（raw capacity）と RAID/format 後の usable capacity を混同しないようにし、sequential の最高速度という一つの数値だけで小さなファイルを扱う処理を判断しないでください

まず初期スペックを組み、発注前にテストしましょう

1. 1

   課題と受け入れ基準を書き出す

   モデル、実際の業務、同時に使う利用者、許容できる待ち時間、そしてデータに関する要件を明記します

2. 2

   メモリの予算を作る

   モデルの重み、cache、activation、そして周辺の処理が使う RAM を分けて考え、実験で peak を測定します

3. 3

   データの流れを図にする

   Storage → CPU/RAM → PCIe → GPU の順にたどり、ネットワークとデータベースも含めて、ボトルネックを一箇所ずつ確認します

4. 4

   機器一式を確認する

   CPU、マザーボード、DIMM、スロット、PSU、コネクタ、エアフローのマニュアルと、メーカーが対応している製品リストを読みます

5. 5

   テストしてから見積書をまとめる

   実際のデータセットと concurrency を使い、品質、応答時間、消費電力、メモリを記録します。あわせて拡張計画と保守の範囲も用意します

Inspektion のチームと一緒に評価したい場合は、モデル名または業務の種類、データのサンプル、同時リクエスト数、許容できる待ち時間、設置場所の制約を用意してください。そのうえで DGX Spark、Dell AI Workstation、または全体像として Modern Data をご覧いただき、あなたのシステムに合った出発点をお選びください。文書検索の業務については Enterprise KM Chatbot で続きをお読みいただけます