Memilih AI Server yang Sesuai Kebutuhan: dari Unit Kecil hingga Multi-GPU

Mulai dari pekerjaannya, bukan dari nama kartu grafisnya

Memilih AI Server mirip merakit komputer, tetapi harus memperhatikan ukuran model, kecepatan transfer data, dan jumlah pekerjaan yang terjadi bersamaan. Unit yang mampu memuat model bisa jadi masih belum sanggup menjawab pengguna secepat yang dibutuhkan, dan menambah GPU tidak banyak membantu jika data tersangkut di Storage, CPU, atau jaringan. Artikel ini membagi unit menjadi kecil, menengah, dan besar menurut pola penggunaan, bukan standar ukuran dari produsen

• Tentukan pekerjaannya: menggunakan model yang sudah ada, melatih lanjutan dari model yang ada, atau melatih model baru dari awal
• Tentukan datanya: teks, gambar, video, atau beberapa jenis, termasuk panjang pertanyaan, resolusi gambar, dan jumlah file
• Tentukan waktu yang dapat diterima: harus menjawab seketika, pekerjaan boleh masuk antrean, atau diproses dalam batch pada malam hari
• Tentukan jumlah orang dan pekerjaan bersamaan: jumlah total akun tidak sama dengan jumlah permintaan yang sedang diproses oleh mesin

Apa bedanya unit kecil, menengah, dan besar

Untuk apa DGX Spark dibuat

NVIDIA DGX Spark menggunakan GB10 Grace Blackwell Superchip dengan CPU berbasis Arm dan memori bersama 128 GB untuk CPU/GPU. Keunggulannya adalah bisa mengembangkan, bereksperimen, menyetel, dan menjalankan model di meja kerja tanpa harus mulai dari merakit unit multi-kartu. Bandwidth memorinya menurut spesifikasi adalah 273 GB/s, jadi perlu memperhatikan kapasitas sekaligus kecepatannya, jangan diartikan bahwa 128 GB sama dengan kartu dengan VRAM 128 GB [1]

• Cocok untuk uji coba LLM, asisten pencarian dokumen, pekerjaan pengembangan AI, dan evaluasi model di organisasi, sebelum diperbesar ke unit yang lebih besar
• Memori bersama membuat CPU/GPU memakai ruang yang sama, tetapi sistem operasi dan program lain juga memakai ruang ini, sehingga tidak tersisa 128 GB penuh untuk model
• Harus diperiksa bahwa framework, container, library, dan komponen tambahan mendukung Arm64 dan GPU model ini. Perangkat lunak x86 yang lama tidak semuanya bisa dipindahkan untuk dipakai di sini.
• Ini bukan jawaban otomatis untuk pengguna dalam jumlah banyak atau untuk melatih model besar dari nol. Waktu respons dan volume kerja nyata harus diukur.

Lihat AI Server ukuran kecil berbasis NVIDIA DGX Spark, harga mulai sekitar 300,000 THB, yaitu anggaran awal dari penawaran Inspektion, bukan harga ritel global NVIDIA. Rincian perangkat keras, perangkat lunak, pemasangan, pajak, garansi, dan jadwal pengiriman dikonfirmasi sesuai surat penawaran harga.

PC dan Workstation: pilih GPU yang sesuai dengan pekerjaan

PC cocok bila anggaran dan persyaratannya sudah jelas. Workstation menambah pilihan dari sisi memori ECC, lane PCIe, dan dukungan perangkat keras sesuai modelnya. Perbedaan yang harus diperiksa adalah motherboard, CPU, casing, sistem daya, dan daftar perangkat yang disertifikasi oleh produsen; bukan karena ada kata Workstation lalu kartu apa pun bisa dipasang.

Contohnya, AI Server Workstation berbasis Dell Precision 7875 memakai pendekatan paket NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition dengan memori 96 GB GDDR7 ECC dan daya GPU 300 W, sesuai model yang dinyatakan didukung oleh Dell. Harga mulai sekitar 700,000 THB. CPU, RAM, SSD, PSU, dan ruang lingkup layanan harus dikonfirmasi dalam surat penawaran harga; ini bukan RTX 6000 Ada atau versi Workstation 600 W [2][3]

Mulailah memilih GPU dari memorinya, lalu lihat kecepatannya

VRAM ibarat meja kerja GPU: model, data sementara, dan pekerjaan yang sedang berjalan harus bisa diletakkan dengan cukup ruang. Sedangkan bandwidth adalah kecepatan mengambil data di atas meja itu. Kapasitas membantu agar pekerjaan bisa dimuat, tetapi bukan angka kecepatan. Membandingkan GPU harus memakai model, precision, dan perangkat lunak yang sama; jangan membandingkan nilai AI TOPS pada precision yang berbeda atau pada kondisi sparsity yang berbeda.

Berapa VRAM-nya, dan pekerjaan seperti apa yang bisa mulai dijalankan

Menghitung kebutuhan ruang model LLM secara mudah dipahami

B berarti jumlah parameter dalam satuan miliar. Bobot model saja dapat diperkirakan dari jumlah parameter × jumlah bit per parameter ÷ 8. Contoh: 8B pada BF16/FP16 menggunakan 8 × 2 = 16 GB, sedangkan pada 4-bit menggunakan sekitar 8 × 0.5 = 4 GB. Tabel ini menggunakan GB basis sepuluh, dan belum termasuk metadata dari quantization, KV cache, activation, runtime, serta ruang untuk sistem [10][11]

Jadi, model 70B dalam format 4-bit yang bobotnya dihitung sebesar 35 GB tidak berarti GPU 40 GB bisa langsung melayani banyak orang sekaligus. Harus ada ruang tersisa untuk konteks pertanyaan dan jawaban setiap pekerjaan, termasuk untuk kerja inference engine. Menurunkan jumlah bit memang membantu mengurangi kebutuhan ruang, tetapi kualitas jawaban dan kecepatannya juga harus diuji; jangan memilih hanya berdasarkan kapasitas saja

Menggunakan model, melatih tambahan, dan melatih ulang membutuhkan perangkat yang tidak sama

Untuk pekerjaan berbasis gambar, pekerjaan inspeksi komponen/klasifikasi gambar harus dipisahkan dari pekerjaan pembuatan gambar dengan diffusion dan pekerjaan pembuatan video. Menambah resolusi, batch, atau jumlah frame membuat kebutuhan ruang dan waktu pemrosesan meningkat. Karena itu, membuat gambar dengan batch kecil dan melatih model gambar menggunakan spesifikasi pada tingkat yang berbeda. Teknik pengurangan memori seperti offload, tiling, atau checkpointing mungkin membantu dengan menukarnya dengan kecepatan; perlu melihat panduan pipeline yang benar-benar digunakan [14]

Berapa banyak RAM utama yang sebaiknya dimiliki

RAM pada komputer terpisah dari VRAM pada kartu, kecuali pada platform dengan memori bersama seperti DGX Spark. Tugas RAM adalah mendukung sistem operasi, program penyiapan data, database/cache, dan data selama proses memuat model. Memiliki RAM yang banyak tidak membuat VRAM bertambah secara otomatis, dan memindahkan sebagian model ke RAM bisa terhambat oleh bandwidth antara CPU/GPU

• Buat catatan pembukuan memori: sistem dan layanan dasar + data loader/gambar yang sedang disiapkan + database/cache + fase memuat model atau offload + pekerjaan lain yang berjalan bersamaan + ruang cadangan
• Contoh hipotetis: sistem 16 GB + penyiapan data 24 GB + cache/database 16 GB + fase memuat/cadangan pekerjaan 32 GB = 88 GB, sehingga pertimbangkan kapasitas yang lebih besar dari itu, misalnya 128 GB, lalu ukur peak yang sebenarnya. Ini bukan aturan bahwa setiap komputer harus 128 GB
• Jika menjalankan banyak layanan atau memuat dataset besar secara bersamaan, mungkin perlu mempertimbangkan 256 GB atau lebih, tetapi harus dihitung dari daftar penggunaan yang nyata, jangan memakai rumus RAM = VRAM × 2 tanpa melihat jenis pekerjaannya
• Periksa versi DDR yang didukung, ECC UDIMM/RDIMM, jumlah slot memori, dan cara memasang DIMM sesuai panduan. Memasang beberapa modul RAM pada slot yang salah bisa membuat bandwidth tidak sesuai harapan

ECC adalah mekanisme untuk mendeteksi dan memperbaiki beberapa jenis kesalahan memori, bukan jaminan bahwa data tidak akan pernah rusak. UDIMM dan RDIMM adalah jenis memori yang berbeda; pemilihannya harus mengikuti platform, bukan hanya berdasarkan kapasitas dan generasi DDR yang sama.

Pipeline: data melewati apa saja

Bandwidth adalah jumlah data yang dapat dikirim per detik, sedangkan latency adalah waktu tunggu setiap pekerjaan. Keduanya penting. Meski jalannya lebar, jika ada tahapan yang harus menunggu satu per satu, responsnya bisa tetap lambat. Pada beban LLM, fase membaca prompt yang panjang dan fase menghasilkan jawaban satu token demi satu token memiliki perilaku yang berbeda, jadi sebaiknya ukur prefill dan decode secara terpisah [11]

Contoh hipotetis: jika kumpulan data yang siap digunakan berukuran 100 GB dan jalur penghubung 10 Gbps memberi batas 1.25 GB/s, maka waktu minimum secara teoretis hanya untuk transfer adalah 100 ÷ 1.25 = 80 detik. Kenyataannya lebih lambat dari ini karena overhead, banyaknya berkas kecil, CPU, dan disk. Jadi jangan membeli NIC yang lebih cepat tanpa memeriksa apakah bagian lain mampu mengimbangi.

CPU dan motherboard: lihat lane, bukan hanya slotnya

CPU membantu membaca berkas, mendekode gambar, melakukan tokenize teks, menyusun batch, dan menangani layanan lain. Jumlah core yang banyak membantu pada sebagian pekerjaan, tetapi perangkat lunaknya harus mampu memanfaatkan core tersebut. Motherboard harus memiliki slot yang benar-benar tersedia sekaligus lane PCIe yang diberikan oleh CPU/chipset, bukan sekadar melihat slot panjang ×16 lalu menganggap semua slot mendapat ×16.

• Baca block diagram: slot mana yang terhubung langsung ke CPU, slot mana yang melalui chipset, dan perangkat mana yang berbagi lane dengan M.2/NIC
• Contoh perencanaan: 4 GPU ×16 = 64 lane; 2 NVMe ×4 = 8 lane; NIC ×8 = 8 lane, total 80 lane menurut asumsi ini. Perlu memeriksa perutean lane yang sebenarnya, termasuk perangkat yang sudah terpasang pada board
• Periksa ukuran dan jarak antar kartu: kartu yang memakan 3 slot bisa menutupi slot lain, meskipun jumlah lane totalnya cukup
• PCIe bifurcation dan riser harus didukung oleh CPU, BIOS, motherboard, dan perangkatnya, bukan sekadar membeli kabel pemecah lalu semua mesin bisa menggunakannya

Tidak selalu harus ada 2 CPU untuk menggunakan 4 GPU. Sebagai contoh, Threadripper PRO pada platform WRX90 mendukung hingga 128 PCIe 5.0 lanes dan memori 8 channels dalam sistem soket tunggal, tetapi jumlah kartu yang benar-benar dapat dipasang masih bergantung pada motherboard, casing, daya, dan sertifikasi dari pabrikan [17] Dell Precision 7875 memiliki tata letak slot tersendiri, jadi jangan menyimpulkan bahwa karena CPU memiliki banyak lane maka model mesin ini akan mendukung empat GPU [22]

Apa manfaat dua CPU, dan apa itu NUMA

Mesin dua soket mungkin menambah jumlah core, kapasitas RAM, dan sumber daya I/O tergantung platformnya, tetapi bukan berarti semua bandwidth bisa dijumlahkan lalu setiap pekerjaan menjadi dua kali lebih cepat. Setiap CPU memiliki memori dan perangkat yang berada dekat dengannya. Mengakses sisi CPU yang lain harus melalui link antar soket. Konsep ini disebut NUMA [15]

Dua CPU cocok ketika beban CPU, RAM, atau I/O memang membutuhkan tambahan sumber daya, dan sistem operasi serta perangkat lunaknya mampu menjadwalkan pekerjaan dengan tepat. Jika pekerjaan sebagian besar menunggu GPU dan kartu yang digunakan tidak banyak, sistem dengan satu CPU yang memiliki cukup lane mungkin lebih mudah dikelola. Periksa topology dengan alat bawaan sistem dan lakukan benchmark sebelum memutuskan.

Bagaimana cara menggunakan beberapa GPU — menancapkannya saja tidak langsung menggabungkan VRAM

Periksa apakah kartu mendukung NVLink atau tidak, jangan berasumsi dari nama RTX atau harga. Jika menggunakan PCIe, Anda harus melihat jalur antar-GPU dan dukungan peer-to-peer dari keseluruhan sistem. Untuk konfigurasi beberapa mesin, jaringan menjadi bagian dari perhitungan: perlu memperhatikan NIC, switch, RDMA sesuai perangkat lunaknya, serta penempatan GPU/NIC. Memiliki port 100 Gbps bukan jaminan bahwa sistem akan scale dengan baik [18]

NVLink adalah jalur penghubung berkecepatan tinggi antar-GPU pada sistem yang mendukungnya, sedangkan RDMA membantu mesin yang mendukungnya mengirim dan menerima data melalui jaringan dengan mengurangi sebagian pekerjaan penyalinan oleh CPU. Keduanya memerlukan dukungan baik dari perangkat keras maupun perangkat lunak, dan bukan fitur yang dimiliki setiap GPU atau setiap port jaringan [18]

Mendukung berapa banyak pengguna — apa saja yang perlu diperhatikan

Pisahkan “orang yang memiliki akun” dari “permintaan yang sedang diproses”. Misalnya, sebuah organisasi memiliki banyak akun, tetapi orang yang bertanya secara bersamaan mungkin sedikit; atau penggunanya sedikit tetapi setiap kali mengirim dokumen panjang sehingga bisa memakai lebih banyak sumber daya. Untuk LLM, perhatikan ukuran model, precision, panjang input/output, jumlah permintaan bersamaan, KV cache, dan mekanisme batching [11]

• TTFT: waktu sejak pertanyaan dikirim sampai token pertama diterima, termasuk waktu menunggu di antrean
• Kecepatan jawaban: tokens/s per permintaan dan total waktu sampai jawaban selesai, bukan hanya melihat angka total mesin
• Throughput: total pekerjaan atau token per detik di bawah beban uji yang ditentukan
• P95 latency: nilai durasi di mana 95 dari 100 permintaan selesai tidak lebih lambat dari nilai ini, dipakai untuk melihat gejala lambat saat banyak orang mengakses bersamaan [21]
• Kesalahan dan kualitas: out-of-memory, timeout, jawaban yang tidak sesuai pertanyaan, dan pemisahan hak akses dokumen

Contoh hipotetis untuk perhitungan: jika hasil pengukuran adalah 120 output tokens/s total pada satu beban uji, dan Anda menginginkan rata-rata 20 output tokens/s per permintaan, maka pembagian 120 ÷ 20 = 6 hanya dipakai sebagai titik awal untuk menguji sekitar 6 permintaan bersamaan. Ini bukan jaminan mendukung 6 orang, karena prefill, KV cache, batching, dan panjang jawaban membuat hasilnya berubah. Anda perlu menguji concurrency pada beberapa tingkat dengan prompt nyata dan kriteria waktu tunggu yang telah disepakati

Power Supply, panas, dan ruang pemasangan

Buat perhitungan daya untuk keseluruhan sistem: GPU + CPU + RAM + SSD/NIC + motherboard dan kipas, lalu sisakan cadangan untuk perubahan beban yang tiba-tiba dan untuk persyaratan produsen. Angka TDP atau GPU power bukan nilai yang terukur di colokan listrik untuk seluruh mesin; efisiensi PSU dan beban kerja berpengaruh pada daya yang sebenarnya

Contoh hipotetis, bukan spesifikasi rakitan siap pakai maupun spesifikasi Dell 7875: 4 kartu GPU × 300 W = 1.200 W; CPU 350 W; RAM/Storage/board/kipas diasumsikan total 200 W, sehingga beban di sisi perangkat adalah 1.750 W sebelum cadangan. Anda harus memeriksa PSU, konektor, kabel daya, dan daya yang benar-benar didukung — jangan membeli PSU 1.750 W langsung berdasarkan hasil penjumlahan ini. Empat kartu 600 W saja sudah menghasilkan total 2.400 W hanya untuk GPU, sehingga itu persoalan yang berbeda dari mesin dengan satu kartu

• Periksa konektor dan kabel yang ditentukan produsen; jangan memakai kabel konverter atau pencabang tanpa sertifikasi
• PSU redundan harus diperiksa mode redundancy-nya: dua unit tidak berarti seluruh daya gabungannya dapat dipakai sambil tetap tahan terhadap kerusakan satu unit PSU
• Kartu dengan passive cooling memerlukan airflow chassis sesuai persyaratan; jangan dipasang di casing biasa lalu berharap mengandalkan kipas PSU
• Periksa colokan, sirkuit listrik, UPS (baik satuan W/VA maupun waktu cadangannya), serta panas, kebisingan, dan ruang untuk servis mesin bersama pengelola gedung

Biaya listrik dihitung dari daya rata-rata yang terukur: contoh hipotetis 1 kW × 8 jam × 30 hari = 240 kWh, lalu dikalikan tarif listrik yang sebenarnya. Angka ini belum termasuk sistem pendingin, jadi sebaiknya ukur baik kondisi idle maupun beban kerja yang rutin digunakan sebelum membandingkan biaya membeli atau menyewa

Storage menyimpan apa, dan harus secepat apa

Contoh hipotetis: dataset 500 GB + model/checkpoint 400 GB + cache 200 GB + sistem dan log 100 GB = 1,200 GB sebelum menyisakan ruang untuk pertumbuhan, sehingga Anda perlu memilih kapasitas pakai nyata yang lebih besar dari ini dan memperhitungkan backup secara terpisah. Jangan mencampuradukkan kapasitas mentah dengan usable capacity setelah RAID/format, dan jangan menilai pekerjaan berkas kecil hanya dari satu angka kecepatan sequential tertinggi

Susun spesifikasi awal, lalu uji sebelum memesan

1. 1

   Tuliskan kebutuhan dan kriteria penerimaan pekerjaan

   Sebutkan model, pekerjaan nyata, jumlah pengguna bersamaan, waktu tunggu yang dapat diterima, dan ketentuan data

2. 2

   Buat anggaran memori

   Pisahkan bobot model, cache activation, dan RAM untuk pekerjaan pendukung, lalu ukur peak dalam percobaan

3. 3

   Gambarkan jalur data

   Telusuri Storage → CPU/RAM → PCIe → GPU, termasuk jaringan dan basis data, lalu periksa titik hambatan satu per satu

4. 4

   Periksa mesin secara keseluruhan

   Baca manual CPU, mainboard, DIMM, slot, PSU, konektor, sistem aliran udara, dan daftar yang didukung produsen

5. 5

   Uji dulu, baru rampungkan penawaran harga

   Gunakan kumpulan data dan concurrency nyata, catat kualitas, waktu respons, daya, dan memori, lengkap dengan rencana perluasan serta cakupan perawatan

Jika Anda ingin melakukan penilaian bersama tim Inspektion, siapkan nama model atau jenis pekerjaan, contoh data, jumlah permintaan bersamaan, waktu tunggu yang dapat diterima, dan batasan lokasi, lalu lihat DGX Spark, Dell AI Workstation atau gambaran umum Modern Data untuk memilih titik awal yang sesuai dengan sistem Anda. Untuk pekerjaan pencarian dokumen, bacaan lanjutannya ada di Enterprise KM Chatbot