Percakapan tentang AI hampir selalu berhenti di lapisan yang paling terlihat: model apa yang dipakai, berapa parameternya, berapa skor benchmark-nya.

Tapi begitu sebuah perusahaan memutuskan menjalankan AI di infrastrukturnya sendiri, pertanyaan pertama yang menentukan proyek itu jalan atau mandek justru jauh lebih membosankan: bagaimana GPU yang terpasang di rak server sampai ke aplikasi yang membutuhkannya?

Jawabannya menentukan berapa banyak tim yang bisa memakai satu kartu, seberapa cepat model Anda merespons, dan berapa besar aset paling mahal di data center Anda menganggur.

Model AI, pada dasarnya, bukan program. Ia kumpulan model weights: file besar berisi angka, yang tidak melakukan apa pun sampai ada perangkat lunak yang memuatnya ke memori.

Setiap sambungan di rantai itu adalah titik keputusan arsitektur. Sambungan terakhir, antara mesin dan silikon, paling sering diabaikan sampai proyeknya terlanjur berjalan.

Satu data center-class GPU bisa bernilai setara beberapa server biasa, dan waktu tunggu pengadaannya sering diukur dalam bulan, bukan hari.

GPU yang menganggur semalaman karena dikuasai satu tim adalah pemborosan modal yang jauh lebih mahal daripada server CPU yang idle.

Passthrough melepas kartu dari host dan menyerahkannya utuh ke guest, sehingga VM berbicara langsung ke silikon. Syaratnya IOMMU aktif di BIOS dan parameter kernel.

vGPU memecah satu kartu enterprise menjadi beberapa GPU virtual. Tesla T4 16 GB, misalnya, bisa di-slice menjadi delapan vGPU berukuran 2 GB.

1. Periksa kesiapan perangkat keras: apakah IOMMU sudah aktif, dan apakah GPU Anda termasuk kelas yang mendukung pembagian vGPU.
2. Kelompokkan workload Anda, karena training dan inference menuntut perlakuan yang berbeda.
3. Tentukan pilihan: memberikan kartu utuh, atau membaginya menjadi beberapa vGPU.
4. Jalankan satu workload nyata, bukan benchmark sintetis, lalu ukur berapa persen kapasitas GPU yang benar-benar terpakai.

Angka terakhir itu biasanya yang paling membuka mata, dan hampir selalu menjadi dasar pembicaraan anggaran yang jauh lebih sehat.