NVIDIA DSX Ubah Cara AI Factory Kelola Listrik, Token per Megawatt Naik 24%

NVIDIA DSX Ubah Cara AI Factory Kelola Listrik, Token per Megawatt Naik 24%

FINANSIALINSIGHT.COM — Pusat data AI di Santa Clara, California, berhasil menurunkan konsumsi listrik dari empat megawatt ke tiga megawatt dalam waktu kurang dari satu menit tanpa menghentikan satu pun pekerjaan inferensi berprioritas tinggi. Kemampuan ini menjadi bukti bahwa AI factory bisa berperan aktif menjaga stabilitas jaringan listrik, bukan sekadar konsumen pasif yang membebani pasokan daya. Bagi pasar seperti Indonesia, pendekatan ini menawarkan jalan keluar dari dilema keterbatasan kapasitas listrik yang kerap menghambat pembangunan infrastruktur AI skala besar.

Silicon Valley Power mengirim sinyal permintaan pengurangan beban ke sebuah AI factory pada suatu malam Agustus yang panas. Varun Sivaram, bersama sekitar empat puluh orang dari timnya di Emerald AI, engineer data center, dan perwakilan perusahaan listrik, menyaksikan proses itu lewat Zoom. Tidak ada satu pun operator yang menyentuh perangkat.

Platform Conductor milik Emerald AI, mitra NVIDIA, menerima sinyal kondisi jaringan dan langsung menyesuaikan beban komputasi yang fleksibel. Pekerjaan yang bisa ditunda diperlambat atau dijadwalkan ulang, sementara layanan berprioritas tinggi tetap berjalan. Ketika angka pengurangan muncul di layar, seluruh ruangan bersorak.

Respons Otomatis yang Sudah Teruji Lebih dari 200 Kali

Silicon Valley Power telah mengirim lebih dari 200 sinyal permintaan serupa ke AI factory tersebut. Setiap kali berhasil. Sivaram menyebut momen pertama itu sebagai pengalaman yang mendebarkan.

"Kami menyaksikannya dengan napas tertahan," kata Sivaram. "Itu pertama kalinya kami menerapkan di ribuan GPU NVIDIA."

Mansi Shah, kepala produk di Emerald AI, menyamakan momen tersebut dengan peluncuran roket SpaceX. Reaksinya menunjukkan betapa besar taruhan teknis dalam uji coba itu.

Keberhasilan di Santa Clara bukan sekadar kisah satu fasilitas. Ini membuka jalan untuk membuka pasokan listrik yang dibutuhkan AI factory di berbagai wilayah, tanpa harus menunggu satu dekade membangun saluran transmisi baru.

Lambda Buktikan Token per Megawatt Bisa Naik 24 Persen

Di AI Infra Summit, Ian Buck, wakil presiden NVIDIA untuk hyperscale dan komputasi performa tinggi, menjadikan efisiensi AI factory sebagai inti pidato infrastrukturnya. Hasil validasi pertama dari penyedia cloud Lambda dirilis pada hari yang sama.

Lambda menjalankan perangkat lunak DSX MaxLPS pada klaster lima rak berisi 19 node dengan server GPU NVIDIA HGX B200. Dengan menjalankan 19 node dalam anggaran daya yang sama dengan 16 node berdaya penuh, Lambda mencatat kenaikan throughput token seluruh klaster sebesar 24 persen, dari sekitar 4 juta token per detik menjadi 5 juta.

Performa per watt naik 23 persen. Berdasarkan proyeksi NVIDIA, DSX MaxLPS dapat memungkinkan hingga 40 persen kapasitas GPU lebih besar untuk AI factory generasi berikutnya berbasis Vera Rubin NVL72 dalam anggaran daya megawatt yang sama.

"Dengan proof of concept kami, kami yakin telah melampaui batasan anggaran daya tetap," kata Dave Ward, presiden layanan cloud di Lambda. "NVIDIA DSX MaxLPS membuka jalan untuk merebut kembali kapasitas yang terbuang dan mengubahnya menjadi penggunaan nyata, dengan kepadatan komputasi yang jauh lebih besar di jejak yang sama."

Empat Pilar DSX: dari Simulasi hingga Sinyal Jaringan

NVIDIA DSX adalah platform yang diperkenalkan di GTC Taipei pada Mei. Cakupannya meliputi jaringan, pendinginan, efisiensi air, dan desain fasilitas. Untuk manajemen daya dan partisipasi jaringan, ada beberapa komponen utama:

  • DSX MaxLPS — perangkat lunak alokasi daya dinamis yang memantau konsumsi GPU dan rak secara real time, memulihkan kapasitas terbuang untuk memaksimalkan throughput token dalam anggaran daya tetap.
  • DSX Flex — menerima sinyal jaringan seperti load-shedding, demand-response, dan peristiwa harga, lalu menyesuaikan prioritas beban kerja AI sebagai respons.
  • DSX OS — perangkat lunak open-source modular untuk manajemen siklus hidup AI factory, konsistensi runtime, otomasi kesehatan, dan ketahanan sistem.
  • DSX Sim — alat simulasi yang memungkinkan operator memodelkan dan memvalidasi desain factory sebelum deployment fisik.
  • DSX Reference Designs — arsitektur tervalidasi yang mencakup komputasi, jaringan, penyimpanan, dan fasilitas, dirancang bersama mitra ekosistem NVIDIA.

Dari Santa Clara ke Virginia: 96 Megawatt Berikutnya

Fasilitas NVIDIA Eos di Santa Clara menjalankan Conductor dari Emerald AI sebagai peserta Program Flexible Load Interconnect milik Silicon Valley Power. Ini program utilitas komersial pertama yang memperlakukan AI factory sebagai sumber daya yang bisa dikirim.

Ketika Silicon Valley Power mengirim sinyal, Conductor merespons dalam waktu kurang dari satu menit. Pola inilah yang hendak digeneralisasi DSX Flex, dengan Conductor dari Emerald AI terintegrasi ke dalamnya seiring platform matang.

Deployment komersial DSX Flex pertama akan berlokasi di Manassas, Virginia. Fasilitas itu berupa AI factory Vera Rubin berkapasitas 96 megawatt di AI Factory Research Center milik NVIDIA, melanjutkan lima demonstrasi sebelumnya di dua benua.

Arsitektur 800V DC dan Standar Infrastruktur Gigawatt

Lapisan berikutnya adalah cara daya dikirim ke rak komputasi terakselerasi yang semakin padat. Arsitektur 800 VDC NVIDIA dirancang mengurangi kompleksitas konversi, meningkatkan efisiensi pengiriman daya, dan mendukung rak yang lebih padat. DSX memasukkan 800V DC ke dalam desain referensinya.

Tidak ada satu komponen pun yang bisa mengoptimalkan AI factory sendirian. GPU yang lebih cepat tetap menunggu jaringan. Daya bisa terbuang karena provisioning yang buruk. Rak GB200 NVL72 dengan pendinginan cair langsung membawa sekitar 120 kW panas yang harus disalurkan sebelum daya mencapai komputasi.

Semua bermuara pada satu pertanyaan: berapa banyak kerja berguna yang dihasilkan factory per megawatt yang dikonsumsi? NVIDIA DSX memberi pembangun infrastruktur desain referensi, alat simulasi, perangkat lunak operasional, dan teknologi manajemen daya untuk bersaing pada metrik itu. Ketika jaringan butuh keringanan, factory memberikannya tanpa menjatuhkan satu pekerjaan pun.

Rekomendasi

Index

Berita Lainnya

Index