NVIDIA guna dahulu stack AI berdaulat Palantir untuk rantaian bekalannya sendiri

NVIDIA dan Palantir telah memperkenalkan stack AI berdaulat untuk rantaian bekalan kompleks dan kritikal. NVIDIA menjadi pengguna pertama sistem itu dengan melaksanakannya dalam operasinya sendiri sebelum seni bina tersebut ditawarkan kepada organisasi lain. 11

Maksud “AI berdaulat” dalam konteks ini bukan sekadar menambah chatbot pada pangkalan data rantaian bekalan. Pendekatannya menyatukan data operasi, perisian pengoptimuman, model AI dan pertimbangan pakar dalam persekitaran terkawal yang kekal di bawah kawalan organisasi.

NVIDIA menjadi medan ujian pertama

Tumpuan awal NVIDIA ialah mempercepat perjalanan daripada wafer kepada token pertama — iaitu daripada peringkat pembuatan cip sehingga sistem AI digunakan dan mula menghasilkan output. Menurut pengumuman itu, sistem ini bertujuan mengkodifikasikan kecerdasan operasi dalam rantaian bekalan NVIDIA. 11

Cabaran ini dapat dilihat pada sistem Vera Rubin. Sebuah rak Vera Rubin mengandungi kira-kira 1.3 juta komponen, merangkumi pengkomputeran, memori, rangkaian, kuasa, penyejukan dan komponen mekanikal. 37

Dalam keadaan sebegini, agihan bahan bukan lagi kerja hamparan data semata-mata. Sesuatu pelan boleh dibataskan oleh kapasiti pengilangan, ketersediaan komponen, masa ketibaan bekalan, atau komitmen sedia ada kepada pelanggan. NVIDIA menggunakan Ontology dan Command Center rantaian bekalan Palantir bersama NVIDIA cuOpt untuk menilai senario serta memperuntukkan bahan terhad antara lokasi. 16

NVIDIA mengukur objektif keputusan itu menerusi metrik Time of Ownership, iaitu tempoh bahan kekal dalam kawalan NVIDIA sebelum dapat menyumbang kepada sistem yang dihantar. Dalam amalan, sistem itu direka untuk mengenal pasti kekangan yang melambatkan output dan pilihan agihan yang paling sesuai untuk menanganinya. 1

Apa yang digabungkan dalam stack ini

Setiap komponen membawa peranan tersendiri:

• Model terbuka Nemotron menyediakan lapisan penaakulan yang boleh dikhususkan untuk keputusan rantaian bekalan.
• Palantir Foundry dan Artificial Intelligence Platform (AIP) menyediakan persekitaran data serta aplikasi untuk pasukan bekerja dengan model dan aliran kerja operasi.
• Palantir Ontology memodelkan entiti dan hubungan dunia sebenar yang penting, seperti bahan, lokasi, kapasiti, agihan, komitmen dan hasil pengeluaran. 116
• NVIDIA cuOpt menyokong pengoptimuman dan analisis senario bagi keputusan seperti peruntukan bahan. 1

Gabungan ini diposisikan sebagai persekitaran operasi yang ditadbir, bukan model serba guna yang disambungkan kepada set data berasingan. NVIDIA menyatakan bahawa data rantaian bekalan proprietari, pemberat model dan inferens kekal dalam satu persekitaran terkawal. 1

Mengapa pengalaman perancang manusia digunakan untuk melatih model

NVIDIA mendapati pengoptimuman matematik sahaja tidak dapat menangkap semua konteks yang digunakan oleh perancang berpengalaman. Keputusan mungkin turut bergantung pada maklumat tidak berstruktur dan berubah pantas, termasuk e-mel, ramalan cuaca, perkembangan geopolitik, taklimat pembekal dan pengetahuan institusi. 1

Pilihan agihan oleh perancang, alasan di sebalik pilihan itu dan hasil seterusnya digunakan sebagai data latihan selepas asas bagi model khusus Nemotron 3.5 Lightning. Model ini mempunyai 30 bilion parameter keseluruhan serta reka bentuk campuran pakar (mixture-of-experts), dengan kira-kira 3 bilion parameter aktif bagi setiap laluan hadapan. 1

Pada penanda aras keputusan agihan pembangunan NVIDIA, syarikat itu melaporkan keputusan berikut:

Model	Ketepatan keputusan agihan yang dilaporkan
Nemotron 3.5 Lightning selepas latihan	86.7%
Nemotron 3 Ultra	55.5%
Nemotron 3.5 Lightning asas	17.5%

Keputusan ini ialah laporan NVIDIA berdasarkan penanda aras pembangunan miliknya sendiri, bukannya ukuran bebas bagi prestasi dalam setiap rantaian bekalan atau semua jenis pelaksanaan. 1

Manusia masih memegang peranan dalam keputusan

Kedua-dua syarikat tidak menggambarkan sistem ini sebagai pengganti autonomi kepada perancang rantaian bekalan. Keputusan agihan boleh melibatkan pertukaran yang besar kesannya, manakala maklumat baharu mungkin muncul tanpa pernah diwakili dalam data latihan terdahulu.

Oleh itu, perancang manusia kekal bertanggungjawab menyemak, mengubah suai dan menambah baik cadangan sistem. Campur tangan tersebut boleh menjadi rekod keputusan terkawal yang baharu, lalu membentuk gelung maklum balas untuk latihan selepas asas dan penambahbaikan operasi berterusan. 1

Cara ia akan ditawarkan kepada organisasi lain

NVIDIA dan Palantir berkata organisasi lain boleh menggunakan seni bina ini untuk rantaian bekalan masing-masing menerusi Palantir Sovereign AI Operating System Reference Architecture, sama ada pada infrastruktur awan atau di premis sendiri. Sasaran yang dinyatakan termasuk industri kompleks dan persekitaran kerajaan yang mahu mengekalkan kawalan terhadap data proprietari. 11

Seni bina rujukan itu dibina berasaskan NVIDIA Enterprise Reference Architectures dan direka untuk menjalankan perisian Palantir termasuk AIP, Foundry, Apollo, Rubix dan AIP Hub. 29

Dell turut menjadi sebahagian daripada ekosistem infrastruktur berkaitan. Seni bina Dell menggabungkan infrastruktur Dell AI Factory, termasuk PowerEdge, ObjectScale dan PowerFlex, dengan teknologi Palantir serta NVIDIA. 17 Laporan mengenai pengumuman September itu juga menamakan Cisco, Rackspace dan Nebius sebagai rakan pilihan perkakasan atau pelaksanaan awan. 25

Dipamerkan di AIPCon 11

Pelaksanaan rantaian bekalan ini serta aplikasi AI berdaulat yang lebih meluas dipamerkan di acara AIPCon 11 anjuran Palantir. 6

Kepentingan pengumuman ini terletak pada hakikat bahawa NVIDIA menggunakan gabungan teknologi itu terlebih dahulu pada rantaian bekalannya sendiri yang sangat terhad dan saling bergantung. Ia menjadikan pelaksanaan tersebut ujian praktikal sama ada model khusus bidang, pengoptimuman dan data operasi terkawal benar-benar boleh meningkatkan keputusan dalam salah satu persekitaran perancangan industri yang paling rumit. 111