Project DIGITS ditenagai oleh NVIDIA GB10 Grace Blackwell Superchip, menghadirkan performa AI floating-point exascale dalam faktor bentuk yang hemat energi dan ringkas. Dengan tumpukan perangkat lunak NVIDIA AI yang sudah diinstal sebelumnya dan memori 128GB, pengembang dapat membuat prototipe, menyempurnakan, dan menalar model AI besar secara lokal dengan parameter hingga 200B dan menerapkannya dengan mulus ke pusat data atau cloud.
Situs resmi:Login hyperlink terlihat.
Pengenalan Lebih Lanjut:Login hyperlink terlihat.
Superchip GB10 menghadirkan exabyte kinerja AI yang efisien
GB10 Superchip adalah system-on-chip (SoC) berdasarkan arsitektur NVIDIA Grace Blackwell, menghadirkan kinerja AI hingga 100 triliun dengan akurasi FP4.
Didukung oleh GPU NVIDIA Blackwell, GB10 dilengkapi dengan CUDA® Cores generasi terbaru dan Tensor Cores generasi kelima, terhubung ke CPU NVIDIA Grace™ berkinerja tinggi melalui interkoneksi chip-to-chip NVLink-C2C ®, termasuk 20 inti hemat daya yang dibangun dengan arsitektur Arm. MediaTek, pemimpin pasar dalam desain SoC berbasis Arm, terlibat dalam desain GB10, berkontribusi pada efisiensi energi, kinerja, dan konektivitas terbaik di kelasnya.
Superchip GB10 memungkinkan Project DIGITS untuk menghadirkan kinerja yang kuat hanya dengan menggunakan stopkontak standar. Setiap Project DIGITS memiliki memori terpadu dan konsisten 128 GB, serta penyimpanan NVMe hingga 4 TB. Dengan superkomputer ini, pengembang dapat menjalankan model bahasa besar dengan hingga 200 miliar parameter, meningkatkan inovasi AI. Selain itu, dengan menggunakan jaringan NVIDIA ConnectX ®, dua superkomputer AI Project DIGITS dapat dihubungkan untuk menjalankan model dengan hingga 405 miliar parameter.
──────
1. Latar belakang singkat
──────
Kartu akselerator AI dari "Project Digits" mungkin memiliki spesifikasi luar biasa berikut:
• Memori video 128 GB
• Sekitar 512 GB/s bandwidth
• Sekitar 250 TFLOPS (fp16)
• Harga jual mungkin sekitar $3000
Beberapa orang membandingkannya dengan M4 Pro/Max Apple dan GPU arus utama di pasaran, dan menyebutkan slogan pemasaran yang sedikit "1 PFLOPS", tetapi daya komputasi efektif yang sebenarnya perlu ditimbang dengan cermat.
─────────
2. Parameter inti dan signifikansi
─────────
1. Daya Komputasi Floating-Point (FLOPS)
• 250 TFLOPS (fp16) terdengar menggoda, tetapi perangkat keras dan perangkat lunak bekerja sama untuk benar-benar membuat perbedaan.
• "1 PFLOPS" biasanya mengacu pada puncak teoretis dalam mode presisi yang lebih rendah, atau mungkin juga "permainan angka" yang biasa dalam periklanan.
2. Memori video/memori terpadu (128 GB)
• Untuk berbagai model AI, kapasitas memori video adalah indikator utama "dapat menyesuaikan model"; 128 GB sudah cukup untuk mendukung inferensi dan pelatihan skala menengah.
• Saat melatih model parameter 10~20B (atau lebih), gunakan presisi pencampuran atau teknik penyetelan halus dengan tepat untuk mendapatkan hasil maksimal dari memori besar ini.
3. Bandwidth memori (~512 GB/s)
• Bandwidth menentukan apakah inti komputasi dapat "memakan data".
•Meskipun tidak sebaik tingkat pusat data (1 TB/dtk~2 TB/dtk atau lebih), ini sudah merupakan tingkat tinggi untuk platform tingkat pribadi/stasiun kerja.
• Apakah daya komputasi dan bandwidth seimbang juga tergantung pada pengoptimalan cache/operator dalam arsitektur. Mungkin tidak cukup untuk melihat angka-angkanya, tetapi juga untuk melihat skor lari yang sebenarnya.
4. Harga dan ekologi
• Satu kartu sekitar $3.000 (jika benar) menarik bagi banyak pengembang atau tim kecil; Ini adalah titik persaingan potensial dengan GPU kelas atas kelas konsumen seperti RTX 4090.
• Namun, jika tumpukan perangkat lunak (driver, kompiler, kerangka kerja pembelajaran mendalam) tidak sempurna, daya komputasi yang tinggi mungkin masih "berbaring dan memakan abu".
───────────
3. Dampak pada tugas model besar
───────────
1. Penalaran model besar
• Memori video 128 GB cukup untuk mendukung miliaran hingga puluhan miliar model parameter "dimuat ke dalam memori sekaligus" dalam mode setengah presisi atau kuantifikasi, dan efisiensi inferensi kemungkinan akan cukup tinggi.
• Jika bandwidth dan cache dapat digunakan dengan baik, latensi dan throughput selama inferensi mungkin memuaskan.
2. Pelatihan skala kecil dan menengah
• Untuk model dengan ratusan juta hingga miliaran parameter, dimungkinkan untuk menjalankan seluruh pelatihan proses dengan presisi campuran pada kartu ini.
• Untuk model 30B~70B, teknik kuantisasi atau paralelisme multi-kartu biasanya diperlukan, tetapi untuk tim kecil, ini masih merupakan metode yang lebih terjangkau daripada solusi pusat data yang mahal.
3. Kemacetan bandwidth dan pemborosan daya komputasi
• 250 TFLOPS membutuhkan pasokan data yang efisien untuk dimanfaatkan sepenuhnya.
• 512 GB/s bukanlah "angka kecil", tetapi apakah itu benar-benar dapat menjalankan daya komputasi penuh tergantung pada penyetelan yang diukur dan tingkat operator.
────────────
4. Perbandingan singkat dengan opsi lain
────────────
1. Seri Apple M4
• M4 Pro/Max juga dikenal dengan bandwidth tinggi dan daya komputasi yang tinggi; Namun, dalam hal kompatibilitas kerangka kerja aktual dan pengoptimalan pembelajaran mendalam, itu belum setara dengan NVIDIA.
• Jika "Project Digits" tidak memiliki ekosistem yang matang, itu mungkin juga mengikuti jejak GPU Apple. Tidak peduli seberapa bagus perangkat kerasnya, sulit untuk menerobos jika adaptasi perangkat lunak tidak ada.
2. Kartu desktop NVIDIA (seperti RTX 4090)
• RTX 4090 memiliki daya komputasi yang kuat dan bandwidth yang cukup besar, tetapi hanya 24 GB yang akan "diregangkan" pada beberapa model besar.
• Ketika beberapa kartu diperlukan secara paralel, biaya dan konsumsi daya meningkat tajam, dan jelas lebih nyaman bagi "Project Digits" untuk menyediakan 128 GB pada satu kartu.
3. GPU Pusat Data (A100 / H100)
• GPU tingkat kakak laki-laki ini berharga puluhan ribu atau bahkan puluhan ribu dolar, dan kinerja serta ekologinya tidak perlu dipertanyakan lagi, tetapi tidak semua orang mampu membelinya.
• Jika "Project Digits" benar-benar memungkinkan tim kecil untuk memiliki memori video yang besar dan daya komputasi tinggi dengan ambang batas yang lebih rendah, mereka mungkin bisa mendapatkan sebagian dari kue.
──────────
5. Potensi tantangan dan kekhawatiran
──────────
1. Ekologi perangkat lunak dan kematangan driver
• CUDA adalah senjata rahasia NVIDIA. Tanpa ekosistem solid yang serupa, sulit bagi "Project Digits" untuk dipopulerkan dalam skala besar.
2. Tingkat kedatangan aktual daya komputasi / bandwidth
• Operator yang berjalan sebenarnya memiliki banyak mode akses memori, dan jika ada kekurangan pengoptimalan, kinerja puncak mungkin hanya tetap ada di materi promosi.
3. Konsumsi daya, pembuangan panas dan adaptasi lingkungan
• Memori video yang besar dan daya komputasi yang tinggi seringkali berarti konsumsi daya yang tinggi. Jika workstation pribadi atau kecil tidak siap untuk pembuangan panas, mereka mungkin menghadapi "kompor kecil".
4. Keaslian pasokan dan harga
• Amati apakah ada lebih banyak informasi resmi atau ulasan produk nyata di masa mendatang; Jika itu hanya produk konsep, itu mungkin juga "kegembiraan kosong".
─────
6. Ringkasan
─────
Jika "Project Digits" dapat menawarkan memori video 128 GB dan 250 TFLOPS (fp16), ditambah harga yang ramah sekitar $3.000, itu akan sangat menarik bagi pengembang yang ingin menerapkan model berukuran sedang secara lokal atau di laboratorium kecil.
Namun, parameter perangkat keras hanya satu sisi; Kunci keberhasilan atau kegagalan adalah driver, compiler, kerangka kerja pembelajaran mendalam, dan dukungan perangkat lunak lainnya.
Saat ini, proyek ini masih dalam tahap "berita terkini" dan "publisitas", dan apakah dapat mengguncang pola pasar yang ada tergantung pada proses produktisasi selanjutnya dan skor kinerja yang sebenarnya.
|
Dipaparkan pada 2025-2-13 09:43:00
|
|
|
|
Tuan tanah|
Dipaparkan pada 2025-2-21 14:16:38
|
