- Meta dan Panmnesia mengusulkan arsitektur baru yang memandang pusat data sebagai satu komputer besar.
- Arsitektur ini memanfaatkan CXL untuk menghubungkan CPU, akselerator, dan memori, meningkatkan efisiensi kolaborasi.
- Sistem baru dapat mengurangi latensi transmisi data, meningkatkan efisiensi eksekusi beban kerja AI.
- Panmnesia telah mengimplementasikan komponen inti dalam silikon dan bersiap untuk pasokan komersial.
Desain pusat data kecerdasan buatan (AI) mungkin akan segera berubah, di mana pusat data tidak lagi hanya menjadi kumpulan mesin independen, tetapi lebih mirip dengan satu komputer super besar. Ini adalah konsep desain arsitektur baru yang diusulkan oleh perusahaan semikonduktor Panmnesia dan Meta. Desain ini memanfaatkan Compute Express Link (CXL) untuk menghubungkan unit pemrosesan pusat (CPU), akselerator AI, dan memori di antara rak sambil menjaga operasi mereka tetap sangat terkoordinasi. Seiring pertumbuhan model AI, masalah ini menjadi semakin serius. Melatih model dengan ratusan miliar parameter mungkin memerlukan ratusan atau ribuan akselerator untuk bertukar data dalam jumlah terabyte.
Meskipun sebagian besar perangkat dapat menyelesaikan tugas dengan cepat, komponen yang lebih lambat dapat menunda operasi keseluruhan, membuat prediktabilitas latensi menjadi semakin penting.
Konsep Desain Arsitektur Baru
Di dalam rak, akselerator sudah dapat berkomunikasi melalui koneksi khusus berkecepatan tinggi. Namun, antar rak, data biasanya ditransmisikan melalui perangkat jaringan dan lapisan perangkat lunak tradisional, yang memperkenalkan variasi dalam waktu yang dibutuhkan untuk setiap permintaan. Pendekatan Panmnesia dan Meta memperluas domain CXL di luar rak individu ke seluruh pusat data. Arsitektur ini bertujuan untuk membuat sumber daya di seluruh fasilitas bekerja sama, daripada memandang setiap rak sebagai pulau komputasi independen. Ada tiga komponen perangkat keras yang sangat penting dalam desain ini: sakelar CXL non-blocking berkecepatan tinggi, unit akselerasi tautan, dan pengontrol kain.
Kombinasi ketiga komponen ini bertujuan untuk mengurangi ketidakpastian latensi saat data ditransfer antar perangkat.
Pentingnya Mengurangi Latensi
Arsitektur ini juga memanfaatkan koneksi optik untuk mengatasi batasan jarak fisik sinyal listrik, sehingga CXL-over-optics dapat memperluas kain ke bagian pusat data yang lebih luas tanpa meninggalkan model CXL yang mendasarinya. Sistem yang diusulkan mengubah skala kolaborasi sumber daya komputasi. Dalam konfigurasi referensi, satu CPU terhubung ke dua akselerator. Di bawah arsitektur baru, angka ini meningkat menjadi 16, dan satu domain konsistensi dapat mencakup hingga 960 akselerator.
Latensi menjadi medan pertempuran baru. Para peneliti menyatakan bahwa akses yang biasanya harus meninggalkan rak dan melalui jaringan tradisional dapat dilakukan melalui jalur yang lebih dapat diprediksi. Latensi pulang-pergi dapat dikurangi dari rentang mikrodetik menjadi beberapa ratus nanodetik, mewakili pengurangan hingga sepuluh kali lipat. Prediktabilitas ini mungkin sama pentingnya dengan kemampuan komputasi mentah. Beban kerja AI besar biasanya merupakan operasi kolektif, yang berarti peserta paling lambat dapat menentukan kapan operasi keseluruhan dilakukan. Mengurangi latensi ini dapat memungkinkan lebih banyak akselerator untuk beroperasi sebagai satu lingkungan eksekusi. Arsitektur ini juga dapat mengurangi dampak kegagalan.
Ketika masalah muncul, sistem yang diusulkan akan mengganti perangkat individu, bukan seluruh server.
Myoungsoo Jung, CEO Panmnesia, menyatakan, "Dengan perluasan sistem AI yang berkelanjutan, kemampuan untuk menghubungkan sejumlah besar akselerator dan perangkat memori dengan cepat dan efisien menjadi sama pentingnya dengan kinerja akselerator individu. Penelitian ini menggarisbawahi arah infrastruktur AI generasi berikutnya, di mana CXL memungkinkan seluruh pusat data beroperasi sebagai satu sistem komputasi tunggal." Panmnesia menyatakan bahwa mereka telah mengimplementasikan komponen inti dalam silikon, menyelesaikan validasi, dan sedang bersiap untuk pasokan komersial.
Hasil penelitian ini telah diterbitkan dalam jurnal Nature Reviews: Electrical Engineering.
Item Spesifikasi Jumlah akselerator yang terhubung ke CPU 16 Jumlah akselerator yang dapat dicakup 960
Dampak Arsitektur Baru terhadap Infrastruktur AI
Dengan perkembangan pesat teknologi AI, kebutuhan desain pusat data juga terus berubah. Arsitektur baru dari Meta dan Panmnesia tidak hanya meningkatkan efisiensi transmisi data, tetapi juga mengoptimalkan kinerja keseluruhan dengan mengurangi latensi, memungkinkan beberapa akselerator bekerja sama lebih efektif. Perubahan ini sangat penting untuk menangani beban kerja AI besar, karena beban kerja ini biasanya bergantung pada kolaborasi beberapa unit komputasi. Implementasi arsitektur baru ini kemungkinan akan mengubah cara kerja pusat data di masa depan dan menyediakan solusi yang lebih efisien untuk aplikasi komersial.