- NVIDIA meluncurkan tiga model AI terbuka, dengan inti Nemotron 3.5 Super VL.
- Super VL dapat menginterpretasikan informasi visual, dengan kecepatan lima kali lipat dibandingkan pesaing.
- Pengembang dapat melatih model pada informasi khusus untuk meningkatkan kinerja tugas tertentu.
- Beberapa organisasi telah mulai menyesuaikan Super VL untuk diterapkan di berbagai bidang.
NVIDIA mengumumkan peluncuran tiga model kecerdasan buatan terbuka yang bertujuan untuk membawa agen otonom ke lebih banyak lingkungan komputasi. Inti dari seri ini adalah Nemotron 3.5 Super VL, sebuah model dengan 120 miliar parameter yang dirancang untuk tugas-tugas kompleks. Dua varian lebih kecil ditujukan bagi pengguna yang ingin menjalankan agen AI di perangkat keras lokal. Peluncuran ini memperluas promosi NVIDIA terhadap kecerdasan buatan yang dapat disesuaikan, memungkinkan organisasi untuk menjalankan AI di infrastruktur mereka sendiri, serta mengatasi tantangan praktis bagi pengembang: menjalankan agen yang mampu tanpa harus mengirim setiap permintaan ke layanan cloud.
Kemampuan Hebat Super VL
Super VL dirancang untuk alur kerja yang kompleks, Nemotron 3.5 Super VL mampu menangani tugas yang melampaui sekadar menghasilkan teks. Model ini dapat menginterpretasikan informasi visual dan mengikuti instruksi, sambil menggunakan alat eksternal untuk menyelesaikan alur kerja multi-langkah. NVIDIA mengklaim bahwa model ini menyelesaikan tugas dengan kecepatan lima kali lipat dibandingkan pesaing sejenis. Perusahaan juga menyatakan bahwa meskipun jumlah parameternya sekitar sepertiga dari model inferensi terbesar, akurasinya mendekati model inferensi terbesar NVIDIA. Kemampuan ini dapat membantu perusahaan mengotomatiskan pekerjaan yang melibatkan penelitian jangka panjang atau analisis dokumen yang mendetail.
Pengembang juga dapat melatih model lebih lanjut pada informasi khusus untuk meningkatkan kinerjanya dalam tugas tertentu.
NVIDIA Nemotron 3.5 Super VL adalah model terbuka yang menggabungkan inferensi dan penggunaan alat, dengan kemampuan memahami teks, gambar, dokumen, dan video, cocok untuk agen AI yang beroperasi dalam jangka waktu lama. Model ini memiliki total 120 miliar parameter, di mana 12 miliar adalah parameter aktif. Untuk informasi lebih lanjut, dapat merujuk ke Twitter NVIDIA.
Contoh Aplikasi Kustom
Beberapa organisasi telah mulai menyesuaikan Super VL. Scale AI telah mengadaptasinya untuk menjadi agen pembiayaan kredit pemasok Skydance, dan mengembangkan versi lain untuk agen due diligence akuisisi di Ernst & Young. AfterQuery telah menyesuaikan model ini untuk analisis perjanjian kredit Hebbia. Proyek lainnya berfokus pada bidang keamanan siber, di mana AI21 dan Alice bekerja sama dalam ketahanan terhadap serangan. Mercor juga melakukan pelatihan lanjutan untuk tugas pengkodean yang melibatkan pengujian benchmark APEX-SWE.
Nemotron 3.5 Bolt ditujukan untuk perangkat keras dengan memori lebih sedikit, dengan dua varian yang menawarkan cara berbeda untuk menjalankan agen AI tanpa bergantung pada infrastruktur jarak jauh. Bolt 74B-A9B yang lebih besar menggunakan kuantisasi 2-bit asli, mampu beroperasi dalam rentang memori 24GB. Penggunaan memori seperti ini memungkinkan sistem yang kompatibel untuk menjalankan aplikasi lain sambil menjalankan model ini. Pengembang dapat memanfaatkannya untuk bantuan pengkodean lokal atau mendelegasikan penelitian web kepada kerangka agen. NVIDIA menempatkan model ini sebagai model terbuka terbaik dalam kategorinya di PinchBench, dan mengklaim peringkat kedua di BrowseComp.
Bolt E4B memiliki penggunaan memori yang lebih kecil, yaitu 4GB, yang dirancang oleh NVIDIA untuk agen percakapan yang memerlukan respons cepat. Aplikasi potensial termasuk asisten suara dan karakter interaktif. Model ini juga dirancang untuk sistem AI fisik yang berjalan di perangkat keras NVIDIA Jetson. Bolt E4B dijadwalkan untuk diluncurkan pada 23 Oktober, sementara model Bolt yang lebih besar sudah tersedia di pasaran.
NVIDIA sedang merilis Super VL, dilengkapi dengan bobot terbuka dan materi pelatihan yang mendukung. Proses pelatihannya mencakup sekitar 26 triliun token. Pelatihan lanjutan melibatkan sekitar 3,8 juta sampel, dan dilakukan melalui pembelajaran penguatan di berbagai lingkungan. Organisasi dapat menyesuaikan model melalui NVIDIA NeMo dan saluran berbasis Python. Penempatan lokal juga memungkinkan mereka untuk memiliki kontrol lebih besar terhadap informasi sensitif sesuai dengan infrastruktur dan konfigurasi mereka. Super VL dapat diakses melalui Hugging Face, OpenRouter, dan ModelScope, sementara NVIDIA juga menyediakan model ini melalui platform layanan AI produksi NIM, dan Bolt
74B-A9B tersedia di Hugging Face. Pengembang dapat menggunakan alat seperti Ollama atau LM Studio untuk menjalankan model ini.
Bagaimana kinerja model-model ini, terutama di luar pengujian benchmark, masih menjadi pertanyaan besar. Daya tarik mereka pada akhirnya akan bergantung pada apakah perangkat keras lokal dapat memberikan hasil yang dapat diandalkan tanpa memerlukan memori berlebihan atau mengorbankan kecepatan respons.
Item Spesifikasi Nemotron 3.5 Super VL 120 miliar parameter Bolt 74B-A9B Penggunaan memori 24GB Bolt E4B Penggunaan memori 4GB
Dampak Model NVIDIA terhadap Aplikasi AI Lokal
Model Nemotron 3.5 Super VL dari NVIDIA tidak hanya memiliki kemampuan pemrosesan yang kuat, tetapi juga dapat dijalankan di perangkat keras lokal, yang memiliki arti penting bagi banyak perusahaan. Dengan meningkatnya perhatian terhadap privasi dan keamanan data, perusahaan ingin menjalankan model AI di infrastruktur mereka sendiri, sehingga mengurangi ketergantungan pada layanan cloud. Selain itu, pengembang dapat melakukan pelatihan lebih lanjut pada informasi khusus, sehingga dapat dioptimalkan untuk kebutuhan tertentu, meningkatkan efisiensi kerja. Fitur-fitur ini menjadikan Super VL pilihan ideal untuk otomatisasi dan pemrosesan data bagi perusahaan.