- NVIDIA bringt drei offene KI-Modelle heraus, mit Nemotron 3.5 Super VL als Kern.
- Super VL kann visuelle Informationen interpretieren und ist fünfmal schneller als Wettbewerber.
- Entwickler können Modelle auf proprietären Daten trainieren, um die Leistung bei spezifischen Aufgaben zu verbessern.
- Mehrere Organisationen haben bereits begonnen, Super VL anzupassen und in verschiedenen Bereichen anzuwenden.
NVIDIA hat die Einführung von drei offenen KI-Modellen angekündigt, die darauf abzielen, autonome Agenten in eine Vielzahl von Rechenumgebungen zu integrieren. Der Kern dieser Reihe ist Nemotron 3.5 Super VL, ein Modell mit 120 Milliarden Parametern, das für komplexe Aufgaben konzipiert wurde. Zwei kleinere Varianten richten sich an Nutzer, die KI-Agenten auf lokaler Hardware betreiben möchten. Diese Veröffentlichung erweitert NVIDIA's Engagement für anpassbare KI und ermöglicht es Organisationen, KI auf ihrer eigenen Infrastruktur zu betreiben und löst eine praktische Herausforderung für Entwickler: die Ausführung leistungsfähiger Agenten, ohne jede Anfrage an Cloud-Dienste senden zu müssen.
Die Leistungsfähigkeit von Super VL
Super VL ist für komplexe Arbeitsabläufe ausgelegt. Nemotron 3.5 Super VL kann Aufgaben bewältigen, die über die Generierung von Text hinausgehen. Es kann visuelle Informationen interpretieren und Anweisungen befolgen, während es externe Werkzeuge nutzt, um mehrstufige Arbeitsabläufe abzuschließen. NVIDIA behauptet, dass das Modell Aufgaben fünfmal schneller erledigt als vergleichbare Wettbewerber. Das Unternehmen gibt außerdem an, dass die Genauigkeit trotz der Tatsache, dass die Anzahl der Parameter nur etwa ein Fünftel der größten Inferenzmodelle beträgt, nahe an der Genauigkeit von NVIDIA's größtem Inferenzmodell liegt. Diese Fähigkeiten können Unternehmen helfen, Aufgaben zu automatisieren, die langwierige Recherchen oder detaillierte Dokumentenanalysen erfordern.
Entwickler können das Modell auch auf proprietären Daten weiter trainieren, um die Leistung bei spezifischen Aufgaben zu verbessern.
NVIDIA Nemotron 3.5 Super VL ist ein offenes Modell, das Inferenz und Werkzeugnutzung kombiniert und über Fähigkeiten zur Text-, Bild-, Dokument- und Videoanalyse verfügt, was es für langfristige KI-Agenten geeignet macht. Das Modell hat insgesamt 120 Milliarden Parameter, davon 12 Milliarden aktive Parameter. Für weitere Informationen kann man NVIDIA's Twitter besuchen.
Beispiele für benutzerdefinierte Anwendungen
Mehrere Organisationen haben bereits begonnen, Super VL anzupassen. Scale AI hat es für den Kreditfinanzierungsagenten von Skydance umgestaltet und eine weitere Version für die Due-Diligence-Agenten von Ernst & Young entwickelt. AfterQuery hat das Modell für die Analyse von Kreditverträgen von Hebbia angepasst. Andere Projekte konzentrieren sich auf den Bereich Cybersicherheit, wobei AI21 und Alice an der Angriffswiderstandsfähigkeit zusammenarbeiten. Mercor hat ebenfalls nachträgliches Training für Codierungsaufgaben durchgeführt, die den APEX-SWE-Benchmark betreffen.
Nemotron 3.5 Bolt ist für Hardware mit weniger Speicher ausgelegt, wobei seine beiden Varianten verschiedene Ansätze zur Ausführung von KI-Agenten bieten, ohne auf Remote-Infrastruktur angewiesen zu sein. Das größere Modell Bolt 74B-A9B verwendet native 2-Bit-Quantisierung und kann im Bereich von 24 GB Speicher betrieben werden. Dieser Speicherbedarf ermöglicht es kompatiblen Systemen, während des Betriebs des Modells andere Anwendungen auszuführen. Entwickler können es für lokale Codierungsunterstützung oder zur Delegation von Webrecherchen an Agentenrahmen nutzen. NVIDIA hat das Modell auf PinchBench als das beste offene Modell seiner Kategorie eingestuft und behauptet, im BrowseComp den zweiten Platz belegt zu haben.
Bolt E4B hat einen geringeren Speicherbedarf von 4 GB und wurde von NVIDIA speziell für dialogorientierte Agenten mit schnellen Reaktionszeiten entwickelt. Potenzielle Anwendungen umfassen Sprachassistenten und interaktive Charaktere. Das Modell wurde auch für physische KI-Systeme konzipiert, die auf NVIDIA Jetson-Hardware laufen. Bolt E4B wird am 23. Oktober veröffentlicht, während das größere Bolt-Modell bereits auf dem Markt ist.
NVIDIA veröffentlicht Super VL und stellt offene Gewichte sowie unterstützende Trainingsmaterialien zur Verfügung. Der Trainingsprozess umfasst etwa 26 Billionen markierte Daten. Das nachträgliche Training beinhaltet etwa 3,8 Millionen Proben und wird in mehreren Umgebungen mit verstärkendem Lernen durchgeführt. Organisationen können das Modell über NVIDIA NeMo und Python-basierte Pipelines anpassen. Die lokale Bereitstellung ermöglicht es ihnen auch, eine größere Kontrolle über sensible Informationen zu haben, basierend auf ihrer eigenen Infrastruktur und Konfiguration. Super VL ist über Hugging Face, OpenRouter und ModelScope erhältlich, und NVIDIA bietet das Modell auch über seine Plattform NIM für die Bereitstellung von KI-Diensten an, während Bolt
74B-A9B auf Hugging Face verfügbar ist. Entwickler können das Modell mit Tools wie Ollama oder LM Studio ausführen.
Wie diese Modelle abschneiden, insbesondere außerhalb von Benchmark-Tests, bleibt eine große Frage. Ihre Attraktivität wird letztlich davon abhängen, ob lokale Hardware zuverlässige Ergebnisse liefern kann, ohne übermäßigen Speicherbedarf oder Einbußen bei der Reaktionsgeschwindigkeit.
Modell Spezifikationen Nemotron 3.5 Super VL 120 Milliarden Parameter Bolt 74B-A9B 24 GB Speicherbedarf Bolt E4B 4 GB Speicherbedarf
Die Auswirkungen von NVIDIA-Modellen auf lokale KI-Anwendungen
Das Nemotron 3.5 Super VL-Modell von NVIDIA bietet nicht nur leistungsstarke Verarbeitungsfähigkeiten, sondern kann auch auf lokaler Hardware betrieben werden, was für viele Unternehmen von großer Bedeutung ist. Angesichts der wachsenden Bedenken hinsichtlich Datenschutz und Sicherheit möchten Unternehmen KI-Modelle auf ihrer eigenen Infrastruktur betreiben, um die Abhängigkeit von Cloud-Diensten zu verringern. Darüber hinaus können Entwickler das Modell auf proprietären Daten weiter trainieren, was eine Optimierung für spezifische Anforderungen ermöglicht und die Effizienz steigert. Diese Funktionen machen Super VL zu einer idealen Wahl für die Automatisierung und Datenverarbeitung in Unternehmen.