NVIDIA hat kürzlich die Underdog-App eingeführt, die darauf abzielt, die Verwaltung und Ausführung lokaler KI-Modelle zu vereinfachen. Die App wurde speziell für RTX Spark-Geräte entwickelt und kann KI-Aufgaben über eine spezielle Inferenz-Engine auf dem Computer ausführen, ohne eine Verbindung zur Cloud herzustellen. Die entsprechenden Daten bleiben auf den Geräten der Nutzer. Der NVIDIA RTX Spark Laptop wurde am 16. Oktober auf den Markt gebracht, er verwendet ein System-on-Chip auf Basis der Arm-Architektur und läuft unter Windows, wobei er sich hauptsächlich an lokale hochbelastete KI-Anwendungen wie große Sprachmodelle richtet. Derzeit haben ASUS, Dell, HP, Lenovo, Microsoft und MSI entsprechende Produkte auf den Markt gebracht, während Acer ebenfalls Modelle in Vorbereitung hat.
Wie berichtet, verwendet Underdog die speziell für bestimmte Modelle entwickelte Husky-Inferenz-Engine, mit der Nutzer lokale KI-Modelle direkt auf RTX Spark-Geräten ausführen können. Da der Inferenzprozess nicht auf Cloud-Dienste angewiesen ist, müssen Nutzerdaten nicht auf externe Server hochgeladen werden, was das Risiko für die Privatsphäre verringert, das mit dem Verlassen lokaler Geräte verbunden ist.
Underdog-App verbessert die Effizienz der Verwaltung lokaler KI-Modelle
NVIDIA hat außerdem Leistungsupdates für lokale Inferenz-Tools bekannt gegeben. llama.cpp hat nun die Unterstützung für MTP-Dekodierung für Qwen 3.8 Flash Next hinzugefügt. Bei der Ausführung auf Geräten mit RTX Pro 6000 Blackwell kann die Verarbeitungsgeschwindigkeit von End-to-End-Agentenaufgaben um etwa 1,4-fach gesteigert werden. Darüber hinaus gab NVIDIA bekannt, dass die Modelle Nemotron Bolt E4B 4B, GLM, DeepSeek, Qwen, MiniMax und FLUX 3 Klein erstmals unterstützt werden.
Das bedeutet, dass die entsprechenden Modelle nach ihrer Veröffentlichung sofort auf kompatiblen Geräten verwendet werden können, ohne dass die Nutzer auf nachfolgende Kompatibilitätsupdates warten müssen. Underdog ergänzt das oben genannte Unterstützungsprogramm und verbessert somit die lokale KI-Softwareumgebung der RTX Spark-Geräte.
Hinweis: Dieser Artikel enthält Links zu Produkten von Partnerunternehmen. Wenn Sie über diese Links kaufen, kann TechRitual eine Provision erhalten, die jedoch die Produktbewertung und -empfehlung nicht beeinflusst. Weitere Informationen finden Sie in der Datenschutzrichtlinie.