- Nemotron 3.5 Lightning 專為重複性任務設計，降低代理工作負擔。
- 模型可在本地運行，並可部署於數據中心，提供高容量工作負載選擇。
- NVIDIA 將該模型視為轉向多模型處理的發展趨勢。
- 模型支持推測解碼技術，並納入多標記預測以提高效率。
NVIDIA 推出了名為 Nemotron 3.5 Lightning 的小型開放模型，專為處理重複性和高容量的任務而設，旨在降低長時間運行的代理工作負擔的成本和延遲。這個模型擁有 300 億個參數，但每次處理僅啟用 30 億個參數。NVIDIA 表示，這種專家混合設計使模型能夠提供更大模型的能力，同時運算需求接近於更小的模型。該模型主要針對自主代理的執行層，系統不斷調用工具、檢查結果、執行命令及委派任務。
開發者可以使用 Lightning 處理常規工作，而將更大的模型留給規劃和複雜決策。
本地運行與部署選擇
Nemotron 3.5 Lightning 亦設計為可在本地運行，包括在 NVIDIA 的 DGX Spark、Jetson 系統及 GeForce RTX 5090 顯示卡上。該模型還可以部署在數據中心，為開發者提供在生成數據的地方運行高容量工作負載的選擇。NVIDIA 將 Lightning 定位為更廣泛轉變的一部分，這種轉變是朝向使用多個模型而非依賴單一模型處理每一項任務的方向發展。
較大的推理模型可以處理規劃和協調，而較小的模型則負責執行。該模型在訓練時考慮了流行的代理框架，包括 OpenClaw 和 Hermes Agent。NVIDIA 表示，這種訓練有助於代理在重複任務中進行更準確的工具調用，同時減少延遲。
NVIDIA 亦將該模型作為開放產品發布，包括其權重、訓練數據和配方，並在 OpenMDW-1.1 許可下提供。開發者可以使用 NVIDIA 的 NeMo 工具對其進行微調，或者進行強化學習和基於環境的評估。NVIDIA 表示，Nemotron 3.5 Lightning 的輸出速度可以達到同類型模型的四倍。在 PinchBench 測試中，其準確率達到 86%，並以比 Qwen3.6 35B 快 30% 的速度完成 10,000 項任務，且準確度相似。
該模型還支持推測解碼技術，允許多個標記被提議並進行高效檢查。NVIDIA 在訓練過程中納入了多標記預測，並提供了兩個額外的初步模型，DSpark 和 DFlash，用於不同的推理工作負載。
模型路由庫的應用
此次發布同時突顯了 NVIDIA NeMo Switchyard，這是一個模型路由庫，旨在將不同任務指派給不同模型。複雜請求可以發送至更強大的推理模型，而常規執行則可路由至 Nemotron 3.5 Lightning。這種方法可能會減少持續運行的代理所需的高成本運算，特別是對於執行數千個小操作的系統。該模型在不斷增長的推理平台、代理框架和雲服務生態系統中得到支持，包括 Ollama、LM Studio、Amazon SageMaker JumpStart、Google Cloud、Microsoft
Foundry 和 Oracle Cloud Infrastructure。NVIDIA 表示，Nemotron 3.5 Lightning 可通過 Hugging Face 和 ModelScope 下載，開發者也可以通過 NVIDIA 自己的平台和 OpenRouter 訪問該模型。
多模型處理的未來趨勢
NVIDIA 的 Nemotron 3.5 Lightning 模型顯示出對於自動化代理的設計思路，強調多模型處理的必要性。隨著任務的複雜性增加，依賴單一模型的方式已經不再高效。透過將不同任務指派給專門的模型，開發者能夠提升運算效率，減少成本，並優化性能。這種趨勢不僅反映了技術的進步，也預示著未來自動化系統的演變，將更加依賴於靈活和高效的模型架構。