- Meta und Panmnesia stellen eine neue Architektur vor, die Datenzentren als einen einzigen Großrechner betrachtet.
- Die Architektur nutzt CXL zur Verbindung von CPUs, Beschleunigern und Speicher, um die Zusammenarbeit zu verbessern.
- Das neue System reduziert Datenübertragungsverzögerungen und steigert die Effizienz bei KI-Arbeitslasten.
- Panmnesia hat die Kernkomponenten bereits in Silizium realisiert und bereitet die kommerzielle Bereitstellung vor.
Die Gestaltung von Künstliche-Intelligenz-Datenzentren könnte bald eine Wende erfahren und sich nicht mehr nur als Ansammlung unabhängiger Maschinen präsentieren, sondern eher wie ein einziger Großrechner funktionieren. Dies ist die neue Architekturvision des Halbleiterunternehmens Panmnesia in Zusammenarbeit mit Meta. Diese Designidee nutzt Compute Express Link (CXL), um zentrale Prozessoren (CPUs), KI-Beschleuniger und Speicher miteinander zu verbinden und gleichzeitig deren Betrieb hochgradig koordiniert zu halten. Mit dem Wachstum von KI-Modellen wird dieses Problem immer drängender. Die Schulung von Modellen mit mehreren Billionen Parametern kann Hunderte oder Tausende von Beschleunigern erfordern, um mehrere Terabyte an Daten auszutauschen.
Selbst wenn die meisten Geräte Aufgaben schnell erledigen können, kann ein langsameres Bauteil den gesamten Vorgang verzögern, was die Vorhersagbarkeit von Verzögerungen immer wichtiger macht.
Designphilosophie der neuen Architektur
Innerhalb eines Rack können Beschleuniger bereits über dedizierte Hochgeschwindigkeitsverbindungen kommunizieren. Zwischen den Racks werden Daten jedoch normalerweise über herkömmliche Netzwerkgeräte und Softwareebenen übertragen, was zu Schwankungen in der benötigten Zeit für einzelne Anfragen führt. Der Ansatz von Panmnesia und Meta erweitert das CXL-Domänenmodell über einzelne Racks hinaus in das breitere Datenzentrum. Diese Architektur zielt darauf ab, die Ressourcen innerhalb der gesamten Einrichtung koordiniert arbeiten zu lassen, anstatt jeden Rack als unabhängige Recheninsel zu betrachten. In dem Design sind drei Hardwarekomponenten entscheidend: ein hochfrequenter nicht-blockierender CXL-Switch, Link-Beschleunigungseinheiten und ein Fabric-Controller.
Die Kombination dieser drei Komponenten zielt darauf ab, die unbestimmten Verzögerungen bei der Datenübertragung zwischen Geräten zu reduzieren.
Die Bedeutung der Verzögerungsreduzierung
Die Architektur nutzt auch optische Verbindungen, um die physikalischen Entfernungsbeschränkungen elektrischer Signale zu überwinden, sodass CXL-over-optics das Fabric auf einen größeren Teil des Datenzentrums ausdehnen kann, ohne das zugrunde liegende CXL-Modell aufzugeben. Das vorgeschlagene System verändert die Skala, in der Rechenressourcen zusammenarbeiten. In der Referenzkonfiguration ist ein CPU mit zwei Beschleunigern verbunden. In der neuen Architektur steigt diese Zahl auf 16, während ein einzelnes Konsistenzdomänenmodell bis zu 960 Beschleuniger umfassen kann.
Verzögerungen werden zum neuen Schlachtfeld. Forscher sagen, dass Zugriffe, die normalerweise das Rack verlassen und über traditionelle Netzwerke laufen, entlang vorhersehbarerer Pfade verlaufen könnten. Die Roundtrip-Verzögerung könnte von der Mikrosekunden-Skala auf einige Hundert Nanosekunden sinken, was einer bis zu zehnfachen Reduzierung entspricht. Diese Vorhersehbarkeit könnte ebenso wichtig sein wie die reine Rechenleistung. Große KI-Arbeitslasten sind in der Regel kollektive Operationen, was bedeutet, dass der langsamste Teilnehmer bestimmen kann, wann der gesamte Vorgang abgeschlossen wird. Die Reduzierung dieser Verzögerungen könnte es ermöglichen, dass mehr Beschleuniger als eine einzige Ausführungsumgebung fungieren. Die Architektur könnte auch die Auswirkungen von Ausfällen verringern.
Wenn ein Problem auftritt, wird das vorgeschlagene System einzelne Geräte ersetzen, nicht den gesamten Server.
Myoungsoo Jung, CEO von Panmnesia, sagte: "Mit der kontinuierlichen Expansion von KI-Systemen wird die Fähigkeit, schnell und effizient eine große Anzahl von Beschleunigern und Speichergeräten zu verbinden, ebenso wichtig wie die Leistung einzelner Beschleuniger. Diese Studie skizziert die Richtung der nächsten Generation von KI-Infrastruktur, wobei CXL es dem gesamten Datenzentrum ermöglicht, als ein einziges Rechensystem zu fungieren." Panmnesia gibt an, dass es die Kernkomponenten bereits in Silizium realisiert, die Validierung abgeschlossen und sich auf die kommerzielle Bereitstellung vorbereitet hat.
Die Ergebnisse der Studie wurden im "Nature Reviews Electrical Engineering" veröffentlicht.
Projekt Spezifikation Anzahl der mit CPU verbundenen Beschleuniger 16 Anzahl der möglichen Beschleuniger 960
Der Einfluss der neuen Architektur auf die KI-Infrastruktur
Mit der rasanten Entwicklung der KI-Technologie ändern sich auch die Anforderungen an die Gestaltung von Datenzentren. Die neue Architektur von Meta und Panmnesia verbessert nicht nur die Effizienz der Datenübertragung, sondern optimiert auch die Gesamtleistung durch die Reduzierung von Verzögerungen, sodass mehrere Beschleuniger effektiver zusammenarbeiten können. Diese Veränderung ist entscheidend für die Bewältigung großer KI-Arbeitslasten, da diese in der Regel auf die Zusammenarbeit mehrerer Rechnungseinheiten angewiesen sind. Die Implementierung der neuen Architektur könnte die Funktionsweise zukünftiger Datenzentren verändern und effizientere Lösungen für den kommerziellen Einsatz bieten.