NVIDIA DGX Spark: Acht-Knoten-Cluster bündelt erstmals 1 TB Speicher

Auf der Branchenkonferenz GTC Berlin hat NVIDIA einen Prototyp eines DGX-Spark-Clusters mit acht Knoten vorgestellt. Während entsprechende Verbünde bislang auf maximal vier Knoten limitiert waren, verdoppelt der Technologiekonzern nun die Kapazität dieser kompakten KI-Systeme. Wie aus Berichten hervorgeht, ist die offizielle Software-Unterstützung für das Acht-Knoten-Setup in NVIDIA Sync bis zum Jahresende geplant.

Mit dem Prototyp erweitert NVIDIA die Skalierungsstufen der Spark-Reihe. Während ein einzelner Knoten über 128GB Unified Memory verfügt und vier Knoten 512GB bieten, erreicht der Acht-Knoten-Cluster eine Gesamtkapazität von 1TB Unified Memory. Bei Partnern ist das DGX-Spark-Basissystem mit 64GB verfügbar, wobei Cluster bis zu acht Einheiten manuell auf bis zu 1TB Unified Memory konfiguriert werden können.

Leistungsdaten und Benchmarks des Prototyps

Auf dem Acht-Knoten-System demonstrierte das Unternehmen den Betrieb des Modells GLM 5.3 von Z.ai mit 753B Parametern. Der volle Modell-Checkpoint beansprucht in NVFP4 rund 470GB Speicher. Die Variante GLM 5.3 Flash erzielte über die acht Knoten hinweg eine Verarbeitungsrate von etwa 80 Tokens pro Sekunde.

Während die Hardware-Leistung für KI-Anwendungen rasant steigt, rückt die rechtliche Absicherung der Systeme in den Fokus. Dieser kostenlose Leitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der neuen EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen

Bei einer Eingabesequenz von 8K erreichte der Cluster eine Prefill-Rate von 1.600 Tokens pro Sekunde über Szenarien mit einem, vier und acht Nutzern. Die Decode-Geschwindigkeit lag dabei zwischen 31 Tokens pro Sekunde bei einem Nutzer und 67 Tokens pro Sekunde bei acht Nutzern.

Für die interne Kommunikation und Lastverteilung setzt NVIDIA auf das RoCEnante-Backend innerhalb von FlashInfer mit Fallback auf NCCL. Bei Tests mit dem Modell Qwen3.8-27B-NVFP4 steigerte dieser Ansatz die Decode-Skalierung auf den Faktor 4,43 im Vergleich zu 3,05 ohne Backend, was einem Effizienzgewinn von 45 Prozent entspricht.

Der Decode-Durchsatz wuchs dabei von 11,86 auf 52,58 Tokens pro Sekunde. Bei der dichten Variante desselben Modells stieg der Prefill-Durchsatz von 2.635 auf 5.105 Tokens pro Sekunde. Beim Switchyard-Routing erreichte das System 91 von 100 Punkten auf einem Benchmark für Werkzeugnutzung mit 92 Testfällen, bei einem 1,5- bis 3,0-fachen Durchsatz.

Beim kleineren Modell Nanochat mit rund 896,5 Millionen Parametern und 20 Layern skalierte der Durchsatz von 8.741 auf 68.079 Tokens pro Sekunde, was einer Beschleunigung um das 7,79-Fache und einer Skalierungseffizienz von 97,4 Prozent entspricht.

Wer KI-Systeme wie Hochleistungs-Cluster im Unternehmen einsetzt, muss heute auch die neuen regulatorischen Risikoklassen genau kennen. Erfahren Sie in diesem kostenlosen Report, welche Dokumentationspflichten der AI Act für Ihre IT-Abteilung bereithält. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern

Ergänzungen für Hard- und Software-Ökosystem

Parallel zur Hardware-Präsentation treibt das Unternehmen das Software-Umfeld voran. Für NVIDIA Sync stehen der Model Launcher sowie die Acht-Knoten-Unterstützung an, begleitet von einem Update samt Wi-Fi Assistant und dem Early Access für NVIDIA Cloud Functions.

Neben den Spark-Systemen bietet die DGX Station 748GB kohärenten Speicher, bis zu 20 Petaflops Rechenleistung und Kapazitäten for über 30 parallele Nutzer. Eine Version für Windows soll im Dezember folgen.

Das Modell Recursive Flint mit 40B Parametern und 2,5B aktiven Parametern steht unter der Lizenz Apache 2.0 bereit und ermöglicht eine um 55 Prozent gesteigerte Generierungsgeschwindigkeit auf RTX Spark. Ergänzend besteht Day-0-Support für Architekturen wie Nemotron Bolt E4B 4B, GLM, DeepSeek, Qwen, MiniMax und FLUX.3 Klein mit 5,6B Parametern.

Auch Hardware-Partner integrieren die Technologie: ASUS bietet das System Ascent GX10 auf Basis von DGX Spark mit 64GB oder 128GB an, das Modelle von 30 bis 35 Milliarden bis hin zu 200 Milliarden Parametern bedient und bis zu vier Einheiten bündelt. Zudem umfasst die Modellreihe ProArt P16 und P14 Architekturen mit RTX Spark, die bis zu 1 Petaflop Leistung und 128GB Speicher bereitstellen.