Das Hong Kong Generative AI Research and Development Center (HKGAI) hat am 18. September 2026 die Veröffentlichung des Open-Source-Musik-Großmodells YuE2 bekannt gegeben. Laut dem Team handelt es sich um das weltweit erste Open-Source-Musik-Großmodell, das mithilfe von „symbolischer Planung" Komposition, Cover und Bearbeitung in einem einheitlichen Prozess zusammenführt. Am selben Tag erreichte es auf Hugging Face Platz 4 der gesamten Trending-Liste (Trending Score 595) und war damit das einzige Musikmodell in den Top fünf. Neun Tage nach Veröffentlichung verzeichnete das offizielle Hauptmodell 11.626 Downloads; zusammen mit ComfyUI-Wrappern, Community-GGUF-/Quantisierungsvarianten und der Toolchain ergibt sich im gesamten Ökosystem eine kumulierte Downloadzahl von rund 179.000.
HKGAI wurde im Oktober 2023 gegründet, wird von der auf KI und Robotik fokussierten Plattform AIR@InnoHK finanziert und von der Hong Kong University of Science and Technology geleitet. Die Forschung deckt die Bereiche Sprache, Vision und Audio ab. YuE2 gilt als wichtiger Meilenstein des Zentrums im Bereich Audio-Generierung; in der offiziellen Mitteilung wird die Entwicklung metaphorisch als „DeepSeek-Moment der Musikwelt" beschrieben – also der Moment, in dem ein Open-Source-Modell kommerzielle Closed-Source-Systeme einholt oder sogar übertrifft.
WildSongBench: Best-of-8-Gesamtwert übertrifft mehrere kommerzielle Modelle
Das Evaluations-Benchmark WildSongBench basiert auf einer automatisierten Bewertung mit 192 Prompts (12. September 2026). Die Tabelle zeigt, dass YuE2 (best-of-8) mit einem SongBench Avg von 6,9632 aktuell an der Spitze liegt; eine einzelne Generierung von YuE2 erreicht 6,7316. Zum Vergleich: Mureka 9 (6,9377), Suno v5 (6,8721), Suno v5.5 (6,7150), Suno v6 (6,5562); der Vorgänger YuE 1 kommt auf 4,9165. In anderen Metriken führt YuE2 nicht durchgängig: So erreicht Suno v5 den höchsten MuLan-Wert (0,5428), LeVo 2 den höchsten AudioBox-PQ-Wert (8,3966) und Suno v4.5 den niedrigsten PER (5,80 %).
| System | SongBench Avg ↑ | AudioBox PQ ↑ | MuLan ↑ | PER ↓ |
|---|---|---|---|---|
| YuE2 (best-of-8) | 6,9632 | 8,2714 | 0,5051 | 9,79 % |
| Mureka 9 | 6,9377 | 8,0226 | 0,4394 | 11,69 % |
| Suno v5 | 6,8721 | 8,1698 | 0,5428 | 8,10 % |
| YuE2 | 6,7316 | 8,2598 | 0,5068 | 8,44 % |
| Suno v6 | 6,5562 | 8,1296 | 0,4916 | 7,58 % |
| YuE 1 | 4,9165 | 7,8683 | 0,2623 | 36,38 % |
White-Box-Kontrolle: Symbolische Planung und akustisches Rendering getrennt
YuE2 trennt „symbolische Planung" (symbolic planning) vom „akustischen Rendering" (acoustic rendering) und nutzt eine Mixture-of-Experts-Architektur (MoE), um die Kontrollierbarkeit zu erhöhen: Ein AR-Experte sagt mit kausaler Aufmerksamkeit autoregressiv das ABC-Notenblatt und das semantische Skelett vorher; ein NAR-Experte prognostiziert per Flow Matching das akustische Latent; ein VAE-Decoder erzeugt daraus schließlich 48-kHz-Stereo-Audio. Im Gegensatz zur „Prompt rein, Audio raus"-Black-Box-Sampling können Kreative in jedem Schritt eingreifen – etwa eine einzelne Note korrigieren, ohne das gesamte Stück neu zu rendern, oder den Stil wechseln, während die ursprüngliche Melodie erhalten bleibt.
In einer offiziellen Demonstration wurde der mandarin-chinesische Popsong „末班車" in neun Runden dialogbasiert bearbeitet – darunter Neukomposition der Harmonien, Arrangeur-Anpassungen, Einbau der Melodie von „Twinkle, Twinkle, Little Star", Entwicklung von Variationen sowie Umschreiben der Lyrics –, bis am Ende ein in sich geschlossenes englisches Jazz-Arrangement stand. Jeder Schritt lässt sich anhand von Notenblatt und Audio nachvollziehen, statt eine weitere voneinander unabhängige Zufallsgenerierung zu liefern.
Sechs Sprachen, sechzig Genres, lokales Open-Source-Ökosystem
Leistungsseitig unterstützt YuE2 sechs Sprachen – Chinesisch, Englisch, Japanisch, Koreanisch, Russisch und Spanisch – und deckt über 60 Genres ab (darunter City Pop, Heavy Metal, Jazz, Flamenco). Die Gewichte sind als Open Source kostenlos verfügbar (nur für nicht-kommerzielle Nutzung) und lassen sich auf einer einzelnen Consumer-GPU lokal ausführen; kommerzielle Lizenzen müssen separat angefragt werden. Gleichzeitig veröffentlicht das Team Tools zur Transkription, ein Musikverständnis-Modell sowie das Evaluations-Benchmark und spannt damit eine Toolchain von „Transkription – Komposition – Bearbeitung – Evaluierung" auf. Projekt-Einstieg: GitHub multimodal-art-projection/YuE.
- Open-Source-Gewichte (nicht-kommerziell) + lokal auf einer einzelnen GPU lauffähig
- Komposition / Cover / Bearbeitung vereint im symbolischen Planungs-Workflow
- Transkriptionstools, Verständnismodell und Evaluations-Benchmark gleichzeitig als Open Source veröffentlicht