Das neue native Vollmodell Qwen 3.8-Omni-Flash von Qwen wurde am 18. September offiziell veröffentlicht. Das Modell unterstützt Eingaben in Form von Text, Bildern, Audio und Video und kann Kontexte mit einer Länge von bis zu 1M verarbeiten. Auf Grundlage des Verständnisses der Inhalte kann es eigenständig Aufgaben planen, Tools aufrufen sowie kreative Arbeiten und Auslieferung abschließen.
Qwen 3.8-Omni-Flash verbessert die Verarbeitung von Audio und Video
Funktional gesehen erweitert Qwen 3.8-Omni-Flash die Fähigkeiten zur Verarbeitung von Audio- und Videoaufgaben, während die Kompetenzen in den Bereichen Programmierung, Textverarbeitung und GUI-Bedienung erhalten bleiben. Für das Verständnis langer Audio- und Videoinhalte kann das Modell Videomaterial von mehreren Stunden analysieren und ausgehend von der Fragestellung entscheiden, welche Bild- und Toninformationen relevant sind, und durch mehrere forensische Durchgänge Schlüsselinhalte lokalisieren. In Kombination mit Tools kann das Modell aus Meetings Protokolle, To-do-Listen und Risikoinformationen extrahieren und anschließend Aufgaben wie das Versenden von E-Mails, das Schreiben von Code oder das Recherchieren multimodaler Daten zur Erstellung von Berichten ausführen.
In Bezug auf die Audio- und Videoproduktion kann das Modell in Szenarien wie der Erstellung von Musikvideos, der Übersetzung von Kurzserien und der Erläuterung von Langfilmen eingesetzt werden. So kann es etwa bei der Erstellung von Musikvideos die Struktur, den Rhythmus und die Stimmung eines Liedes verstehen und zeitstempelbasierte, satzweise Songtexte ausgeben. Bei der Übersetzung von Kurzserien kann es Rollenerkennung, umgangssprachliche Übersetzung, Dubbing-Klonen, Audio-Remixing und Qualitätskontrolle des fertigen Materials übernehmen. Bei der Verarbeitung von Langfilmen kann es Handlungsextraktion, Kommentarplanung, Vertonung und Musikuntermalung, Schnitt und Rendering sowie die abschließende Qualitätskontrolle durchführen.
Darüber hinaus kann das Modell Inhalte langer Videos in wiederverwendbare Informationsressourcen umwandeln, einschließlich der automatischen Strukturierung von Wissenspunkten, der Zerlegung in Schritte, der Erstellung von PDF-Notizen mit Bild-Text-Zuordnung sowie der weiteren Verarbeitung zu geprüften und evaluierten Agent Skills. Die Echtzeit-Interaktionsversion Qwen 3.8-Omni-Flash-Realtime kann während des Eingehens von Audio- und Videostreams synchron Wahrnehmung und Reaktion verarbeiten und eignet sich für Szenarien wie mündliches Sprachtraining, räumliche Audio-Wahrnehmung und intelligenten Kundenservice.
Begleitend dazu hat das Unternehmen Qwen-MM-Plugins erweitert und neue Funktionen für das Verständnis und die Erstellung von Audio- und Videoinhalten hinzugefügt sowie Qwen-Live Harness als Open Source veröffentlicht, das für kontinuierliche, Echtzeit-basierte Audio- und Videointeraktionen sowie Aufgabenausführung vorgesehen ist. Laut offiziellen Daten verbesserte sich Qwen 3.8-Omni-Flash in insgesamt 30 Benchmark-Tests im Vergleich zur Vorgängerversion Qwen 3.5-Omni-Plus um durchschnittlich mehr als 26 %; gleichzeitig sank der API-Preis für Audioeingaben pro Stunde um mehr als 98 %, für Audio- und Videoeingaben pro Stunde um mehr als 93 %.
Das Modell ist ab sofort auf der KI-Plattform von Qwen verfügbar.