Xiaomi hat offiziell ein industrietaugliches Spracherkennungsmodell für gezielte Sprecheridentifikation namens Xiaomi-CocktailASR-1 veröffentlicht und quelloffen gemacht. Die Bekanntgabe erfolgte am 11. September. Laut dem offiziellen Xiaomi-Technologie-Weibo ist das Modell speziell für komplexe Sprachszenarien mit mehreren gleichzeitig sprechenden Personen konzipiert und zielt darauf ab, das "Cocktailparty"-Problem der Spracherkennung zu lösen, bei dem es darum geht, die Stimme eines bestimmten Zielbenutzers in einer lauten Umgebung mit mehreren Sprechern zu identifizieren und zu transkribieren.
Wie Xiaomi erläutert, verwendet Xiaomi-CocktailASR-1 eine End-to-End-LLM-Architektur und nutzt eine kurze Audioreferenz des Ziel-Sprechers als Stimmabdruck-Hinweis. In Situationen mit überlappenden Äußerungen mehrerer Personen kann es die Äußerungen des Ziel-Sprechers extrahieren und ausschließlich diese transkribieren. Laut offiziellen Angaben basiert das Modell auf umfangreichen Daten von mehreren Sprechern und erreicht auf mehreren führenden Testdatensätzen für mehrere Sprecher wie AliMeeting, AMI und LibriMix die beste Leistung.
Xiaomi-CocktailASR-1 bietet Spracherkennungsfähigkeiten für mehrere Sprecher
Gleichzeitig ist die Erkennungsleistung in Szenarien mit nur einem Sprecher mit der von gängigen Einzel-Sprecher-ASR-Modellen vergleichbar, sodass mit demselben Modell sowohl Einzel- als auch Mehrpersonenszenarien abgedeckt werden können, ohne zwischen verschiedenen Spracherkennungsmodellen wechseln zu müssen. Darüber hinaus verfügt das Modell über eine Negativproben-Abwehrfähigkeit, bei der das Modell für den Fall, dass der Ziel-Sprecher im Audio nicht vorhanden ist, einen leeren Text ausgibt, um das Risiko von Fehlerkennungen und Fehlauslösungen durch nicht zielgerichtete Sprache zu verringern.
Xiaomi erwähnt auch, dass Xiaomi-CocktailASR-1 den Denkkettenschlussmodus unterstützt und den Erkennungsergebnissen einen nachvollziehbaren Schlussfolgerungsprozess bieten kann. Derzeit sind die Modellgewichte und der Inferenzcode von Xiaomi-CocktailASR-1 quelloffen gemacht worden.