小米發佈工業級目標說話人語音識別大模型 Xiaomi-CocktailASR-1

·作者 Henderson·AI
小米發佈工業級目標說話人語音識別大模型 Xiaomi-CocktailASR-1
重點
  • 小米發佈工業級語音識別模型 Xiaomi-CocktailASR-1,專注於複雜語音場景。
  • 該模型能在嘈雜環境中識別指定目標用戶的語音內容。
  • Xiaomi-CocktailASR-1 同時支持單人和多人場景的識別。
  • 模型具備負樣本拒識能力,降低誤識別風險。

小米正式發佈並開源工業級目標說話人語音識別大模型 Xiaomi-CocktailASR-1,該消息於 9 月 11 日公佈。根據小米技術官方微博的資料,該模型專門針對多人同時說話的複雜語音場景,重點解決語音識別中的「雞尾酒會」難題,即在嘈雜環境下從多名說話者中識別並轉錄指定目標用戶的語音內容。

模型架構與性能

據小米介紹,Xiaomi-CocktailASR-1 採用端到端 LLM 架構,利用目標說話人的一段參考音頻作為聲紋提示,在多人重疊發言的情況下,能夠提取並僅轉錄目標說話人的內容。官方指出,該模型基於大規模多說話人數據訓練,並在 AliMeeting、AMI、LibriMix 等多個主流多說話人測試集上達到最佳性能。

同時,其在單說話人場景下的識別表現也可與主流單人 ASR 模型相媲美,能夠通過同一模型兼顧單人與多人場景,無需在不同語音識別模型之間切換。此外,該模型還具備負樣本拒識能力,對於音頻中不存在目標說話人的情況,模型可輸出空文本,以降低非目標語音帶來的誤識別和誤觸發風險。

開源與推理能力

小米同時提到,Xiaomi-CocktailASR-1 支持思維鏈推理模式,能為識別結果提供具備可解釋性的推理過程。目前,Xiaomi-CocktailASR-1 的模型權重與推理代碼已經開源。

小米語音識別技術的突破與應用前景

Xiaomi-CocktailASR-1 的發佈標誌著小米在語音識別技術上的重要進展,尤其是在處理複雜語音場景方面的能力。這種針對多人同時說話的識別技術,能夠顯著提升在嘈雜環境中的應用效果,對於會議、客服等場景具有廣泛的應用潛力。此外,開源的決策也促進了業界的合作與創新,讓更多開發者能參與到這項技術的進一步完善中,推動語音識別技術的發展。

H
關於作者
Henderson