小米は正式に産業レベルの目的話者音声認識大規模モデル Xiaomi-CocktailASR-1 を発表し、オープンソース化した。このニュースは9月11日に公開された。小米の技術公式微博の情報によると、このモデルは複数人が同時に話す複雑な音声シーン向けに設計されており、音声認識における「カクテルパーティー」問題、すなわち騒がしい環境下で複数の話者から指定された目標ユーザーの音声内容を識別し、文字起こしする難題を解決することに重点を置いている。
小米の説明によると、Xiaomi-CocktailASR-1 はエンドツーエンドの LLM アーキテクチャを採用しており、目標話者の参照音声を声紋の手がかりとして利用し、複数の人が重なって発言している状況でも、目標話者の内容を抽出し、文字起こしすることができる。公式の説明によれば、このモデルは大規模で多様な話者のデータに基づいて訓練されており、AliMeeting、AMI、LibriMix などの複数の主要な複数話者テストセットで最高のパフォーマンスを達成している。
Xiaomi-CocktailASR-1 は複数話者の音声認識能力を持つ
同時に、単一話者のシーンにおける認識性能も主流の単一話者 ASR モデルに匹敵し、同じモデルで単一話者と複数話者のシーンを両立させることができる音声認識モデル間を切り替える必要がない。さらに、このモデルは負のサンプルの拒絶認識能力も備えており、音声中に目標話者が存在しない場合、モデルは空のテキストを出力し、非目標音声による誤認識や誤作動のリスクを低減する。
小米はまた、Xiaomi-CocktailASR-1 が思考連鎖推論モードをサポートし、認識結果に解釈可能な推論プロセスを提供できると述べている。現在、Xiaomi-CocktailASR-1 のモデル重みと推論コードは既にオープンソース化されている。