Xiaomi ได้เปิดตัวและเปิดต้นฉบับของโมเดลการรู้จำเสียงพูดเป้าหมายระดับอุตสาหกรรม Xiaomi-CocktailASR-1 ในวันที่ 11 กันยายน ตามข้อมูลจากโพสต์ของ Xiaomi Technology บน Weibo โมเดลนี้ได้รับการออกแบบมาเฉพาะเจาะจงสำหรับสถานการณ์การพูดพร้อมกันของหลายบุคคล โดยเน้นการแก้ปัญหาการรู้จำเสียงในสถานการณ์ "ปาร์ตี้ค็อกเทล" หรือการรู้จำและบันทึกเสียงของผู้พูดเป้าหมายในสภาพแวดล้อมที่มีเสียงรบกวนสูง
ตามที่ Xiaomi ได้อธิบาย Xiaomi-CocktailASR-1 ใช้สถาปัตยกรรม LLM จากปลายปลายทาง โดยใช้ส่วนหนึ่งของเสียงอ้างอิงของผู้พูดเป้าหมายเป็นสัญญาณเสียงเส้น ในสถานการณ์ที่มีการพูดพร้อมกันของหลายบุคคล สามารถแยกและบันทึกเฉพาะเนื้อหาของผู้พูดเป้าหมายได้ ผู้ออกแบบระบุว่า โมเดลนี้ได้รับการฝึกฝนจากข้อมูลของหลายผู้พูดในขนาดใหญ่และได้รับการทดสอบในหลายชุดข้อมูลการทดสอบหลัก เช่น AliMeeting, AMI, LibriMix โดยมีประสิทธิภาพสูงสุด
Xiaomi-CocktailASR-1 มีความสามารถในการรู้จำเสียงพูดของหลายผู้พูด
ในขณะเดียวกัน ประสิทธิภาพการรู้จำในสถานการณ์ผู้พูดเดียวก็สามารถเทียบเท่ากับโมเดล ASR สำหรับผู้พูดเดียวที่ใช้กันอยู่ทั่วไป สามารถใช้โมเดลเดียวกันในการรองรับทั้งสถานการณ์ผู้พูดเดียวและหลายผู้พูด โดยไม่ต้องสลับไปมาระหว่างโมเดลการรู้จำเสียงพูดที่แตกต่างกัน นอกจากนี้ โมเดลยังมีความสามารถในการปฏิเสธตัวอย่างลบ สำหรับสถานการณ์ที่ไม่มีผู้พูดเป้าหมายในเสียง โมเดลสามารถส่งออกข้อความว่างเปล่า เพื่อลดความเสี่ยงการรู้จำและการทำงานผิดพลาดจากเสียงที่ไม่ใช่เป้าหมาย
Xiaomi กล่าวว่า Xiaomi-CocktailASR-1 สนับสนุนโหมดการอ้างอิงเชิงคิด สามารถให้กระบวนการอ้างอิงที่มีความสามารถในการอธิบายได้ ในปัจจุบัน น้ำหนักและโค้ดการอ้างอิงของโมเดล Xiaomi-CocktailASR-1 ได้ถูกเปิดต้นฉบับแล้ว