Pada 11 September, Xiaomi secara resmi mengumumkan dan membuka sumber model deteksi suara berbasis AI untuk tujuan tertentu dengan skala industri, Xiaomi-CocktailASR-1. Menurut akun resmi Xiaomi Technology di Weibo, model ini dirancang khusus untuk skenario percakapan kompleks di mana banyak orang berbicara secara bersamaan, dengan fokus pada pemecahan masalah "pesta koktail" dalam pengenalan suara, yaitu mengidentifikasi dan mentranskripsi konten suara dari pengguna target tertentu di tengah kebisingan dan percakapan yang tumpang tindih.
Menurut Xiaomi, Xiaomi-CocktailASR-1 menggunakan arsitektur LLM ujung-ke-ujung, yang memanfaatkan klip audio referensi dari pembicara target sebagai petunjuk suara untuk mengekstrak dan hanya mentranskripsi konten pembicara target dalam situasi di mana banyak orang berbicara secara bersamaan. Dikatakan bahwa model ini dilatih berdasarkan data multi-pembicara berskala besar dan telah mencapai kinerja terbaik pada beberapa kumpulan data pengujian multi-pembicara utama seperti AliMeeting, AMI, dan LibriMix.
Xiaomi-CocktailASR-1 Mampu Mengenali Suara dari Banyak Pembicara
Selain itu, dalam skenario satu pembicara, kemampuannya dalam pengenalan suara juga sebanding dengan model ASR satu orang pada umumnya, sehingga dapat menangani skenario individu dan multi-pembicara dengan satu model yang sama, tanpa perlu beralih antara model pengenalan suara yang berbeda. Selain itu, model ini juga memiliki kemampuan untuk menolak sampel negatif, di mana jika pembicara target tidak ada dalam audio, model akan menghasilkan teks kosong, sehingga mengurangi risiko kesalahan pengenalan dan pemicu yang disebabkan oleh suara non-target.
Lebih lanjut, Xiaomi menyatakan bahwa Xiaomi-CocktailASR-1 mendukung mode penalaran rantai pemikiran, yang dapat memberikan proses penalaran yang dapat dijelaskan untuk hasil pengenalan. Saat ini, bobot model dan kode penalaran Xiaomi-CocktailASR-1 telah dibuka sumbernya.