Xiaomi ha anunciado oficialmente y ha abierto el código fuente de su modelo de reconocimiento de voz para hablantes específicos de nivel industrial, Xiaomi-CocktailASR-1, el 11 de septiembre. Según la cuenta oficial de Weibo de Xiaomi Technology, este modelo está diseñado específicamente para escenarios de voz complejos donde múltiples personas hablan al mismo tiempo, enfocándose en resolver el problema del "efecto cóctel", es decir, identificar y transcribir el contenido de voz de un usuario objetivo específico en un entorno ruidoso con múltiples hablantes.
Según Xiaomi, Xiaomi-CocktailASR-1 utiliza una arquitectura LLM de extremo a extremo, empleando un clip de audio de referencia del hablante objetivo como pista de voz para extraer y transcribir únicamente el contenido del hablante objetivo en situaciones donde hay superposición de voces. La compañía afirma que el modelo se basa en el entrenamiento de datos de múltiples hablantes a gran escala y ha alcanzado el mejor rendimiento en varios conjuntos de prueba de múltiples hablantes populares como AliMeeting, AMI y LibriMix.
Xiaomi-CocktailASR-1 tiene la capacidad de reconocer la voz de múltiples hablantes
Además, su rendimiento en escenarios de un solo hablante es comparable al de los principales modelos ASR para individuos, pudiendo manejar tanto situaciones de un solo hablante como de múltiples hablantes con el mismo modelo, sin necesidad de cambiar entre diferentes modelos de reconocimiento de voz. Además, el modelo tiene la capacidad de rechazar muestras negativas, pudiendo emitir un texto vacío si el hablante objetivo no está presente en el audio, reduciendo así el riesgo de errores de reconocimiento y activación por voz no deseada.
Xiaomi también menciona que Xiaomi-CocktailASR-1 admite un modo de razonamiento de cadena de pensamiento, lo que le permite proporcionar un proceso de razonamiento explicable para los resultados de reconocimiento. Actualmente, los pesos del modelo y el código de razonamiento de Xiaomi-CocktailASR-1 han sido abiertos.