Meta ha desarrollado su propio modelo de lenguaje. Massively Multilingual Speech (MMS) no es un clon de ChatGPT de OpenAI por una vez.
MMS puede reconocer más de 4000 idiomas hablados y admite conversión de texto a voz en 1100 idiomas. Como es tradición, Meta está haciendo que sus proyectos sean de código abierto y ahora MMS también lo es, “para preservar la diversidad lingüística y alentar a los investigadores a construir sobre esa base”, dijo la plataforma de redes sociales. saber.
El desarrollo de modelos de reconocimiento de voz y de texto a voz normalmente requiere miles de horas de capacitación en audio con etiquetas de transcripción asociadas. Estos últimos son necesarios para que los algoritmos categoricen y comprendan correctamente los datos. En el caso de lenguas que no se utilizan (mucho) en la sociedad moderna, el modelo lingüístico puede ser un medio para evitar que esa riqueza desaparezca.
MMS utiliza textos religiosos
Llama la atención que Meta haya adoptado un enfoque inusual para recopilar los datos de audio. Por ejemplo, se basó en grabaciones de textos religiosos traducidos. “Utilizamos textos religiosos, como los de la Biblia, que se han traducido a muchos idiomas a lo largo de los años y cuyas traducciones ya han sido ampliamente estudiadas para la investigación de traducción basada en textos”, dijeron Zuckerberg y compañía. De esta forma, los investigadores habrían conseguido aumentar a más de 4.000 los idiomas disponibles para el modelo.
“Si bien el contenido de las grabaciones es religioso, nuestra investigación muestra que esto no influye en la producción de un lenguaje aún más religioso”, escribió Meta. “Esto se debe a que nuestro enfoque se basa en una ‘clasificación temporal conexionista’ (CTC), que es mucho más compacta y enfocada que otros grandes modelos lingüísticos (LLM). Además, tanto hombres como mujeres tienen textos grabados”, suena.
Posteriormente, Meta comenzó a trabajar con su wav2vec 2.0, un modelo de autoaprendizaje que puede entrenarse a partir de datos sin etiquetar. “Los resultados son buenos. Muestran que el modelo de habla masiva multilingüe funciona muy bien en comparación con los modelos existentes. “Admite 11 veces más idiomas que Whisper de OpenAI”, concluyen los investigadores.
