De acordo com a empresa, a tecnologia é a primeira do tipo reconhecida como multimodal.

A Meta apresentou o SeamlessM4T, um novo modelo de inteligência artificial (IA) capaz de traduzir textos e realizar transcrições de áudios. A ferramenta de código aberto tem suporte a quase 100 idiomas e será disponibilizada para pesquisadores e desenvolvedores.

De acordo com a empresa, a tecnologia é a primeira do tipo reconhecida como multimodal. Isso significa que o recurso tem a capacidade de trabalhar com textos e áudios, convertendo-os de um formato para o outro enquanto faz a tradução. Outras enquanto ferramentas semelhantes fazem apenas uma destas tarefas.
O SeamlessM4T tem suporte a:

Reconhecimento de fala e tradução de texto para texto em quase 100 idiomas;
Tradução de texto para fala em quase 100 idiomas de entrada e 35 de saída
Tradução de fala para texto para quase 100 idiomas de entrada e saída
Tradução de fala para fala, em quase 100 idiomas de entrada e 36 de saída

A Meta comparou a novidade com o fictício Peixe-Babel da série O Guia do Mochileiro das Galáxias, conhecido por traduzir qualquer linguagem para qualquer linguagem, instantaneamente. A big tech disse que a estreia do tradutor de linguagem universal representa um “passo significativo” neste trabalho, diante da baixa cobertura dos idiomas existentes no mundo.

Baseado em outros modelos de tradução lançados pela empresa, como o No Language Left Behind e o SpeechMatrix, o SeamLessM4T poderá ser utilizado em diferentes trabalhos. Uma das possibilidades é integrá-lo aos recursos usados pelos moderadores das redes sociais da organização.

Como destaca o The Verge, os profissionais que atuam na moderação de conteúdos do Facebook e do Instagram podem ter dificuldade para lidar com determinados idiomas, deixando passar postagens que violem as políticas destas plataformas. Com o auxílio do novo tradutor universal, a tendência é que os erros diminuam.

Segundo a Meta, o treinamento da IA incluiu “dezenas de bilhões de frases” e “4 milhões de horas” de falas retiradas da web. Um sistema para identificar palavras tóxicas e temas sensíveis foi adicionado à tecnologia, facilitando a filtragem destes conteúdos nas traduções.