Meta ha sviluppato un nuovo sistema di traduzione chiamato Seamless, in grado di tradurre il parlato tra 36 lingue diverse in tempo reale. Il progetto, guidato da un team di oltre 50 persone, mira a creare un traduttore universale simile a quello di Star Trek, preservando voce, tono ed emozioni del parlante originale.
Il sistema Seamless affronta due problemi principali dei traduttori AI esistenti: la formalità del linguaggio e la scarsità di dati audio allineati, soprattutto per le lingue meno diffuse. Per superare queste limitazioni, il team di Meta ha adottato un approccio innovativo basato sul concetto di "linguaggio universale" teorizzato dal matematico Warren Weaver nel 1949.
Invece di utilizzare testi allineati manualmente, i ricercatori hanno creato uno spazio vettoriale multidimensionale chiamato SONAR (Sentence-level Multimodal and Language-Agnostic Representations), combinando dati testuali e vocali di tutte le lingue come se fossero un'unica lingua. Questo ha permesso di generare automaticamente enormi quantità di dati allineati, anche per lingue con poche risorse.
Utilizzando questi dati, il team ha addestrato diversi modelli AI di traduzione. Il più avanzato, chiamato SEAMLESSM4T v2, è in grado di:
- Tradurre parlato-parlato da 101 lingue sorgente in 36 lingue di output
- Tradurre testo-testo
- Funzionare come sistema di riconoscimento vocale in 96 lingue
- Tradurre parlato-testo da 101 a 96 lingue
- Tradurre testo-parlato da 96 a 36 lingue
Il modello ha superato i sistemi di traduzione a cascata esistenti dell'8% nelle traduzioni parlato-testo e del 23% in quelle parlato-parlato, secondo le metriche standard di valutazione.
Oltre a SEAMLESSM4T, il team di Meta ha già integrato due ulteriori modelli: SeamlessStreaming che consente la traduzione in tempo reale mentre si parla, simulando un interprete simultaneo umano; SeamlessExpressive, che preserva le caratteristiche espressive della voce originale come tono, prosodia, volume e ritmo, trasferendole nella lingua di destinazione.
Attualmente, questi due modelli funzionano separatamente e SeamlessExpressive supporta solo inglese, spagnolo, francese e tedesco. Nonostante ciò, rappresentano comnunque un significativo passo avanti verso la realizzazione di un traduttore universale in stile Star Trek.
Insomma, il sistema Seamless dimostra il potenziale dell'intelligenza artificiale nel superare le barriere linguistiche, aprendo nuove possibilità per la comunicazione globale e l'accessibilità. Tuttavia, sono necessari ulteriori sviluppi per integrare completamente tutte le funzionalità in un unico sistema fluido e supportare un numero ancora maggiore di lingue.