WuDao 2.0 è più avanzato delle controparti di OpenAI e Google?

I ricercatori della Beijing Academy of Artificial Intelligence (BAAI) hanno annunciato questa settimana un modello di elaborazione del linguaggio naturale chiamato WuDao 2.0 che, secondo il South China Morning Post, è più avanzato rispetto a quelli simili sviluppati da OpenAI e Google.

Nell’articolo viene affermato che WuDao 2.0 utilizza 1.750 miliardi di parametri per "simulare conversazioni, scrivere poesie, comprendere immagini e persino generare ricette". I modelli sviluppati da OpenAI e Google dovrebbero fare cose simili, ma usano meno parametri per farlo, il che significa che WuDao 2.0 è probabilmente migliore in queste attività. Questo nuovo modello è stato specificamente confrontato con il modello GPT-3 OpenAI annunciato nel 2020, che si basa su 175 miliardi di parametri, e quello Switch Transformer di Google che ha aumentato il numero di parametri a 1.000 miliardi a gennaio

Il numero di parametri non è l'unica cosa che conta. Anche i modelli devono essere addestrati e la quantità di dati utilizzati in tale processo migliora le loro prestazioni. Il South China Morning Post ha affermato che WuDao 2.0 è stato addestrato su "4,9 terabyte di immagini e testi, inclusi 1,2 terabyte ciascuno di testi cinesi e inglesi", da BAAI. Ma più dati non significa necessariamente dati migliori, quindi è difficile fare un confronto diretto. OpenAI ha affermato che GPT-3 è stato addestrato su soli 570 GB di dati, ad esempio, ma questo è stato dopo aver filtrato tre volte il set di dati originale per migliorarne la qualità. L'organizzazione ha effettivamente utilizzato 570 GB di dati tratti da un pool di 45 TB.

Tutto ciò per dire che i numeri grezzi associati a WuDao 2.0 sono impressionanti, ma potrebbero non essere indicativi delle sue prestazioni. Non ci vorrà molto prima che il modello venga sottoposto a stress test: secondo quanto riferito, BAAI ha collaborato con 22 aziende, tra cui il produttore di smartphone Xiaomi, per portare WuDao 2.0 nei loro prodotti. Le organizzazioni occidentali stanno spingendo di più sull'intelligenza artificiale: basta guardare i piani di NVIDIA per la sua prima CPU, la crescente dipendenza di Google per risolvere problemi come il guasto degli HDD e la spinta di ARM per migliorare le prestazioni di apprendimento automatico tramite l'architettura del set di istruzioni ARM V9.