I ricercatori di Facebook, insieme a Google DeepMind, all'Università di Washington e New York University, hanno presentato SuperGLUE, una serie di strumenti per misurare le prestazioni dell'IA nel merito della comprensione del linguaggio naturale.
SuperGLUE è stato creato sul presupposto che i modelli di apprendimento profondo per l'IA colloquiale necessitano di nuove sfide. Il sistema utilizza il BERT di Google come base di riferimento delle prestazioni dei modelli, considerato lo stato dell'arte per molte delle analisi in ambito intelligenza artificiale.
SuperGLUE è un derivato del benchmark GLUE (General Language Understanding Evaluation) per la conoscenza del linguaggio artificiale, lanciato nell'aprile 2018 dai ricercatori della NYU, Washington e DeepMind, e progettato per incoraggiare la costruzione di modelli in grado di comprendere un linguaggio più complesso o sfumato.
GLUE assegna un punteggio numerico basato sull'esecuzione di nove compiti di comprensione delle frasi (in inglese) a sistemi NLU, come lo Stanford Sentiment Treebank (SST-2), per derivare il risultato da un set di dati di recensioni di film online. BERT è attualmente al primo posto nella classifica dei punteggi numerici di GLUE con prestazioni all'avanguardia per 4 compiti su 9.
Il nuovo benchmark include otto attività, pensate per testare la capacità di un sistema di seguire la ragione, riconoscere eventi di causa ed effetto o rispondere a domande "sì o no", dopo aver letto un breve passaggio di una recensione cinematografica.
SuperGLUE contiene anche Winogender, uno strumento di rilevamento della distorsione di genere. Una classifica SuperGLUE verrà pubblicata online su super.gluebenchmark.com.