Un modello di rappresentazione linguistica sviluppato da Microsoft è stato classificato tra i migliori al mondo nella classifica pubblica XTREME (Cross-Lingual Transfer Evaluation of Multilingual Encoders) di Google. XTREME consiste in una serie di benchmark utilizzati per lo sviluppo di modelli di rappresentazione del linguaggio, con un’enfasi sulle lingue che sono relativamente sottorappresentate nell’elaborazione del linguaggio naturale (NLP) e nell’apprendimento automatico.
“Siamo entusiasti di annunciare che con il nostro ultimo modello universale di rappresentazione del linguaggio di Turing (T-ULRv5), un modello creato da Microsoft è ancora una volta lo stato dell’arte e in cima alla classifica pubblica di Google XTREME”, ha scritto Saurabh Tiwary, vice presidente e ingegnere distinto di Microsoft, in un post sul blog scritto insieme al suo collega Lidong Zhou, uno scienziato distinto della società.
Il modello T-ULRv5 di Microsoft è stato sviluppato da due entità all’interno di Microsoft: il team Microsoft Turing e il team Microsoft Research. Microsoft aveva già superato la classifica di XTREME con modelli precedenti, compreso il predecessore di T-ULRv5, T-ULRv2. T-ULRv5 consiste di 2,2 miliardi di parametri e ha un vocabolario multilingue composto da 500.000 token. Attualmente, supera VECO di Alibaba, il secondo modello più alto nelle classifiche di XTREME, di 1,7 punti.
I benchmark di XTREME sono stati sviluppati in risposta ai maggiori progressi nel campo del NLP. Al momento in cui i benchmark sono stati stabiliti, i ricercatori dietro XTREME sentivano che i benchmark contemporanei erano limitati, poiché si concentravano principalmente sull’inglese. Nello sviluppo di XTREME, Google ha cercato di creare un mezzo migliore per valutare le “capacità di generalizzazione multilingue delle rappresentazioni multilingue attraverso 40 lingue e nove compiti”.
“Siamo motivati dall’opportunità di avanzare ulteriormente lo stato dell’arte e sviluppare nuove capacità multilingue per costruire un’IA più inclusiva”, si legge nel post del blog di Tiwary e Zhou. “Per esempio, siamo entusiasti di esplorare la traduzione automatica neurale (NMT) e la generazione del linguaggio con un codificatore multilingue. Speriamo che il nostro lavoro contribuisca al progresso della comunità per rendere l’IA più inclusiva e accessibile a tutti”.
