Gli scienziati di DeepMind hanno scoperto come sfruttare le potenza di un Large Language Model (LLM) per ottenere notevoli tassi di compressione lossless sia per le immagini che per l'audio. Con la loro creazione innovativa, Chinchilla 70B, questo team di ricerca ha dimostrato che l'intelligenza artificiale può spingersi oltre i confini della tecnologia di compressione, superando i metodi tradizionali del settore.
L'LLM Chinchilla 70B, addestrato prevalentemente su dati testuali, è stato riproposto per la compressione di immagini e audio. I risultati sono a dir poco sorprendenti. Utilizzando un algoritmo di compressione specializzato, i ricercatori sono riusciti a ridurre le dimensioni delle immagini ad appena il 43,4% e i file audio ad appena il 16,4% delle loro dimensioni originali. Questi risultati superano le capacità degli algoritmi di compressione standard, come PNG per le immagini, che le riduce solo al 58,5%, e FLAC per l'audio, che le comprime al 30,3% delle dimensioni iniziali. Questa scoperta apre nuovi orizzonti per l'archiviazione dei dati e promette di liberare spazio sostanziale anche sulle migliori unità SSD.
La chiave di questa innovazione sta nel riconoscere la connessione tra modelli predittivi e compressione. Gli scienziati di DeepMind hanno sfruttato le capacità predittive di Chinchilla 70B e hanno riformulato la sfida come un "problema di previsione" nel contesto della compressione dei file. Questo approccio ha rivelato che qualsiasi compressore può fungere da modello generativo condizionale e viceversa, sfumando di fatto i confini tra i due mondi.
Sebbene questo risultato sia notevole, presenta dei limiti. I risultati della compressione potrebbero non essere pratici per i file molto grandi. I ricercatori di DeepMind hanno sottolineato che i loro modelli possono ottenere una compressione impressionante solo fino a una certa soglia di dimensioni dei file. Oltre questa soglia, i metodi di compressione tradizionali come 7zip possono rimanere più efficienti e veloci.
"Abbiamo valutato modelli preaddestrati di grandi dimensioni utilizzati come compressori rispetto a vari compressori standard e abbiamo dimostrato che sono competitivi non solo sul testo ma anche su modalità su cui non sono mai stati addestrati. Abbiamo dimostrato che il punto di vista della compressione fornisce nuovi spunti sulle leggi di scalabilità, poiché tiene conto delle dimensioni del modello, a differenza dell'obiettivo log-loss, che è standard nell'attuale ricerca sulla modellazione linguistica".
La scoperta di DeepMind con Chinchilla 70B promette di ridisegnare il panorama della tecnologia di compressione. Sebbene non possa sostituire del tutto i metodi di compressione tradizionali, è una prova del potere dell'intelligenza artificiale nel migliorare la gestione dei dati e rappresenta uno sviluppo entusiasmante per il mondo tecnologico e non solo.
