I ricercatori di IBM puntano sugli 8 bit per l’evoluzione del mondo delle intelligenze artificiali. L’obiettivo è aumentare la velocità dei chip e abbattere i consumi del deep learning, senza sacrificare l’accuratezza. “Stiamo ponendo le basi per un nuovo standard nel settore dell’allenamento delle AI con un approccio che raggiunge la massima accuratezza con una precisione a 8 bit, accelerando il tempo di allenamento da due a quattro volte rispetto ai sistemi attuali”.

Al tempo stesso, IBM ha raggiunto una precisione di 8 bit, la più alta finora, per un chip analogico, più o meno raddoppiando l’accuratezza dei precedenti chip. Il bello è che tutto ciò è avvenuto con un consumo di 33 volte inferiore rispetto a un’architettura digitale con una simile precisione.

“Questi risultati fanno da apripista a una nuova era di hardware progettato per liberare tutto il potenziale dell’intelligenza artificiale”, tanto che IBM parla di un percorso che porterà a un’era post-GPU. “Le innovazioni in campo software e hardware hanno permesso di migliorare le prestazioni delle AI di 2,5 volte all’anno a partire dal 2009, quando le GPU sono state adottate per accelerare il deep learning. Stiamo tuttavia raggiungendo i limiti di quello che GPU e software possono fare”, spiega IBM (chissà cosa ne pensa Nvidia…).

Perciò in casa IBM “stanno riprogettando l’hardware con l’IA in mente”, ma non solo. IBM Research sta lavorando alacremente su “approcci a precisione ridotta” per l’allenamento e l’inferenza di modelli di intelligenza artificiale. Il frutto di questi sforzi è condensato in un documento intitolato “Training Deep Neural Networks with 8-bit Floating Point Numbers“, dove vengono proposte nuove idee per superare “le sfide e le ortodossie associate all’allenamento a precisione ridotta sotto i 16 bit”.

Ed è proprio usando tali approcci che IBM ha dimostrato per la prima volta la capacità di allenare modelli di deep learning con precisione a 8 bit, preservando l’accuratezza in tutte le principali categorie di dati AI: immagini, testo e linguaggio.

“Le tecniche accelerano il tempo di addestramento delle reti neurali profonde (DNN) da due a quattro volte rispetto ai sistemi a 16 bit attuali. Sebbene in precedenza fosse considerato impossibile ridurre ulteriormente la precisione per l’allenamento, prevediamo che questo approccio diventerà uno standard industriale ampiamente adottato nei prossimi anni”.

Ridurre la precisione dovrebbe contribuire a portare sempre di più l’intelligenza artificiale direttamente nei dispositivi nelle mani degli utenti, o come viene detto negli Stati Uniti, “at the edge“. Ed è qui che la tecnologia analogica entra in gioco. Secondo IBM è un abbinamento ideale grazie all’affidabilità e l’alta efficienza energetica.

“Gli acceleratori analogici alimenteranno una roadmap di hardware per l’accelerazione dell’intelligenza artificiale oltre i limiti degli approcci digitali tradizionali”, afferma IBM. “Mentre l’hardware digitale per l’AI va verso la riduzione della precisione, l’analogico finora è stato limitato dalla sua precisione intrinseca relativamente bassa, che ha influito sul modello di accuratezza. Per compensare abbiamo sviluppato una nuova tecnica, raggiungendo la più alta precisione di sempre per un chip analogico”.

Nel documento “8-bit Precision In-Memory Multiplication with Projected Phase-Change Memory“, IBM spiega che questa tecnica ha raggiunto una precisione a 8 bit in un’operazione di moltiplicazione scalare, raddoppiando l’accuratezza dei chip analogici precedenti, e consumando 33 volte meno energia rispetto a un’architettura digitale con una precisione simile.

La chiave per la riduzione dei consumi è stata quella di cambiare l’architettura di calcolo. Con l’hardware attuale i dati devono essere spostati dalla memoria ai processori per essere calcolati, e questo richiede un dispendio di tempo ed energia. L’alternativa è il cosiddetto “in-memory computing“, in cui le unità di memoria funzionano come processori, svolgendo un duplice ruolo. In questo modo si evita la necessità di trasferire i dati tra memoria e processore, risparmiando tempo e riducendo la richiesta energetica del 90% o più. Il dispositivo di IBM si basa su phase-change memory (PCM) – memoria a cambiamento di fase.

“La PCM registra i pesi sinaptici nel proprio stato fisico insieme a un gradiente tra amorfo e cristallino. La conduttanza del materiale cambia insieme al suo stato fisico e può essere modificata usando impulsi elettrici. È questo il modo in cui PCM è in grado di svolgere calcoli. Dato che lo stato può essere ovunque lungo il continuum tra 0 e 1, viene considerato un valore analogico, al contrario di un valore digitale, che è uno 0 o un 1, con niente nel mezzo”.

“Abbiamo migliorato la precisione e la stabilità dei pesi memorizzati in PCM con un nuovo approccio, denominato projected PCM (Proj-PCM), in cui inseriamo un segmento di proiezione non isolante in parallelo al segmento phase-change. Durante il processo di scrittura, il segmento di proiezione ha un impatto minimo sul funzionamento del dispositivo. Tuttavia, durante la lettura, i valori di conduttanza di stati programmati sono per lo più determinati dal segmento di proiezione, che è notevolmente immune alle variazioni di conduttanza. Ciò consente ai dispositivi Proj-PCM di raggiungere una precisione molto più elevata rispetto ai precedenti dispositivi PCM”.

La precisione maggiore raggiunta indica che l’in-memory computing può essere in grado di ottenere alte prestazioni di deep learning in ambienti a basso consumo, come l’Internet of Things. Nella sostanza, IBM vede un futuro in cui microonde, lavatrici, smartphone e altri dispositivi elettronici avranno al loro interno un’intelligenza artificiale capace di rispondere alle esigenze delle persone e di evolvere con l’esperienza.