Intel ha reso open source la propria libreria di accelerazione NPU, una bella novità per sviluppatori e appassionati, che ora possono ottimizzare le proprie app che sfruttano l’IA per farle funzionare meglio con l’unità dedicata all’intelligenza artificiale dei nuovi processori Intel Meteor Lake, così da velocizzarle e renderle più efficienti. A dare la notizia è l’Intel Tech Evangelist Tony Mongkolsmai, tramite un post sul suo profilo X.
La decisione di Intel sottolinea l’impegno dell’azienda nei confronti dell’intelligenza artificiale e degli AI PC, nati con i processori Intel Meteor Lake “Core Ultra” e che saranno il futuro della tecnologia. La libreria è basata su Python e semplifica di molto lo sviluppo delle app, fornendo un’interfaccia ad alto livello e supportando framework popolari come TensorFlow e PyTorch, così da permettere agli sviluppatori di sfruttare al massimo le capacità della libreria per efficientare il più possibile i carichi di intelligenza artificiale.
Mongkolsmai ha sfruttato la libreria di accelerazione NPU su un computer portatile MSI Prestige 16 AI Evo per eseguire TinyLlama e l’LLM Gemma-2b-it, senza avere problemi di prestazioni e dimostrando l’importanza di questa decisione. Il team di sviluppo di Intel sulla pagina GitHub descrive la libreria in questo modo:
La libreria di accelerazione NPU di Intel è una libreria Python progettata per aumentare l'efficienza delle vostre applicazioni sfruttando la potenza dell'Intel Neural Processing Unit (NPU) per eseguire calcoli ad alta velocità su hardware compatibile.
Nella nostra ricerca di migliorare significativamente le prestazioni della libreria, stiamo indirizzando i nostri sforzi verso l'implementazione di una serie di funzionalità chiave, tra cui:
- 8-bit quantization
- 4-bit Quantization and GPTQ
- NPU-Native mixed precision inference
- Float16 support
- BFloat16 (Brain Floating Point Format)
- torch.compile support
- LLM MLP horizontal fusion implementation
- Static shape inference
- MHA NPU inference
- NPU/GPU hetero compute
- Paper
La decisione di Intel di rendere la libreria open source è assolutamente da apprezzare, visto che darà un aiuto enorme sia agli sviluppatori che agli utenti finali, permettendo a tutti di migliorare l’implementazione delle applicazioni IA in esecuzione in locale su PC dotati di processore Intel Meteor Lake “Core Ultra”, sfruttandoli davvero al massimo.