AMD ha risposto alle recenti rivelazioni di Nvidia e Intel sui loro chatbot AI eseguiti localmente, presentando una propria soluzione per i possessori di processori Ryzen e Radeon.
In un tutorial composto da cinque o sei passaggi, gli utenti possono iniziare a interagire con un chatbot AI che funziona direttamente sull'hardware locale invece di affidarsi al cloud, senza richiedere alcuna esperienza di codifica.
La guida di AMD richiede ai utenti di disporre di un chip Ryzen AI PC o di una GPU della serie RX 7000. Attualmente, Ryzen AI è disponibile solo su APU Ryzen di fascia alta basate su Phoenix e Hawk Point con grafica integrata Radeon 780M o 760M.
Anche se sembra che il Ryzen 5 8500G potrebbe non funzionare, l'applicazione richiede solo una "CPU con supporto AVX2", suggerendo che potrebbe funzionare (forse lentamente) su una vasta gamma di processori.
Per seguire il tutorial, gli utenti devono scaricare e installare LM Studio, che offre una versione ROCm per gli utenti della serie RX 7000. Questo pacchetto standard funziona anche con CPU Intel e GPU Nvidia.
Dopo l'installazione e l'avvio di LM Studio, gli utenti possono cercare il modello di chatbot desiderato, come il chatbot ottimizzato Llama 2 7B. AMD consiglia l'uso di modelli con l'etichetta "Q4 K M", che indica un livello specifico di quantizzazione (4-bit) e altre caratteristiche.
Il tutorial di AMD offre un metodo ufficiale, e facile, per eseguire chatbot AI su tutti gli hardware consumer di AMD, Intel e Nvidia. In precedenza, Nvidia aveva presentato l'app Chat with RTX, esclusiva per le sue GPU, che offre funzionalità avanzate come l'analisi di documenti e video. Le soluzioni di Intel sono invece più complesse, richiedendo l'utilizzo di Python per codificare un chatbot AI locale.
Sebbene AMD non abbia ancora una propria app di chatbot AI, sembra essere in vantaggio rispetto a Intel per quanto riguarda le funzionalità, con il supporto almeno dell'hardware ROCm GPU.
Il prossimo passo potrebbe essere la creazione di una versione di Chat with RTX o la collaborazione con gli sviluppatori di LM Studio per migliorare le funzionalità su hardware AMD.
Esiste anche la possibilità di integrare la funzionalità AI nella suite dei driver Radeon Adrenalin, dato che AMD già implementa ottimizzazioni AI a livello di driver e aggiorna regolarmente la suite con nuove funzionalità.