ChatGPT gira in locale su un NAS, il folle progetto visto su YouTube

Un progetto lanciato da StorageReview permette di utilizzare un chatbot AI simile a ChatGPT su un server locale utilizzando un NAS.

Avatar di Marco Silvestri

a cura di Marco Silvestri

Editor

Nel sempre più movimentato panorama tecnologico contemporaneo, StorageReview ha lanciato un progetto che consente di far funzionare un chatbot AI, simile a ChatGPT, su un server locale utilizzando un NAS (Network Attached Storage) guidato dalla potenza della scheda grafica Nvidia RTX A4000. Questo espediente consente di portare le capacità avanzate dell'intelligenza artificiale direttamente nelle mani degli utenti, senza la necessità di dipendere dai servizi cloud.

Il cuore di questa impresa tecnologica è il QNAP TS-h1290FX, un NAS pre assemblato che si distingue per le sue caratteristiche di alto livello: dotato di 12 slot NVMe, un processore AMD Epyc e 256 GB di RAM già inclusi. La scelta di questo specifico modello non è casuale: l'abilità di aggiungere una GPU interna e il supporto al programma Virtualization Station di QNAP, che permette di creare macchine virtuali, rendono questo NAS la piattaforma ideale per ospitare il progetto.

La potente combinazione tra l'hardware di alta gamma e la Nvidia RTX A4000, definita come la scheda grafica single-slot più potente di Nvidia, equipaggia il NAS con la capacità di eseguire 'Chat with RTX'. Questa innovazione di Nvidia introduce un'esperienza ChatGPT potenziata dalla scheda grafica, capace di attingere dati dai file locali.

L'integrazione dell'IA in un NAS può sembrare non convenzionale, ma in una realtà dove l'intelligenza artificiale sta diventando sempre più centrale, questa soluzione si rivela estremamente pertinente. In particolare nel mondo enterprise, dove l'analisi e l'ottimizzazione dei dati svolgono un ruolo cruciale, garantire la sicurezza di dati sensibili è fondamentale. L'utilizzo online di modelli di ChatGPT comporta rischi di privacy, in quanto si allenano con l'uso stesso, potendo accidentalmente integrare dati sensibili nel database IA.

Avendo un chatbot IA locale, scollegato dalla rete e connesso esclusivamente ai propri dati, il rischio di perdite di informazioni sensibili si annull

Questa iniziativa non solo si contrappone alla tendenza di progetti tecnologici focalizzati sull'aspetto ludico, ma offre anche una soluzione pragmatica per le aziende desiderose di sfruttare l'intelligenza artificiale per rimanere competitive. L'installazione delle capacità di ChatGPT su un NAS così avanzato, capace di ospitare fino a 15 TB su unità NVMe, è intuitiva per chiunque voglia utilizzare l'intelligenza artificiale senza compromettere la sicurezza dei propri dati.

Il progetto allontana i timori morali o le preoccupazioni legate all'utilizzo di modelli linguistici IA: operando completamente offline e formandosi sui dati del proprietario, evita problemi di furto di dati o di violazione della privacy. L'opportunità di addestrare il bot sui propri dati garantisce una personalizzazione e sicurezza senza precedenti.

Per gli appassionati di tecnologia interessati ad approfondire questo progetto o a intraprendere un'iniziativa simile, StorageReview offre una guida dettagliata sul proprio sito.