Alcuni ricercatori hanno sviluppato un chatbot IA capace di funzionare in locale e su qualsiasi dispositivo, che si tratti di un vecchio PC con grafica integrata o di un iPhone. Il progetto prende il nome di MLC LLM e usa la Machine Learning Compilation (MLC, appunto) per rendere il modello di linguaggio leggero, così da poter essere eseguito anche su hardware "datato".
La maggior parte dei chatbot IA ha infatti bisogno di un'enorme potenza di elaborazione, motivo per cui sono solitamente ospitati nel cloud e per essere usati richiedono una connessione ad internet. MLC LLM elabora tutti i dati in locale, salvaguardando anche la privacy dato che non c'è nessun bisogno di accedere alla rete: il chatbot funziona anche se siete completamente offline. Il team di sviluppo ha creato anche Web LLM, un progetto correlato a MLC LLM che esegue il chatbot in un browser web. Si tratta di una soluzione decisamente pratica per chi vuole provarlo senza installarlo sul proprio PC o iPhone. Web LLM necessita di WebGPU per funzionare correttamente, quindi per provarlo dovrete installare la versione Canary di Chrome, dedicata agli sviluppatori e che integra la funzionalità; la versione iOS ha invece bisogno di un iPhone con 6GB di RAM o più, dato che solo il chatbot occupa 4GB.
MLC LLM si basa su Vicuna-7B-V1.1, un modello di linguaggio addestrato negli scorsi due mesi e basato su LLaMA di Meta. Non offre le prestazioni di GPT4 ed è inferiore anche a GPT 3.5, ma considerando le dimensioni ridotte e la potenza necessaria per eseguirlo, dai test sembra comportarsi decisamente bene.
Gli sviluppatori hanno pubblicato le istruzioni per l'installazione sul proprio sito, mentre su GitHub è disponibile tutto il codice sorgente. Al momento, MLC LLM può essere installato su Windows, Linux, macOS e iOS; manca una versione Android, ma è probabile che arriverà in futuro.
