Un sistema simile lo adopero già in azienda, semplicemente integrando un LLM locale (altrimenti la privacy ve la potete scordare) con supporto Ollama, necessario se non si vuole impazzire con settaggi che spesso portano a incongruenze dovute a versioni supportate o non supportate dei diversi componenti fra loro, e che sono praticamente impossibili da mantenere se si fanno aggiornamenti.
Attenzione al processore che deve essere potente e recente per supportare le istruzioni necessarie, e alla RAM, meno di 16 GB non servono a niente, meglio d 32 in su.
Anche la GPU conta, per parallelizzare i calcoli e velocizzare il tutto.
Questo commento è stato nascosto automaticamente.
Più o meno.
Il RAG è spesso fatto A MONTE dell'interrogazione dell'LLM, per aiutarlo a trovare le info necessarie (stile notebookLM). Se l'LLM interrogato non è locale, quelle info finiranno sui server google/openai/chicchessia. Non le useranno per fare training (se usate le API a pagamento), ma non è detto che non vengano salvate sui loro server, per quanto non propriamente "in chiaro"...
Questo commento è stato nascosto automaticamente.