In occasione del re:Invent 2023, la conferenza annuale di AWS, Amazon ha annunciato importanti novità per Bedrock, il servizio gestito che offre una varietà di modelli di fondazione e funzionalità per creare applicazioni di IA generativa, e nuove feature per SageMaker.
Tutte le novità di Amazon Bedrock
Le ultime innovazioni presentate alla conferenza rendono la creazione di modelli generativi ancora più accessibile per le imprese e offrono una maggior scelta di modelli di fondazione.
Con Bedrock le imprese possono personalizzare i modelli di IA coi dati proprietari, creare tool per automatizzare le attività e garantire lo sviluppo di applicazioni in modo sicuro e responsabile, sempre tenendo al sicuro i propri dati.
"L'IA generativa è pronta a diventare la tecnologia più rivoluzionaria del nostro tempo e siamo ispirati dal modo in cui i clienti la stanno applicando a nuove opportunità e affrontano le sfide aziendali" ha dichiarato il Dr. Swami Sivasubramanian, Vice President of Data and AI di AWS.
"Man mano che i clienti incorporano l'IA generativa nelle loro aziende si rivolgono ad Amazon Bedrock per la scelta di modelli di riferimento, le funzioni di personalizzazione, le capacità di creare agenti intelligenti, la sicurezza e la privacy di livello aziendale in un'esperienza completamente gestita. Con ancora più strumenti a portata di mano, i clienti utilizzano Amazon Bedrock per sfruttare tutto il potenziale dell'IA generativa e re-immaginare le esperienze degli utenti, reinventare le loro aziende e accelerare il loro viaggio nell'IA generativa".
Nuovi modelli di IA per i clienti AWS
Con l'obiettivo di offrire ai propri clienti più scelta possibile tra i modelli di IA generativa e soddisfare le esigenze di ogni business, AWS ha annunciato la disponibilità di Claude 2.1 di Anthropic, Llama 2 di Meta con 70 miliardi di parametri, Command Light, Embed English, Embed multilingual di Cohere e Stable Diffusion XL 1.0 di Stability AI.
Tutti i modelli sono accessibili tramite un'API per essere integrati nelle applicazioni di business, offrendo alle imprese ancora più flessibilità di sviluppo.
Le nuove versioni di Claude e Llama promettono importanti miglioramenti di performance, in particolare una maggiore accuratezza nella generazione di risultati.
Claude 2.1 migliora l'analisi e la sintesi dei documenti più lunghi e complessi, come quelli finanziari, e Anthropic ha dichiarato una riduzione di affermazioni false di due volte rispetto al modello precedente.
Llama 2 è stato addestrato sul 40% di dati in più rispetto a Llama 1 e ha raddoppiato la lunghezza della context window. Il modello è ottimizzato per casi d'uso orientati al dialogo con l'utente e ha dimostrato ottimi risultati in task di ragionamento, scrittura di codice e conoscenza generale.
Titan Image Generator e Titan Multimodal Embeddings
AWS ha anche annunciato Image Generator e Multimodal Embeddings per Titan, una famiglia di modelli di fondazione adatti a molteplici casi d'uso.
Image Generator consente di creare immagini realistiche e di alta qualità o di migliorarne di esistenti usando prompt in linguaggio naturale, con la possibilità di iterare le operazioni su grandi volumi di immagini.
Multimodal Embeddings arricchisce il già esistente Text Embeddings per aiutare i clienti a migliorare la ricerca multimodale e fornire agli utenti finali risultati più accurati sulla base del loro prompt testuale. Il modello è in grado di convertire immagini e brevi testi in "embeddings", ovvero rappresentazioni numeriche che consentono al sistema di comprendere la semantica e la relazione tra i dati e di conseguenza individuare i contenuti più rilevanti per la ricerca degli utenti.
Model Evaluation per la scelta del modello migliore
Nell'ottica di aiutare i clienti a scegliere il modello migliore per le loro esigenze, AWS ha annunciato l'anteprima di Model Evaluation, un servizio che permette di identificare il modello di IA generativo migliore per un dato scopo.
Dalla console di Bedrock, i clienti AWS possono scegliere i modelli che vogliono confrontare scegliendo dei criteri di valutazione (per esempio accuratezza, robustezza e tossicità) e scegliere il dataset su cui effettuare la comparazione, sia proprio che built-in.
Model Evaluation genera un report che indica come si comportano i modelli sulla base dei diversi criteri e specifica qual è il migliore per il task richiesto, sollevando le aziende da una lunga valutazione manuale.
Nuove personalizzazioni dei modelli
Tra le novità di Bedrock c'è Knowledge Bases, una funzionalità che consente di ottimizzare i modelli sulla base dei dati specifici delle aziende.
Knowledge Bases collega automaticamente i modelli ai dati proprietari delle imprese per garantire risposte più accurate e legate al contesto. Dopo il fine-tuning, i modelli personalizzati vengono utilizzati per alimentare i chatbot e tutti i sistemi di Q&A.
Bedrock supporterà inoltre il fine-tuning completamente gestito di Cohere Command, Llama 2, Titan Text Express, Titan Text Lite, Titan Multimodal Embeddings e Titan Image Generator, così che i clienti possano aumentare l'accuratezza dei modelli per task specifici.
Il nuovo servizio di fine-tuning di Bedrock permetterà di avere dei modelli privati in grado di generare risposte rilevanti e personalizzate sulla base di attività specifiche.
Eseguire task multi-step con Agents
I modelli di IA non devono solo essere in grado di rispondere alle domande e creare contenuti, ma devono anche saper risolvere problemi e interagire con altri sistemi aziendali; per questo, AWS ha annunciato la disponibilità generale di Agents, un servizio completamente gestito che consente alle applicazioni di IA generativa di eseguire task a più step.
Agents è in grado di interagire coi sistemi e le sorgenti dati aziendali per eseguire numerose attività di business, come rispondere a domande sulla disponibilità di un prodotto o registrare gli ordini dei clienti della compagnia.
Le organizzazioni possono scegliere il modello di AI di riferimento e creare diversi agenti specializzati in diverse attività. Gli agenti sono in grado di elaborare le richieste e scomporle in una sequenza logica per poi identificare le API da chiamare, decidendo anche il momento giusto per interagire con esse.
Guardrails per Bedrock
Guardrails per Amazon Bedrock consente ai clienti di implementare protezioni per le applicazioni di IA generativa personalizzate sulla base dei casi d'uso e dei principi di responsabilità per migliorare la privacy e la sicurezza delle interazioni con gli utenti.
Guardrails supervisiona il modo in cui i modelli gestiscono i contenuti indesiderati e dannosi nelle applicazioni, come insulti, frasi violente o pericolose e linguaggio d'odio.
I clienti possono definire specifici argomenti da evitare all'intero del contesto applicativo e livelli di tolleranza per il filtraggio dei contenuti. Sulla base delle specifiche delle organizzazioni, Guardrails valuta automaticamente sia le domande utente che le risposte dei modelli e previene la generazione di contenuti che ricadono nelle categorie proibite o superano il livello di tolleranza imposto.
Le novità di SageMaker
Durante la conferenza, AWS ha annunciato anche nuove feature per SageMaker, il servizio di machine learning completamente gestito per aiutare data scientist e sviluppatori a creare e addestrare rapidamente i modelli di ML per distribuirli in ambienti production-ready.
Le ultime novità del servizio accelerano il training e l'ottimizzazione dei modelli di machine learning aiutando i professionisti a scalare facilmente le operazioni.
HyperPod e Inference accelerano il training e l'operatività dei modelli
Per aiutare le imprese a cogliere tutti i vantaggi del machine learning, AWS ha annunciato HyperPod e Inference per SageMaker, due nuove funzionalità che semplificano e accelerano le fasi di training ed esecuzione dei modelli di ML.
HyperPod riduce i tempi di addestramento distribuito fino al 40%, limitando il rischio di errori durante il processo. Pre-configurato con le librerie di training distribuito, SageMaker consente ai clienti di suddividere automaticamente i carichi di lavoro di addestramento su migliaia di acceleratori in modo che possano essere elaborati in parallelo per migliorare le prestazioni dei modelli.
Il servizio garantisce un addestramento senza interruzioni e, nel caso di guasto hardware durante il processo, rileva automaticamente il problema e riprende il training dall'ultimo checkpoint salvato, sollevando i clienti dall'esecuzione manuale dell'attività.
Con Inference, invece, SageMaker supporta nuove capacità di inferenza per ridurre i costi di sviluppo e la latenza di risposta per migliorare l'esperienza degli utenti finali.
Inference migliora l'utilizzo degli acceleratori e consente di eseguire più modelli sulla stessa istanza, riducendo i costi di esecuzione del 50%. I clienti possono controllare separatamente le singole policy di scaling per ogni modello e adattare l'uso di ogni sistema per ottimizzare i costi infrastrutturali.
Clarify aiuta i clienti a scegliere il miglior modello di ML
Così come in Bedrock, anche in SageMaker viene integrata una nuova funzionalità per aiutare i clienti AWS a scegliere il miglior modello di machine learning per le loro necessità, in base a parametri di qualità e di affidabilità.
Clarify aiuta le organizzazioni a valutare, confrontare e selezionare i modelli migliori per il loro caso d'uso specifico, in base ai parametri scelti, per supportare l'uso responsabile dell'IA da parte dell'organizzazione.
Le imprese possono selezionare uno dei propri modelli per la valutazione o sceglierli tramite JumpStart; in seguito, in SageMaker Studio s i clienti possono specificare un compito sulla base del quale confrontare i modelli, caricando il proprio set di dati o scegliendone uno disponibile pubblicamente.
Terminato il processo di configurazione, Clarify esegue le valutazioni e genera un report in modo che i clienti possano selezionare rapidamente il modello migliore in base ai criteri di performance.
Le novità di Canvas velocizzano l'integrazione dell'IA generativa nei flussi di lavoro
Canvas aiuta i clienti AWS a costruire modelli di ML e a generare previsioni senza scrivere una sola riga di codice. Con le ultime novità, il servizio si amplia di funzionalità pronte all'uso per gestire una scelta più ampia di casi d'uso.
La nuova interfaccia di Canvas consente alle imprese di usare il linguaggio naturale per velocizzare il processo di preparazione dei dati. Gli sviluppatori e i data scientist possono chiedere di eseguire trasformazioni complesse, per esempio inserendo i dati mancanti o sostituendo quelli errati, con una semplice istruzione in linguaggio naturale.
Canvas inoltre consente di sfruttare l'interfaccia no-code esistente per caricare set di dati e selezionare un modello o costruirne uno personalizzato per generare previsioni in pochissimo tempo. Il servizio visualizza anche le metriche delle prestazioni, in modo che i clienti possano collaborare facilmente per generare previsioni utilizzando i modelli e analizzare le performance su un determinato task.