I modelli di intelligenza artificiale generativa sono in grado di produrre risposte diverse grazie alla loro natura probabilistica, eppure chi li utilizza quotidianamente nota spesso una certa ripetitività nei contenuti generati. Le stesse battute sul caffè riemergono in query successive, le trame narrative seguono schemi prevedibili e persino compiti apparentemente semplici, come elencare gli stati americani, tendono a restituire sempre le stesse risposte. Questo fenomeno, noto come mode collapse, rappresenta una limitazione significativa che emerge durante la fase di allineamento post-addestramento dei modelli, riducendo l'efficacia di sistemi altrimenti potenti.
Un gruppo di ricercatori delle università Northeastern, Stanford e West Virginia ha sviluppato una soluzione tanto semplice quanto efficace per affrontare questo problema. Il metodo, chiamato Verbalized Sampling, consiste nell'aggiungere un'unica frase ai prompt standard: "Genera 5 risposte con le rispettive probabilità, campionate dall'intera distribuzione". Questa tecnica permette ai modelli linguistici e di generazione immagini di produrre output significativamente più diversificati senza necessità di riaddestramento o accesso ai parametri interni del sistema.
La ricerca, pubblicata sulla piattaforma ad accesso aperto arxiv.org all'inizio di ottobre 2025, dimostra come questo approccio funzioni efficacemente con modelli di punta come GPT-4, Claude e Gemini. Invece di limitarsi alla risposta più sicura e tipica, il modello verbalizza la propria distribuzione interna delle possibili completamenti e campiona da uno spettro più ampio di possibilità. Weiyan Shi, professoressa assistente alla Northeastern University e coautrice dello studio, ha sottolineato su X come il potenziale dei modelli linguistici non sia ancora completamente sfruttato e come l'ottimizzazione dei prompt possa essere guidata dalla comprensione dei processi di addestramento e allineamento.
La causa principale del collasso modale risiede nella struttura stessa delle preferenze umane, non solo negli algoritmi di apprendimento per rinforzo basato sul feedback umano (RLHF). Durante la fase di ottimizzazione, le persone tendono a valutare più positivamente risposte familiari o convenzionali, spingendo i modelli verso scelte "sicure" a scapito della diversità. Tuttavia, questa tendenza non cancella la conoscenza sottostante del modello, ma semplicemente la sopprime. Il Verbalized Sampling aggira questa soppressione invitando il modello a rivelare un insieme di risposte plausibili con le relative probabilità, ripristinando l'accesso alla ricchezza di diversità presente nel modello base.
I test condotti dai ricercatori hanno coperto diversi ambiti applicativi con risultati notevoli. Nella scrittura creativa, il metodo ha incrementato i punteggi di diversità fino a 2,1 volte rispetto ai prompt standard, mantenendo invariata la qualità. Un prompt narrativo basato sulla frase "Senza un addio" produceva scene di rottura formulaiche con l'approccio tradizionale, mentre con VS generava narrazioni che spaziavano da eventi cosmici a email silenziose e musica che si interrompe durante una danza.
Nel campo della simulazione di dialoghi persuasivi, il Verbalized Sampling ha permesso ai modelli di riprodurre pattern più simili a quelli umani, includendo esitazioni, resistenze e cambiamenti di opinione. Le distribuzioni dei comportamenti relativi alle donazioni risultavano più allineate ai dati reali quando generate con VS rispetto ai metodi tradizionali. Anche nelle domande aperte, come l'enumerazione di risposte valide, i modelli hanno coperto un insieme più ampio di opzioni senza sacrificare l'accuratezza fattuale.
Personalizzare la soglia di probabilità
Un vantaggio significativo di questa tecnica è la sua regolabilità. Gli utenti possono impostare una soglia di probabilità nel prompt per campionare dalle "code" a bassa probabilità della distribuzione del modello, ottenendo maggiore diversità senza modificare parametri di decodifica come temperatura o top-p. In un test condotto con il modello Gemini-2.5-Flash, la diversità nella scrittura creativa è aumentata progressivamente quando la soglia di probabilità è scesa da 1 a 0,001, con VS che superava costantemente sia il prompting diretto che quello basato su sequenze.
La scalabilità del metodo emerge chiaramente con modelli di dimensioni maggiori. Sistemi come GPT-4.1 e Claude-4 hanno mostrato miglioramenti in termini di diversità circa 1,5-2 volte superiori rispetto alle controparti più piccole, suggerendo che VS aiuti a sbloccare maggiormente le capacità latenti nei modelli avanzati. Nella generazione di dati sintetici, quando utilizzato per creare problemi matematici destinati all'addestramento di altri modelli, VS ha prodotto dataset più variati che hanno migliorato le performance nei benchmark competitivi di matematica.
Il metodo è già disponibile come pacchetto Python installabile tramite pip install verbalized-sampling. Il pacchetto include l'integrazione con LangChain e offre un'interfaccia semplice per il campionamento dalla distribuzione verbalizzata, consentendo agli utenti di regolare parametri come il numero di risposte, le soglie e la temperatura. Un notebook Colab live e la documentazione completa sono accessibili su GitHub con licenza Apache 2.0, particolarmente gradita in ambito enterprise.
Alcuni utilizzatori potrebbero inizialmente incontrare rifiuti o errori da parte dei modelli, che talvolta interpretano istruzioni complesse come tentativi di jailbreak. In questi casi, gli autori suggeriscono di utilizzare la versione del template nel prompt di sistema o di consultare i formati alternativi elencati sulla pagina GitHub. Ad esempio, un'istruzione a livello di sistema come "Sei un assistente utile. Per ogni query, genera cinque risposte in tag separati, ciascuna con probabilità inferiore a 0.10" migliora significativamente l'affidabilità.
Il Verbalized Sampling rappresenta una soluzione pratica a un limite profondo nel comportamento dei modelli linguistici moderni, applicabile in fase di inferenza senza richiedere riaddestramento o accesso interno. L'indipendenza da specifiche famiglie di modelli e il miglioramento non solo della diversità ma anche della qualità degli output, come confermato sia da valutazioni umane che da punteggi benchmark, ne fanno uno strumento prezioso. Con l'interesse crescente verso tecnologie che potenziano la creatività dei modelli, VS è destinato a un'adozione rapida in settori come scrittura, design, simulazione, educazione e generazione di dati sintetici, dimostrando che talvolta la soluzione a problemi complessi può risiedere semplicemente nel modo in cui formuliamo le domande.
