CriticGPT è il nuovo strumento di OpenAI progettato per identificare errori nel codice generato da ChatGPT. Questo strumento basato su GPT-4 è pensato per aiutare i formatori di IA a individuare errori in modo più rapido ed efficiente rispetto a quanto farebbero senza l'ausilio dell'intelligenza artificiale.
Secondo quanto dichiarato da OpenAI:
"...quando le persone ricevono aiuto da CriticGPT per revisionare il codice di ChatGPT, ottengono risultati migliori nel 60% dei casi rispetto a coloro che non ricevono aiuto. Stiamo iniziando a integrare modelli simili a CriticGPT nel nostro ciclo di etichettatura RLHF, fornendo ai nostri formatori un'assistenza AI esplicita".
OpenAI intende utilizzare il metodo del Reinforcement Learning from Human Feedback (RLHF) per rendere ChatGPT più "utile e interattivo". Un aspetto integrale di questo processo è raccogliere confronti dai formatori AI basandosi su come valutano diverse risposte di ChatGPT rispetto ad altre.
CriticGPT aiuterà a migliorare le capacità di ragionamento di ChatGPT, riducendo allo stesso tempo le allucinazioni o la generazione di risposte e informazioni errate. Con il progredire di ChatGPT, diventa sempre più difficile identificare errori nel codice che produce. CriticGPT è principalmente addestrato per identificare e scrivere critiche evidenziando le inesattezze nelle risposte di ChatGPT. Anche se non è sempre totalmente preciso e la stessa OpenAI ne ha messo in evidenza gli episodi di allucinazioni, questo strumento ha già una grande utilità nell'ambito della formazione dei modelli IA.
Secondo i report, CriticGPT migliorerà le competenze dei formatori, mettendo a loro disposizione tecniche di critica più complete. La combinazione di una mente umana e di CriticGPT sembra essere preferita e più accurata nel fornire critiche dettagliate e precise.
Sempre secondo le scoperte di OpenAI:
"...le critiche di CriticGPT sono preferite dai formatori rispetto a quelle di ChatGPT nel 63% dei casi su bug naturali, in parte perché il nuovo critico produce meno 'pignolerie' (piccole lamentele inutili) e allucina meno problemi".
C'è ancora molto lavoro da fare
Tuttavia, CriticGPT è ancora in fase di sviluppo e presenta alcune limitazioni. OpenAI ha sottolineato i seguenti punti critici:
- CriticGPT è stato addestrato su risposte ChatGPT che sono abbastanza brevi. Per supervisionare agenti futuri, saranno necessari metodi capaci di aiutare i formatori a comprendere compiti lunghi e complessi.
- I modelli continuano ad avere allucinazioni e talvolta i formatori commettono errori di etichettatura dopo aver visto tali allucinazioni.
- Talvolta gli errori reali possono essere distribuiti in diverse parti di una risposta. Attualmente, il lavoro si concentra sugli errori che possono essere individuati in un unico punto, ma in futuro sarà necessario affrontare anche errori dispersi.
- CriticGPT può aiutare solo fino a un certo punto: se un compito o una risposta è estremamente complessa, anche un esperto con aiuto del modello potrebbe non essere in grado di valutarla correttamente.
In futuro, OpenAI intende migliorare CriticGPT incrementando i dati di RLHF per l'addestramento di GPT-4. In un report separato, i ricercatori di Oxford hanno sfruttato l'entropia semantica per valutare la qualità e il significato degli output generati, determinando la qualità delle risposte e individuando tracce di allucinazioni.
Con l'avanzare della tecnologia, i modelli IA diventano sempre più avanzati, sofisticati e capaci di gestire compiti complessi. In prospettiva, le previsioni del CEO di NVIDIA, Jensen Huang, rispetto alla possibilità che il coding diventi obsoleto in un futuro non troppo distante sembrano sempre più concrete. Detto questo c'è ancora molta strada da fare prima che i chatbot sostituiscano i programmatori umani.