Abbiamo letto decine di articoli che ci hanno raccontato come ChatGPT sia stata in grado di superare esami universitari e prove scolastiche, di come sia lo strumento perfetto per scrivere saggi a prova di correzione, di come sia un programmatore abile e veloce. Ma a quanto pare c’è una cosa che l’AI ancora non sa fare: il ragioniere.
Eurekalert riporta parla infatti di uno studio, sviluppato da numerosi ricercatori in tutto il mondo, dove apprendiamo che ChatGPT non se la cava ancora abbastanza bene con la contabilità. Anche se, aggiungono gli studiosi, c’è il potenziale per l’ennesima rivoluzione. Il test è stato fatto sul modello precedente, ChatGPT 3.5, che è anche quello accessibile gratuitamente per tutti noi (usando Microsoft Edge si può usare il modello 4, ma con dei limiti).
Lo studio è stato creato da David Wood, professore di contabilità presso la BYU (Brigham Young University, USA). Wood ha chiamato a raccolta colleghi di tutto il mondo, e 327 di loro hanno risposto, inviando 25.181 domande d’esame da sottoporre all’algoritmo. Altre 2.268 sono state aggiunte dagli studenti della BYU stessa.
Ebbene, ChatGPT non è andata oltre il 47,4% di risposte esatte. Discreto, ma parecchio indietro rispetto al 76,7% ottenuto dagli studenti. Il bot è andato meglio su alcune cose, come la revisione contabile, e peggio su altre.
Prevedibilmente, ChatGPT ha ottenuto più successo nelle risposte di tipo Vero/Falso e in quelle a scelta multipla, mentre ha avuto più difficoltà in quelle dove bisognava creare una risposta testuale breve (e corretta, ovviamente).
“In generale”, spiega la fonte, “le domande di ordine superiore sono state più difficili da risolvere per ChatGPT. Infatti, a volte ChatGPT forniva descrizioni scritte autorevoli per le risposte errate, o rispondeva alla stessa domanda in modi diversi”.
La ricerca ha anche fatto emergere tre fatti interessanti:
- ChatGPT non sempre riconosce quando sta facendo matematica e commette errori senza senso, come aggiungere due numeri in un problema di sottrazione o dividere numeri in modo errato.
- ChatGPT fornisce spesso spiegazioni per le sue risposte, anche se non sono corrette. Altre volte, le descrizioni di ChatGPT sono accurate, ma poi procede a selezionare la risposta a scelta multipla sbagliata.
- ChatGPT a volte inventa i fatti. Ad esempio, quando fornisce un riferimento, genera un riferimento che sembra reale ma che è completamente inventato. L'opera e talvolta gli autori non esistono nemmeno.
Morale della storia? Nessun in particolare, ma è interessante rilevare il fatto che le professioni meno “sofisticate” come il ragioniere appunto, siano in qualche modo meno minacciate dagli algoritmi. ChatGPT può fare il programmatore e l’avvocato, e anche come medico non se la cava malaccio. C’è persino chi ha provato a usarlo come psicoterapeuta (sconsigliatissimo). Editori grafici, videomaker e copywriter sono tutti in qualche modo “a rischio”.
Tra le tante professioni “alte”, fa almeno sorridere l’idea che un ragioniere per il momento non abbia nulla di cui preoccuparsi.