OpenAI ha sviluppato uno strumento potenzialmente in grado di individuare i testi scritti da ChatGPT, in particolare quelli degli studenti che usano l'IA per i propri compiti, ma non è certa di volerlo rilasciare.
Un portavoce di OpenAI ha confermato a TechCrunch che la società sta conducendo ricerche sul metodo di filigrana del testo descritto nell'articolo del WSJ. Tuttavia, ha sottolineato che stanno adottando un approccio cauto, a causa della complessità della questione e del potenziale impatto su un ecosistema più ampio. Tra i rischi, ci sono la vulnerabilità all'elusione da parte di malintenzionati e il potenziale impatto sproporzionato su gruppi come i non madrelingua inglesi.
Il metodo di filigrana del testo che stiamo sviluppando è tecnicamente promettente, ma presenta importanti rischi che stiamo valutando mentre ricerchiamo alternative.
Questa volta siamo di fronte a un approccio diverso rispetto alla maggior parte dei precedenti tentativi di rilevare testi generati dall'intelligenza artificiale, che si sono rivelati in gran parte inefficaci. La stessa OpenAI ha chiuso il suo precedente rilevatore di testi AI lo scorso anno a causa della scarsa precisione.
Con la filigrana del testo, OpenAI si concentrerebbe esclusivamente sul rilevamento di scritture provenienti da ChatGPT, non dai modelli di altre aziende. Lo farebbe apportando piccole modifiche al modo in cui ChatGPT seleziona le parole, creando essenzialmente una filigrana invisibile nella scrittura che potrebbe essere successivamente rilevata da uno strumento separato.
In seguito alla pubblicazione dell'articolo del WSJ, OpenAI ha anche aggiornato un vecchio post sulla sua ricerca per il rilevamento di contenuti generati dall'AI. L'aggiornamento afferma che la filigrana del testo si è dimostrata "altamente accurata ed efficace anche contro le manomissioni localizzate, come la parafrasi", ma "meno robusta contro le manomissioni globalizzate" come l'uso di sistemi di traduzione o la riformulazione con un altro modello generativo.
OpenAI suggerisce inoltre che questo metodo è "banale da aggirare per i malintenzionati". Come se non bastasse, l'azienda ribadisce anche il punto del portavoce sui non madrelingua inglesi, scrivendo che la filigrana del testo potrebbe "stigmatizzare l'uso dell'AI come utile strumento di scrittura per i non madrelingua inglesi".