Le reti neurali disegnano fumetti con lo stile che volete

Un computer può capire l'arte? La risposta è "dipende da cosa si intende per capire". Una macchina non può percepire emozioni di fronte a una scultura o un quadro, né può percepire il lavoro di un'artista o l'evoluzione storia dell'Arte stessa. Ma può "capire" come funziona un certo stile artistico e riprodurlo, grazie a una […]

Un computer può capire l'arte? La risposta è "dipende da cosa si intende per capire". Una macchina non può percepire emozioni di fronte a una scultura o un quadro, né può percepire il lavoro di un'artista o l'evoluzione storia dell'Arte stessa. Ma può "capire" come funziona un certo stile artistico e riprodurlo, grazie a una tecnica chiamata trasferimento neurale di stile (Neural Style Transfer).

Tramite reti neurali, la macchina scompone una certa opera in elementi fondamentali (colore, luci, ombre, linee, etc.) e successivamente analizza le relazioni tra questi elementi. Il risultato di tale analisi è lo stile di un'opera, che spesso e volentieri coincide con lo stile personale di un certo pittore o disegnatore.

È poi possibile trasferire lo stile da un'opera all'altra, come già avevano dimostrato studi precedenti. A questi si aggiunge il lavoro di Maciej Pęśko e Tomasz TrzciÅ„ski dell'Università di Varsavia. I due scienziati hanno deciso di prendere in esame specificamente i fumetti, e soprattutto di concentrarsi solo su quegli algoritmi che non richiedono troppe risorse.

Il Neural Style Transfer infatti può risultare particolarmente oneroso, e richiede diversi secondi anche per una piccola immagine (512×512 pixel). I due scienziati invece hanno voluto cercare soluzioni che, potenzialmente, possano trovare un'applicazione pratica in tempi relativamente brevi.

Si sono quindi concentrati solo su algoritmi leggeri, che richiedono meno di due secondi per ogni conversione. In particolare, hanno lavorato con immagini da 600×450 pixel, su una piattaforma hardware dotata di una Nvidia Titan X da 12 GB. Non è certo il tipo di potenza hardware che si trova in ogni casa, ma nemmeno un sistema fantascientifico.

Selezionati i cinque algoritmi, hanno chiesto a un pubblico di cinque persone di indicare quale avesse fatto un lavoro migliore. Un sondaggio che ha decretato vincitore l'algoritmo Adaptive Instance Normalization, che usa due diverse reti: una per il trasferimento di stile e una (loss network) per gestire gli "errori", cioè le differenze macroscopiche tra input e output.

Nessuno dei metodi testati ha prodotto risultati di alta qualità, ma i migliori hanno generato vignette che in determinati contesti potrebbero risultare accettabili. Come notano i ricercatori nelle conclusioni, c'è spazio per migliorare.

Guardando a questa ricerca in proiezione, tuttavia, non è difficile immaginare che entro qualche anno questo tipo di elaborazione sarà a disposizione di tutti noi: prima sui computer più potenti e successivamente forse anche sugli smartphone. A quel punto non dovrete far altro che inventarvi una bella storia e scattare le fotografie per creare il vostro primo fumetto.

---