I ricercatori di Google hanno sviluppato un'intelligenza artificiale chiamata MusicLM che è in grado di generare brani musicali a partire da un testo o da una melodia fischiettata o canticchiata.
L'azienda ha caricato una serie di esempi di canzoni generate utilizzando MusicLM sul suo sito, mostrando come sia in grado di generare brani di 30 secondi a partire da descrizioni lunghe un paragrafo, così come pezzi di cinque minuti generati da una o due parole. Inoltre, il modello è in grado di modificare la musica a seconda delle richieste, nonché creare clip di 10 secondi di strumenti come il violoncello o le maracas. Per esempio, questo testo:
electronic song played in a videogame (0:00-0:15)
meditation song played next to a river (0:15-0:30)
fire (0:30-0:45)
fireworks (0:45-0:60)
produce come risultato il file audio che potete scaricare da questo link.
Tuttavia, MusicLM ha anche la capacità di simulare voci umane, le quali sembrano abbastanza convincenti in termini di tono e suono, ma non hanno ancora una qualità ottimale. Questo è evidente nell'esempio di musica da suonare in palestra, che include testi senza senso che possono essere difficili da capire. Google ha pubblicato un documento che spiega come ottenere questi risultati.
MusicLM utilizza il motore di generazione di immagini StableDiffusion per trasformare le richieste di testo in spettrogrammi che vengono poi convertiti in musica. Il sistema è stato progettato per superare gli altri sistemi di intelligenza artificiale musicale in termini di "qualità e aderenza alle richieste".
Al momento, Google è molto cauto con questo modello e non ha intenzione di renderlo disponibile al pubblico a causa dei rischi di appropriazione indebita di contenuti creativi e di potenziale appropriazione o travisamento culturale. Tuttavia, l'azienda ha dichiarato di voler pubblicare un set di dati di circa 5.500 coppie musica-testo per aiutare a addestrare e valutare altre intelligenze artificiali musicali.