Google introduceert MusicLM AI

Google introduceert MusicLM, een model dat hifi-muziek genereert op basis van tekstbeschrijvingen zoals 'een kalmerende vioolmelodie ondersteund door een vervormde gitaarriff'. MusicLM werpt het proces van voorwaardelijke muziekgeneratie op als een hiërarchische reeks-naar-reeks modelleringstaak, en het genereert muziek op 24 kHz die gedurende enkele minuten consistent blijft – meldt Google Research.

Een indrukwekkend nieuw AI-systeem van Google kan muziek in elk genre genereren met een tekstbeschrijving. Maar het bedrijf, uit angst voor de risico's, heeft geen onmiddellijke plannen om het vrij te geven. Met de naam MusicLM is Google zeker niet het eerste generatieve AI-systeem voor liedjes. Er zijn andere pogingen geweest, waaronder Riffusion, een AI die muziek componeert door deze te visualiseren, evenals Dance Diffusion, Google's eigen AudioML en OpenAI's Jukebox. Maar vanwege technische beperkingen en beperkte trainingsgegevens is geen enkele in staat geweest om nummers te produceren die bijzonder complex zijn qua compositie of hifi. MusicLM is misschien wel de eerste die dat kan.

Onze experimenten tonen aan dat MusicLM beter presteert dan eerdere systemen, zowel wat betreft audiokwaliteit als het naleven van de tekstbeschrijving. Bovendien laten we zien dat MusicLM kan worden geconditioneerd op zowel tekst als een melodie, in die zin dat het gefloten en geneuriede melodieën kan transformeren volgens de stijl die wordt beschreven in een tekstbijschrift. Om toekomstig onderzoek te ondersteunen, geven we publiekelijk MusicCaps vrij, een dataset bestaande uit 5,5k muziek-tekstparen, met rich text-beschrijvingen geleverd door menselijke experts. Luister naar de samples hier.

Gedetailleerd in een academische paper, werd MusicLM getraind op een dataset van 280.000 uur muziek om te leren coherente liedjes te genereren voor beschrijvingen van - zoals de makers het uitdrukten - "aanzienlijke complexiteit" (bijv. "betoverend jazznummer met een gedenkwaardige saxofoonsolo en een solozanger' of 'techno uit de jaren 90 uit Berlijn met een lage bas en een sterke kick'.

De nummers klinken opmerkelijk genoeg ongeveer zoals een menselijke artiest zou kunnen componeren, zij het niet noodzakelijkerwijs zo inventief of muzikaal samenhangend. Het is moeilijk te overschatten hoe goed de samples klinken, aangezien er geen muzikanten of instrumentalisten in de loop zijn. Zelfs met ietwat lange en meanderende beschrijvingen slaagt MusicLM erin om nuances als instrumentale riffs, melodieën en stemmingen vast te leggen.