Spleeter - softver za brzo izoliranje vokala u bilo kojoj pjesmi

Razdvajanje pjesme na vokale i instrumentalni dio oduvijek je predstavljalo glavobolju za producente, DJ-e i sve ostale koji su se poželjeli igrati s izoliranjem zvukova. Postoji puno načina da se to postigne, ali postupak može biti dugotrajan, a rezultati često nesavršeni. No, nova AI sprava s otvorenim kodom čini ovaj škakljivi zadatak bržim i jednostavnijim.

Softver se zove Spleeter i razvio ga je servis za streaming glazbe Deezer i to u istraživačke svrhe. Nedavno su objavili softver kao otvoreni paket stavljajući kod na Github da ga svatko preuzme i koristi. Samo trebate puniti Spleeter audio datoteku i ona će svaki zapis podijeliti na dva, četiri ili pet zasebnih audio zapisa. Rezultati nisu savršeni, ali su itekako upotrebljivi i sam Spleeter je veoma brz. Kad radi na točno određenom GPU-u, audio datoteke može podijeliti na četiri fajla (stema) 100 puta brže nego u stvarnom vremenu.

Kako softver radi, možete čuti na primjeru pjesme Davida Bowiea, “Changes”. Nekoliko je audio artefakata, na vokalnim i na instrumentalnim dijelovima, ali sveukupni rezultati su fantastični.

A ako Bowie nije vaš đir, evo još jednog možda i boljeg primjera: “Scatman (Ski-Ba-Bop-Ba-Dop-Bop).”

Tehnolog Andy Baio napisao je odličan blog post o Spleeteru i u blogu naveo priličan broj vlastitih primjera korištenja tog softvera. Baio kaže da izolirani vokali koje proizvodi softver “ponekad dobivaju robotizirani autotune osjećaj, ali to je mali postotak u odnosu na druga rješenja.” Kliknite na blog pa ćete naići na njegove primjere izoliranja vokalnih zapisa u pjesmama Van Halena, Marvina Gayea (“I Heard It Through the Grapevine”), Lil Nas X-a, Lizzo, Led Zeppelina i drugih.

U svom blogu Baio ističe da će Spleeter biti također vrlo koristan za one koji žele raditi svoje mashupove, potvrđujući to, u teoriji nespojivim, spojem melodije Friendsa (“I’ll Be There for You” Rembrandtsa) s tekstom stvari Billyja Joela “We Didn’t Start the Fire.”

No, iako sve djeluje jednostavno, budite svjesni da će vam ipak trebati određena tehnička stručnost da biste koristili ovaj softver. Ako se redovito ne igrate sa softverom poput Pythona ili Googleovog AI alata Alat TensorFlow (koji se koristio za razvoj Spleetera), morat ćete preuzeti nekoliko programa kako biste sve pokrenuli. I morat ćete koristiti unos naredbenog retka (iako vrlo jednostavnog) umjesto pristupačnijeg vizualnog sučelja.

Iz Deezera napominju da ovo nije prvi put da ljudi koriste strojno učenje za automatizaciju zadatka, te da su dostignuća tvrtke izgrađena na brojnim ranijim istraživanjima. U razgovoru za The Verge, voditelj odjela za podatke i istraživanje u Deezeru, Aurelien Herault, kaže da je tvrtka obučila svoj softver kroz 20.000 glazbenih zapisa s unaprijed izoliranim vokalom u različitim žanrovima. Iz tih podataka softver je naučio kako izolirati same zapise.

Sve u svemu, Spleeter je još jedan fantastičan primjer kako AI alati mogu učiniti jednostavnim neke elemente kreativnog rada. Strojno učenje trenutno se koristi za automatizaciju niza dugotrajnih zadataka, od uklanjanja pozadina na slikama do poboljšanja tekstura u starim video igrama. Sve se više ovih alata ugrađuje u potrošački softver, od Adobeovog Photoshopa do novih kandidata poput Runway ML-a.

Iz Deezera poručuju da ne planiraju pretvoriti Spleeter u potrošački alat, ali drugi bi mogli preuzeti njihov proizvod i samo aplicirati neko jednostavno sučelje. Softvere je očito idealan za DJ-eve i producente koji žele integrirati izolirane vokale u mikseve ili za ljude koji žele stvoriti vlastite karaoke podloge. (Doduše, takve aktivnosti možda nisu u skladu s zakonom o autorskim pravima ovisno o načinu distribucije konačnog proizvoda.)

Sam Deezer koristi Spleeter za niz istraživačkih aplikacija koje pomažu u poboljšanju njegove streaming usluge. “Interno ga koristimo kao alat za predobradu za složene istraživačke zadatke poput glazbene kategorizacije, transkripcije i otkrivanja jezika”, kaže Herault.

Ili, naravno, jednostavno ga možete upotrijebiti da se bolje uklopite sa Scatmanom. Ski-bi dibby dib yo da dub dub.