Google DeepMind visar upp AI som gör soundtrack till videos
Kan även förse filmer med dialog
Googles AI-division Google DeepMind har visat upp en AI som kan ljudsätta videoklipp med passande ljud. Tekniken kallas för "Video-to-Audio" (V2A) och tar ett videoklipp samt text som input, varpå ett lämpligt soundtrack genereras.
Googles V2A-AI analyserar både texten som beskriver vilken typ av ljud användaren önskar ljudsätta sitt videoklipp med, såväl som videoklippet så att ljudet som genereras passar till detta. I videoklippet ovan var textbeskrivningen för musiken som skulle genereras "Cinematic, thriller, horror film, music, tension, ambience, footsteps on concrete". Här nedan syns ett exempel med text-beskrivningen "Cute baby dinosaur chirps, jungle ambience, egg cracking".
AI:n kan även förse videoklipp med dialog, något som syns i det sista exemplet nedan. Där har AI:n matats med texten: "Music, Transcript: “this turkey looks amazing, I’m so hungry”".
V2A-AI:n ska gå att använda på alla typer av filmklipp och kan även kombineras med Googles AI-modell Veo som vi skrivit om tidigare. Hoppar ni vidare till projektets webbplats på länken nedan kan ni kolla in några fler exempel där V2A-AI:n ljudsatt korta videoklipp. AI:n är än så länge inte tillgänglig publikt och när den eventuellt kommer att släppas är oklart.











Läs gärna våra regler!