Google DeepMind visar upp AI som gör soundtrack till videos. Kan även förse filmer med dialog.

Teknik

Motor

Samhälle

Spel

Popkultur

Fritid

Tjock

Tester

Dagens fråga

Tipsa!

Skaffa Feber+

Hetaste

Senaste

Google DeepMind visar upp AI som gör soundtrack till videos

Kan även förse filmer med dialog

Googles AI-division Google DeepMind har visat upp en AI som kan ljudsätta videoklipp med passande ljud. Tekniken kallas för "Video-to-Audio" (V2A) och tar ett videoklipp samt text som input, varpå ett lämpligt soundtrack genereras.

Googles V2A-AI analyserar både texten som beskriver vilken typ av ljud användaren önskar ljudsätta sitt videoklipp med, såväl som videoklippet så att ljudet som genereras passar till detta. I videoklippet ovan var textbeskrivningen för musiken som skulle genereras "Cinematic, thriller, horror film, music, tension, ambience, footsteps on concrete". Här nedan syns ett exempel med text-beskrivningen "Cute baby dinosaur chirps, jungle ambience, egg cracking".

AI:n kan även förse videoklipp med dialog, något som syns i det sista exemplet nedan. Där har AI:n matats med texten: "Music, Transcript: “this turkey looks amazing, I’m so hungry”".

V2A-AI:n ska gå att använda på alla typer av filmklipp och kan även kombineras med Googles AI-modell Veo som vi skrivit om tidigare. Hoppar ni vidare till projektets webbplats på länken nedan kan ni kolla in några fler exempel där V2A-AI:n ljudsatt korta videoklipp. AI:n är än så länge inte tillgänglig publikt och när den eventuellt kommer att släppas är oklart.

deepmind.google

Internet, Google,

google deepmind, deepmind, artificiell intelligens, V2A, video-to-audio

Via techcrunch.com