m

Googles AI tittar på TV för att bli bättre på läppläsning

Har nu 46,8 procents träffsäkerhet

Webb / Google

Att läsa läppar är svårt, men Googles AI DeepMind blir bara bättre och bättre på läppläsning. Detta tack vare tusentals timmars TV-tittande som den artificiella intelligensen fått titta på. TV-programmen i fråga är till stor del från BBC och tack vare detta TV-tittande kan AI:t sätta rätt ord på munrörelserna med 46,8 procents träffsäkerhet. 46,8 procent kanske inte låter allt för imponerande, men när en professionell läppläsare fick titta på samma klipp som AI:t så hade denna endast rätt 12,4 procent av gångerna.

Tidigare i november visade ett gäng forskare vid Oxford upp ett eget läppläsarprogram vid namn LipNet som kunde tyda korrekt ord 93,4 procent av gångerna genom att bara läsa läppar. LipNet använde sig av förinspelade inslag där skådespelare fått ställa sig framför en kamera och prata där maximalt 51 ord används, medan Googles DeepMind kör mer på maskininlärning. Mer specifikt kallar Google sitt inlärningssystem för "Watch, Listen, Attend, and Spell" där DeepMind fått titta på 5 000 timmar TV-program med 118 000 meningar med 17 500 unika ord.

DeepMind-utvecklarna menar att DeepMinds läppläsning kan användas bland annat för att hjälpa hörselskadade att hänga med i konversationer, lägga till undertexter i filmer eller länkas samman med röstassistenter så att du kan prata med assistenten endast genom att röra munnen.

Gorillan Koko har dött
Vila i frid! 
31.3°
+
Roger Åberg
0
USA:s regering ogillar Googles samarbete med Huawei
Anses vara risk mot nationell säkerhet 
28.0°
+
André Stray
0
Bose släpper lurar du ska sova med
Byssan lull... 
44.3°
+
Roger Åberg
0
Audi och Hyundai ska samarbeta kring bränslecellsteknik
Vill snabba på utvecklingen 
46.2°
+
Bobby Green
0
Cyklister får köra på körbana även om det finns cykelbana
Men vad i hela fridens namn? 
33.2°
+
Bobby Green
0
Ny Teenage Mutant Ninja Turtles på ingång
Turtle Power! 
33.7°
+
André Stray
0
Steams sommarrea bara några timmar bort
Bara att börja tänja plånboken 
41.1°
+
André Stray
0
Star Wars-spinoffer har lagts på is
Efter Solo-floppen 
44.6°
+
André Stray
0
Dålig läppläsning av herrarna Trump och Jong-Un
Känns rimligt att det var det här som sades 
45.7°
+
Roger Åberg
0
En närmre genomgång av Volvo S60
Denna gång utan svengelska 
42.8°
+
Roger Åberg
0
Virvelringar som kolliderar
Vackert och tidsödande 
48.8°
+
Roger Åberg
0
Videofrossa: Nya Volvo S60
Se den på vägen, syna den och se den i fabriken 
44.2°
+
Roger Åberg
0
Lite gameplay från Mutant Year Zero: Road to Eden
Ser bra ut! 
43.0°
+
André Stray
0
Det här är nya Volvo S60!
Första Volvon som tillverkas i USA 
55.5°
+
Bobby Green
0
Matt Damon kommer att spela Carroll Shelby
Ny film om Fords Ferrari-fight på gång 
42.9°
+
Bobby Green
0
Nu kan du beställa Nokia 8110
Banantelefonen i ny version 
50.9°
+
Roger Åberg
0
Snubbe kör båt över grusväg
Alla sätt är bra utom de dåliga 
47.5°
+
Bobby Green
0
Utvecklare får egna profilsidor på Steam
Få en bättre överblick över spelkatalog 
47.3°
+
André Stray
0
John Cena och Ford har kommit överens
Efter det att John sålde sin GT i förtid 
41.4°
+
Bobby Green
0
Instagram verkar släppa IGTV idag
Dags att slå hårt mot Youtube? 
30.8°
+
André Stray
0
Escape from Monkey Island finns nu på GOG.com
Samla hela spelserien! 
42.1°
+
André Stray
0
Patentritningar visar BMW 8-serie Gran Coupe och cab
Fler versioner är på väg 
33.2°
+
Bobby Green
0
Star Trek: Discovery-skaparen jobbar på fyra Star Trek-serier
Picard kan återvända! 
45.9°
+
André Stray
0