Google använder maskininlärning för att skala upp bilder
Med väldigt bra resultat
Googles AI-team har experimenterat lite med maskininlärning för att göra lågupplösta bilder lite tydligare, något som lett till resultat som vi vanligtvis bara ser i diverse krimserier och annat på tv.
Google har använt sig av två olika maskininlärningsmodeller som tillämpar något som kallas för "diffusion models" för att skala upp lågupplösta bilder så att dessa blir tydligare. En av modellerna kallas för SR3 (Super-Resolution via Repeated Refinements) och ett exempel på hur den gjort en väldigt lågupplöst bild tydligare kan ni se ovan. Google skriver om SR3:
"SR3 is a super-resolution diffusion model that takes as input a low-resolution image, and builds a corresponding high resolution image from pure noise. The model is trained on an image corruption process in which noise is progressively added to a high-resolution image until only pure noise remains.It then learns to reverse this process, beginning from pure noise and progressively removing noise to reach a target distribution through the guidance of the input low-resolution image."
Den andra modellen Google använt kallar man för CDM (Cascaded Diffusion Models). Vad den kan åstadkomma med en bild som ursprungligen bara hade en upplösning på 64x64 pixlar kan ni se här nedanför.
Google skriver om CDM:
"CDM is a class-conditional diffusion model trained on ImageNet data to generate high-resolution natural images. Since ImageNet is a difficult, high-entropy dataset, we built CDM as a cascade of multiple diffusion models. This cascade approach involves chaining together multiple generative models over several spatial resolutions: one diffusion model that generates data at a low resolution, followed by a sequence of SR3 super-resolution diffusion models that gradually increase the resolution of the generated image to the highest resolution."
Ni kan läsa lite mer ingående om SR3- och CDM-modellerna i Googles AI-blogg på länken nedan. Där hittas även fler exempel där man skalat upp lågupplösta bilder. Här nedanför hittas även bonusklippet "Enhance" som jag tyckte passade väldigt bra in här.
Läs gärna våra regler!