Facebook har vidareutvecklat den artificiella intelligens man använt för att beskriva vad som finns på bilder på sin tjänst sedan 2016. I den uppdaterade versionen av systemet som Facebook kallar för "automatic alternative text" (AAT) har man använt sig av en teknik där AI:n lärt sig från så kallad "weakly supervised data". Facebook skriver om detta:

"For our latest iteration of AAT, we leveraged a model trained on weakly supervised data in the form of billions of public Instagram images and their hashtags. To make our models work better for everyone, we fine-tuned them so that data was sampled from images across all geographies, and using translations of hashtags in many languages. We also evaluated our concepts along gender, skin tone, and age axes. The resulting models are both more accurate and culturally and demographically inclusive — for instance, they can identify weddings around the world based (in part) on traditional apparel instead of labeling only photos featuring white wedding dresses."

Med hjälp av den nya tekniken kan ATT nu känna igen över 1200 olika koncept-beskrivningar vilket är en rejäl utökning från de cirka 100 AI:n kunde känna igen när den lärde sig från bilder som märkts upp av Facebook själva, så kallad "heavily supervised data".

Den nya versionen av ATT kan även se hur många människor som finns i en bild samt var dessa är placerade. Det ska även gå att få mer detaljerad information om objekten på bilden, till exempel vilken typ av objekt det är, hur stora de är och var på bilden de är placerade. Facebook planerar att rulla ut den nya versionen av ATT på sin tjänst någon gång under det kommande året.