https://bodybydarwin.com
Slider Image

Facebook arbetar med AI-verktyg för att fixa bilder förstörda genom att blinka

2020

Att ta en bra bild av en person är förvånansvärt svårt. Massor av misstag kan förstöra bilden, från dålig belysning till en smickrande ställning. Inget, men så knepigt knäckar ett porträtt som en dålig blinkning. Facebook Research arbetar dock med en metod för att ersätta slutna ögon med öppna med hjälp av ett AI-driven verktyg som strävar efter att gå utöver att bara kopiera och klistra in nya kisare.

Idén att öppna slutna ögon i ett porträtt är inte en ny, men processen innebär vanligtvis att dra källmaterial direkt från ett annat foto och transplantera det på det blinkande ansiktet. Till exempel har Adobes Photoshop Elements-programvara (en förenklad version av den professionella bildredigeringsprogramvaran) ett läge som är specifikt byggt för detta ändamål. När du använder det uppmanas programmet att välja ett annat foto från samma session (förutsatt att du tog mer än ett) där personens ögon är öppna. Den kan sedan använda Adobes AI-teknik, som den kallar Sensei, för att försöka blanda ögonen från föregående bild i bilden med blinkningen.

Det är en funktion som fungerade förvånansvärt bra för en snabb fix - särskilt när du tänker på hur många steg som krävs för att noggrant klistra in och blanda in en ny uppsättning ögon med den fullfjädrade versionen av Photoshop. Men det finns små detaljer som det inte alltid kan bli rätt, som belysningsspecifika belysningsförhållanden eller skuggorna.

Att förstå skuggor är helt intuitivt, säger Hany Farid, professor i datavetenskap vid Dartmouth College och en foto-kriminalteknisk expert. Jag kan resonera om var en ljuskälla är genom att titta på skuggan. När en tekniker kopierar och klistrar in en uppsättning ögon från ett annat foto kanske det inte alltid tar hänsyn till saker som små förändringar i skuggor, som som studien indikerar kan ibland få den slutliga bilden att se nästan rätt ut, men fortfarande oförklarligt konstigt. Det är den obehagliga dalen, som den heter, som forskarna hoppas undvika.

En nyligen publicerad artikel publicerad av Facebook Research föreslår en annan typ av lösning för att ersätta slutna ögon, vilket beror på ett djupt neuralt nätverk som faktiskt kan konstruera den saknade informationen med hjälp av kontext från hela bilden och inte bara det drabbade området. Facebook använder teknik som kallas ett generellt adversarialt nätverk (GAN) för att fylla i dessa uppgifter. Det är samma grundläggande teknik som ansvarar för en ny våg av "djupa falska" videor, där kändisar verkar säga och göra saker som de inte riktigt har gjort.

Exemplar GAN-modellen som de använde hämtar data från andra bilder av samma person, men den använder den bara som referensmaterial, från vilken den lär sig hur ämnet ser ut och alla identifieringsmärken som kan finnas på deras ansikten. Den använder sedan en process som kallas målning för att generera den information som krävs för att ersätta ögonlocken med faktiska ögon. Denna typ av djup inlärning kräver mer referens än en enkel bild, som passar fint in i Facebooks infrastruktur där det vanligtvis kan analysera många olika bilder av samma användare, ofta över en mängd olika belysningssituationer.

Facebooks första resultat är imponerande, om de är ofullkomliga, men forskarna arbetar fortfarande för att hitta de bästa träningsmetoderna för algoritmerna bakom processen och navigerar på oförutsägbara variabler som foton där en del av ögat är blockerad av hår eller glasögon.

Fortfarande tror företaget att den här typen av datoranvändning är användbar, även utöver att fixa foton med blinkande motiv. Kanske skulle AI kunna göra oss alla ännu bättre ute i våra profilbilder längs vägen. Även bortom foton arbetar företaget med liknande AI-verktyg som översätter musik från en stil till en annan.

Kanarieöarna i kolutsläppen: varför klimatförändringar får fåglar att ändra sin melodi

Kanarieöarna i kolutsläppen: varför klimatförändringar får fåglar att ändra sin melodi

Forskare upptäckte just en konstig ny DNA-form som lurar i mänskliga celler

Forskare upptäckte just en konstig ny DNA-form som lurar i mänskliga celler

Har jag förkylning eller influensa?

Har jag förkylning eller influensa?