Nerfie mogą zastąpić popularne selfie. Pokażą znacznie więcej niż samą twarz

Naukowcy opracowali nową technikę tworzenia autoportretów. Dzięki niej można pokazać się w mediach społecznościowych jako trójwymiarowy model. Na zdjęciu 3D widać nie tylko naszą twarz, ale też to, co się wokół nas znajduje.

Naukowcy z University of Washington i Google Research wymyślili sposób na tworzenie bardziej kompleksowych zdjęć. Nowoczesne nerfies pozwalają na powiększanie i przesuwanie obiektu w 3D. Do ich zrobienia i oglądania wystarczy smartfon wyposażony w aparat.

Dotychczas wykonywanie zdjęć 3D wiązało się z koniecznością posiadania zaawansowanych urządzeń np. skanera LIDAR (Light Detection and Ranging), wykorzystującego lasery do pomiaru odległości od obiektów. Smartfony takie jak iPhone 12 Pro i 12 Pro Max posiadają czujniki LIDAR, ale ze względu na swoją cenę nie są dostępne dla wszystkich.

Sprawa wygląda zupełnie inaczej w przypadku nerfies. W celu ich zrobienia użytkownik musi po prostu nagrać wideo na smartfonie pod wieloma różnymi kątami, poruszając telefonem w przód i tył, pamiętając o tym, aby cały czas pozostawać w kadrze.

Naukowcy zmodyfikowali metodę Neural Radiance Fields (NeRF), której istota polega na wykorzystaniu wielu zdjęć, zrobionych pod różnymi kątami do obliczenia i generowania trójwymiarowych obrazów. Głównym minusem metody jest to, że wymaga ona, aby rejestrowany obiekt pozostawał cały czas w bezruchu. To nie problem, jeśli wykonuje się zdjęcia nieożywionych przedmiotów. Gorzej, jeśli chodzi o ludzi. W tym przypadku metoda NeRF często bazuje na dużych zestawach kamer, który robią zdjęcia osoby pod różnymi kątami jednocześnie. Ale podobnie jak sprzęt LIDAR, kamery mogą być drogie i nieporęczne.

Eksperci rozwiązali ten problem, opracowując nową metodę, nazwaną Deformable Neural Radiance Fields (D-NeRF). Umożliwia ona porównywanie klatek zdjęciowych, aby ustalić sposób poruszania się obiektu pomiędzy ich wykonaniem i wykorzystanie zgromadzonych danych do automatycznego obliczenia niezbędnych odkształceń. Dzięki temu niedoskonałe dane obrazu dwuwymiarowego, które są wyodrębniane, można dostosować i użyć do stworzenia bardzo dokładnego i interaktywnego modelu 3D.

Jeśli nerfies zyskają tak dużą popularność jak selfies, już wkrótce będziemy mogli zobaczyć coś więcej niż twarz naszych znajomych czy znanych osób. Będziemy mieli możliwość "rozejrzenia się" i poznania otoczenia, w którym przebywa robiący zdjęcie.