Świat pokochał aplikację Comixify. Twórcy zdradzają nam plany na przyszłość
Projektem warszawskiego zespołu studentów zachwycił się cały świat. Ich narzędzie, Comixify, zamienia film wideo na kartkę z zeszytu komiksowego. WP Tech dowiedziało się więcej o tym przedsięwzięciu.
Sukces czasem przychodzi z nieoczekiwanej strony. Projekt studentów Politechniki Warszawskiej pojawił się skromnie, by nie rzec "po bożemu" - bo opisali go w artykule naukowym. Pomysł na stylizację kadrów wyszedł poza akademickie środowisko i szturmem podbił nagłówki polskich oraz zagranicznych serwisów.
Pierwsze informacje na temat Comixify pojawiły się w grudniu po opublikowaniu wspomnianego artykułu naukowego. Wtedy aplikacja trafiła na łamy zagranicznych serwisów takich jak "Huffington Post", opisały też liczne serwisy w Polsce (my również). Teraz dr inż. Tomasz Trzciński opowiada WP Tech jak wyglądały pierwsze chwile po tym, kiedy o projekcie zrobiło się naprawdę głośno.
- Nie byliśmy przygotowani na tak dużą popularność. Strona internetowa projektu, przygotowana jako demonstracja rozwiązania, przeżyła oblężenie. Ponad 100 000 wejść w ciągu pierwszych kilku godzin po ukazaniu się artykułu przeciążyły nasze serwery, które przestały odpowiadać ze względu na zbyt duży ruch. Dla nas, informatyków, taka sytuacja, kiedy rezultat naszych prac staje się widoczny i zyskuję tak ogromną popularność poza laboratorium, jest niezwykle satysfakcjonująca – opisuje.
Przed użyciem Comixify...
Początki
Sam pomysł na Comixify narodził się ponad rok temu na styku zainteresowań studentów "Elki" komiksami oraz badań pracowników Zakładu Grafiki Komputerowej dotyczących predykcji popularności treści w Internecie. W wyniku burzy mózgów połączono uczenie maszynowe, wizję komputerową oraz tematykę komiksową. Tak zaczęła się ta wyjątkowa przygoda.
- Jako promotor i opiekun naukowy staram się łączyć ludzi z pasjami i tworzyć zespoły, w których dzięki synergii studenci osiągają rezultaty większe niż suma poszczególnych odosobnionych prac dyplomowych. - podkreśla dr Trzciński.
W trakcie trwania projektu, każdy ze studentów zajmował się innym aspektem rozwiązywanego problemu. Adam pracował nad wyborem klatek charakterystycznych, Maciej zajmował się transferem stylów. Paweł natomiast implementował algorytmy oceniające wartość estetyczną wybranych klatek. Zespół stanowił idealne połączenie pasji, nauki i talentu - tak powstało Comixify.
...i po użyciu Comixify.
Aktualnie aplikacja, dostępna na stronie comixify.ai, pozwala zamienić film w komiks. Ale możliwości jest dużo więcej. - Wyobraź sobie sytuację: masz tonę zdjęć po powrocie z wakacji. Nasz algorytm automatycznie wybiera te zdjęcia, które są najbardziej estetyczne, ale też "klikalne", co oceniamy korzystając z metod uczenia maszynowego i sieci neuronowych.
Zobacz też: Jak będą wyglądały miasta przyszłości?
- Jednocześnie nadajemy im nieco odmienny charakter od standardowych fotografii, co pozwala użytkownikowi Facebooka czy Instagrama zaskoczyć swoich znajomych i przykuć ich uwagę. I to jest właśnie kluczowy problem, który rozwiązuje Comixify: łatwy i intuicyjny sposób łączenia dużej ilości danych. Czy to klatek z filmów, czy sekwencji zdjęć - opisuje przedstawiciel zespołu.
Jak to działa
Model analizy wartości estetycznej klatek, z którego korzysta Comixify, jest oparty o algorytm NIMA oraz o metodę do przewidywania popularności treści w mediach społecznościowych, opracowaną na Politechnice. Te algorytmy zostały "nauczone" jak oceniać jakość zdjęcia na bazie materiałów z Instagrama, Facebook’a czy Google Photos oraz liczby ich polubień.
Zbyszek Urbański i nasz program "Cybersejf" w wersji komiksowej
Do wyboru klatek reprezentatywnych i charakterystyczny Comixify wykorzystuje uczenie ze wzmocnieniem (reinforcement learning). Ta technika odpowiada za ułożenie klatek filmu w jedną, spójną całość, która jednocześnie opowie historię i nie zanudzi czytelnika. Aktualnie twórcy starają się rozwinąć stronę i uprościć jej interfejs. Zespół Comixify chce podążać za potrzebami użytkowników, którzy zostawili już w ankiecie dostępnej na comixify.ai ponad 1300 odpowiedzi.
- Około 65 proc. filmów "komiksyfikowanych" przez użytkowników pochodzi z YouTube'a, reszta wgrywana jest bezpośrednio przez użytkowników. Jednym z powodów tego stanu jest to, że łatwiej jest wykorzystać już opublikowaną treść niż samemu te treści tworzyć. Dzięki nam można opowiadać długie historie pokazywane w formie filmu w sposób krótszy i bardziej przystępny. Taka agregacja treści jest spójna z trendem zapoczątkowanym przez SMSy czy Twittera - dodaje Trzciński.
- W naszym przekonaniu Comixify zyskało tak niewyobrażalną popularność, ponieważ dajemy użytkownikowi narzędzie do kreatywnego i interesującego podsumowania treści takich jak długie filmy czy artykuły prasowe. I dodatkowo robimy to w formie komiksu - a kto nie lubi od czasu do czasu spojrzeć na ładną komiksową kreskę? - mówi nam lider zespołu.
A jakie są plany na najbliższą przyszłość? W ciągu najbliższego pół roku zespół planuje sprawdzać różne hipotezy produktowe, a dopiero potem zaczną szukać finansowania przedsięwzięcia, aby działało na dużą skalę. Potencjał jest duży, do tego dochodzi ambicja pokazania, że z Politechniki Warszawskiej może wyjść projekt o tak dużym potencjale. Zespół jednak sam jeszcze nie wie, czy poszuka inwestorów, czy zwróci się do fanów w internecie poprzez wciąż popularny crowdfunding. Nie stawiają też sobie "finalnego" celu, do którego zmierzają.
- Moim osobistym celem, który stawiam sobie w ramach Comixify, jest pokazanie, że pracując z Polski jesteśmy w stanie tworzyć projekty naukowe o zasięgu globalnym. Nie jesteśmy tylko centrum świadczenia usług - mamy swoje pomysły, których trzon stanowi praca badawczo-naukowa i opracowana w jej wyniku technologia - konkluduje dr Trzciński.