"Eksperymentujemy na ludziach", przyznaje założyciel portalu randkowego

Christian Rudder, współzałożyciel największego w USA portalu randkowego OkCupid, przyznał na swoim blogu, że jego firma "eksperymentowała na ludziach". Chodzi konkretnie o zmienianie pojawiających się w ich profilach informacji i manipulowanie wynikami dopasowania między użytkownikami usługi. Wszystko w imię nauki i rozwoju.

Post Ruddera powstał w odpowiedzi na niedawne doniesienia o podobnych praktykach, stosowanych przez Facebooka. Okazało się, że portal społecznościowy bez zgody i wiedzy swoich użytkowników filtrował umieszczane przez nich wypowiedzi, by zbadać, jak reagują oni na pozytywne i negatywne informacje. Współzałożyciel strony OkCupid wyjaśnia, że w takich praktykach nie tylko nie ma niczego złego, ale też, że stosowane są one przez wszystkich i w dłuższej perspektywie służą poprawie jakości usług.

- Przyznam to jako pierwszy: możemy być popularni, przyczyniać się do powstania wielu wspaniałych związków, możemy bla, bla, bla. Ale OKCupid tak naprawdę nie wie, co robi. Podobnie jak każda inna strona. Nie jest tak, że ludzie tworzą podobne rzeczy od dawna, albo że można spojrzeć na jakieś wytyczne czy coś takiego. Większość pomysłów jest zła. Nawet dobre mogą być lepsze – napisał.

Rudder wyraził jednocześnie olbrzymie zdziwienie emocjami, jakie wywołały doniesienia o praktykach Facebooka. Zaznaczył, że każdy użytkownik internetu jest pod podobnym kątem badany wiele razy dziennie, na licznych stronach. Tak to po prostu, według niego, działa.

Pierwszy z eksperymentów, do których "przyznał" się Rudder, polegał na całkowitym usunięciu ze strony zdjęć z okazji uruchomienia usługi ustawiania "randek w ciemno". Miało to miejsce 15 stycznia 2013 i trwało zaledwie siedem godzin. I co się okazało? W ciągu tych siedmiu godzin ludzie zaczęli odpowiadać na wiadomości 44% razy częściej, wymiany zdań były dłuższe i bardziej wnikliwe, informacje kontaktowe były wymieniane chętniej i – ogólnie – _ serwis działał lepiej _. Wystarczyło jednak na powrót umieścić na stronie zdjęcia, by wszystko wróciło do poprzedniego stanu. Mało tego. Autor wpisu pisze również, że kiedy o 16 przywrócono zdjęcia, 2200 osób było w trakcie wymiany zdań. W bardzo krótkim czasie te konwersacje zamarły.

- Było tak, jakbyśmy nagle włączyli ostre światła w barze o północy – komentuje.

Kolejny test miał oszacować, na ile w ogóle dla ludzi liczy się to, co jest napisane w profilu. Co się okazało? Tak jak można przypuszczać – liczy się w bardzo niewielkim stopniu. W swojej wczesnej wersji strona Ruddera pozwalała ocenić profil użytkownika na dwóch skalach – atrakcyjności fizycznej i osobowości. Zauważył on jednak, że użytkownicy generalnie przyznają taką samą ocenę na obu skalach. Zniesiono więc podział i pozostawiono tylko jedną ocenę.

Postanowiono jednocześnie sprawdzić, na jakiej podstawie użytkownicy formułują swoje osądy. Wybrano więc niewielki odsetek użytkowników i losowo wyłączano im tekst w profilach wyświetlanych im propozycji partnerów. Okazało się, że wpłynęło to na oceny w zaledwie 10%. Ci, którzy dostawali wysoką ocenę, dostawali ją niezależnie od tego, czy ich opis był w ogóle widoczny.

- Więc twoje zdjęcie może być warte słynnego tysiąca słów, ale twoje faktyczne słowa warte są… prawie nic.

Ostatni z eksperymentów, o którym pisze Rudder, dotyczył jednocześnie kwestii najważniejszej – czy to w ogóle działa? Autor przyznaje, że założycieli strony od zawsze gnębiła jedna myśl – co, jeżeli algorytmy, służące do określania, czy ludzie będą do siebie pasowali, wcale nie działają? Co, jeżeli wracające do nich informacje o szczęśliwych parach biorą się jedynie stąd, że ludzie lubią się, jeżeli powie się im, że _ powinni się polubić _?

Aby sprawdzić efektywność algorytmów prowadzący stronę zdecydowali się na chyba najbardziej "drastyczną" z omawianych tutaj modyfikacji w działaniu strony. Zaczęli najzwyczajniej w świecie oszukiwać ludzi – parom, które według szacunków były dla siebie nieodpowiednie (zgodność 30%) zaczęli wyświetlać, że doskonale do siebie pasują (zgodność 90%). Co się okazało? Nie tylko zaczęli oni wysyłać do siebie wiadomości – to jeszcze nie byłoby dziwne, w końcu tak działa ta strona. Ale również rozmowy toczyły się dalej (powyżej czterech wiadomości, taka liczba według prowadzących OkCupid oznacza już "prawdziwą konwersację") i często kończyły wymienieniem informacji kontaktowych. Więc ludzie faktycznie stwierdzali, że do siebie pasują, bo _ tak powiedziała im strona randkowa _.

Czy oznacza to więc, że stosowane przez serwisy randkowe algorytmy tak naprawdę nic nie robią? Takie samo pytanie zadał sobie Rudder i postanowił wraz z zespołem OkCupid przeprowadzić jeszcze jedną próbę. Tym razem na odwrót – wyświetlając ludziom, którzy mieli zgodność 90%, informację, że pasują do siebie w zaledwie 30%. I faktycznie obniżyło to ilość wysyłanych wiadomości, zmniejszyło to również szansę nawiązania "prawdziwej konwersacji", ale nie aż tak drastycznie. Okazało się, że w takim przypadku, kiedy ludzie pasujący do siebie według algorytmu już zaczną ze sobą rozmawiać, to mają sporą szansę na polubienie się nawet jeżeli dostali informację o niewielkiej zgodności. Szansa na przekroczenie liczby czterech wiadomości w przypadku podania prawdziwej informacji o zgodności 90% wynosi 20%, w przypadku podania kłamliwej wartości 30% wprawdzie spadła, ale do wciąż wysokiego poziomu 16%.

- Jak widać, idealna sytuacja jest wtedy, kiedy ludziom powie się, że do siebie pasują i jednocześnie faktycznie do siebie pasują. OkCupid z całą pewnością działa, ale nie jest to cała prawda. I jeżeli miałbyś wybrać jedno lub drugie, to samo kłamstwo o kompatybilności działa tak samo dobrze jak prawda. I stąd kariera kogoś w rodzaju Doktora Oz, w skrócie. I, oczywiście, w pewnym stopniu – moja – kończy swój wpis.