Wojna algorytmów. Nasz los zależy od mechanizmów, których nie rozumiemy

Mieszkańcy pierwotnych plemion, zamieszkujących wyspy Pacyfiku, podczas drugiej wojny zetknęli się ze zdobyczami zachodniej cywilizacji. Mogli obserwować, jak do brzegów przypływają statki i jak na prowizorycznych lotniskach lądują samoloty, wypełnione wszelkimi dobrami. Dostarczane na wyspy bogactwo kusiło. Papuasi zaczęli zatem budować własne lotniska i morskie porty, klecąc z drewna hale, wieże kontroli lotów czy budynki portowe.

Niestety, mimo starań, konwoje z darami nie pojawiły się. Ten i inne przypadki zadziwiających zachowań ludzi opisuje w swojej książce "Krowy, świnie, wojny i czarownice" Marvin Harris, analizujący pozornie nieracjonalne działania, praktykowane przy różnych okazjach na przestrzeni wieków przez różne cywilizacje.

Wygląda na to, że amerykański antropolog – gdyby dożył naszych czasów – nie mógłby narzekać na brak tematów do opisania. I nie chodzi tu o magiczne obrzędy polskich samorządowców wierzących, że położenie przed wyborami nowej nawierzchni zmieni w kwitnący zakątek miasta zaniedbywaną przez dziesięciolecia okolicę.

Żyjemy bowiem w rzeczywistości, w której coraz częściej widzimy jedynie efekty różnych procesów, nie dostrzegając, a tym bardziej nie rozumiejąc ich przyczyn. Co gorsza, oddaliśmy im kontrolę nad światem. Brzmi nieco enigmatycznie? Proszę, oto przykład.

Chcesz kupić kubek termiczny. Prawdopodobnie – o ile nie masz ulubionej marki i wypatrzonego modelu – zapytasz o ofertę Google’a. Gdy wpiszesz zapytanie, twoim oczom ukaże się lista odnośników, zapewne wzbogacona o parę zdjęć i ofert zakupu. Klikniesz, kupisz, pogratulujesz sobie trafnego wyboru.

Tylko czy na pewno to właśnie ty go dokonałeś?

Możesz tak myśleć, ale wszystko, co ujrzałeś jako wynik zapytania – od odnośników do stron, poprzez zdjęcia kubków, po reklamy sklepów z kubkami – jest wynikiem działania algorytmu. Jego celem nie jest przedstawienie ci najlepszej możliwej oferty, ale oferty, która – oczywiście zachowując pozory zaspokajania twoich potrzeb – przyniesie maksymalnie duży zysk właścicielowi wyszukiwarki.

Przykład z kubkiem może wydawać się mało istotny – w końcu, jeśli kubek trzyma ciepło i nie kosztował przesadnie drogo, trudno mieć pretensje, że polecono nam akurat ten model. Ale czy z takim samym spokojem zareagujemy na fakt, że to Google albo Facebook wybiorą za nas prezydenta?

O takim scenariuszu pisałem niegdyś w artykule "Facebook i Google: wyborcze manipulacje". Było to długo przed tym, gdy afera Cambridge Analytica potwierdziła najbardziej paranoiczne przypuszczenia.

Zanim zdążyliśmy się spostrzec, nasz świat zmienił się nie do poznania, zmierzając w stronę rzeczywistości, sugestywnie nakreślonej w "Matriksie". W czasach wirtualnej i rozszerzonej rzeczywistości to porównanie może wydawać się banalnie tanie, jednak nie sposób ignorować podobieństwa. Żyjemy w "Matriksie", bo widząc efekty działania jakiegoś algorytmu nie rozumiemy go, a często nawet nie zdajemy sobie sprawy z jego istnienia.

O zagrożeniach, jakie niesie dla nas tak urządzony świat przekonująco pisze Cathy O'neil w książce "Broń matematycznej zagłady". Autorka trafnie wskazuje w niej pewien paradoks. Wiele algorytmów powstaje z założeniem, że – nakarmione wielkimi porcjami danych – będą wskazać obiektywny, pozbawiony uprzedzeń wynik.

Problem polega na tym, że algorytmy tworzą ludzie, a ich dzieła, zamiast po prostu opisywać zastany świat, kreują nową rzeczywistość w zgodzie z wizją autora. Te właśnie mechanizmy, działające gdzieś w tle poza zasięgiem naszego zainteresowania i wiedzy, nazwala autorka Bronią Matematycznej Zagłady (BMZ), upatrując w niej zagrożeń na miarę broni masowego rażenia. W jaki sposób zagrażają nam BMZ?

Przykładem jest m.in. scoring kredytowy. Fakt, że przy rozpatrywaniu wniosku o kredyt analizowane są nasze dochody, wydatki czy przepływy na koncie, wydaje się oczywisty i zrozumiały. Ale co, jeśli do oceny dorzucony zostanie np. kod pocztowy, wskazujący na adres zamieszkania, bo ktoś uzna, że mieszkaniec "gorszej" dzielnicy będzie miał większy problem ze spłatą? To jeszcze uzasadniona ochrona interesów banku, czy już stygmatyzacja, segregacja i utrwalanie podziałów?

Niezależnie od odpowiedzi, dla większości sam mechanizm oceny wydaje się jednak, mniej więcej, zrozumiały. Warto jednak pamiętać, że można go skalować, kierując w stronę wdrożoną choćby w Chinach. Państwo Środka jest przecież w trakcie realizacji wyjątkowo ambitnego projektu powszechnej inwigilacji i oceny obywateli, gdzie każdemu przypisana jest kategoria, rzutująca na możliwości kariery czy podróżowania.

A co z działaniami algorytmów, których ani nie dostrzegamy, ani nie rozumiemy? Możemy jedynie obserwować następstwa dokonywanych przez maszynę wyborów i jakoś przeżyć ich skutki. W wydaniu humorystycznym mogliśmy zobaczyć to już wiele lat temu na Amazonie, gdy cena niepozornej książki przyrodniczej sięgnęła imponujących 23 mln dolarów.

Przyczynę udało się szybko odkryć – dwaj użytkownicy wystawiając na sprzedaż książkę o tym tytule ustawili dla algorytmów sprzeczne wytyczne. Jedna z książek miała bowiem utrzymywać cenę 0,9983 ceny najdroższego egzemplarza tego tytułu, a druga miała być 1,270589 droższa od najtańszej.

W praktyce wywołało to serię korekt ceny i doprowadziło do wycenienia książki na imponujące 23 mln dolarów, co zresztą – po wykryciu błędu – zostało szybko skorygowane. Tak powstała zabawna, przytaczania niezliczoną ilość razy anegdota. Co jednak będzie, gdy podobny mechanizm zadziała na giełdzie?

Wbrew romantycznemu stereotypowi współczesny obrót papierami wartościowymi nie jest dziełem podekscytowanych "wilków z Wall Street", którzy z podwiniętymi rękawami białych koszul przekrzykują się, kupując i sprzedając akcje. Giełdą – a przynajmniej istotną częścią obrotu - rządzą algorytmy, realizujące tzw. high-frequency trading (HFT), czyli bardzo szybkie zlecenia. Do czego to prowadzi?

Choćby do zjawisk, określanych jako flash crash, gdy kurs akcji spada w ciągu sekund o dziesiątki procent, po czym – nie zawsze – równie szybko odrabia straty. Nałożenie na siebie takich zjawisk miało miejsce choćby w 2010 roku na amerykańskiej giełdzie Dow Jones, gdzie cały indeks w ciągu kilku minut spadł o katastrofalne 9 procent. W bliższej nam przeszłości spektakularny flash crash spotkał kryptowalutę Ethereum, której wartość w czerwcu 2017 roku w ciągu kilkunastu sekund spadła z 317 dolarów do zaledwie 10 centów.

Nie chodzi tu – bynajmniej – o straszenie technologią i botami, prowadzącymi automatyczny handel – to przecież żadna tajemnica. Sednem jest coś innego – fakt, że procesy te dzieją się w znacznej mierze automatycznie. Człowiek określa wprawdzie jakieś wartości brzegowe, ale wszystko dzieje się już bez jego udziału.

Te przykłady możemy mnożyć niemal bez końca – autonomiczne samochody, kojarzenie w pary w serwisach randkowych, zawartość naszego streamu na Facebooku czy choćby artykuły, polecane nam przez sklep internetowy podczas niewinnego przeglądania produktów. Albo – w skali makro – system Smart Grid, sterujący działaniem krajowej sieci elektroenergetycznej czy nadzór nad światłami ulicznymi.

Wszędzie tam widzimy efekty działania, nie widząc, ani – zazwyczaj – nie zastanawiając się nad tym, jaki algorytm za nimi stoi. I jakie cele mieli jego twórcy. To nie bunt maszyn jest straszakiem, którym powinna raczyć nas popkultura. Zamiast bać się tego, że w nocy zamorduje nas toster, lepiej zastanowić się nad czymś znacznie groźniejszym. Na przykład, jaką korzyść odniosą Mark Zuckerberg i akcjonariusze Facebooka z tego, że podnosząc o poranku smartfon do oczu jako pierwszą ujrzymy wiadomość o kryzysie rządowym albo nowej fali imigrantów.