Terroryści, cywile, cele. Jak drony decydują, kogo zabić?
Skynet chciał zabić dziennikarza. Uznał, że jest członkiem Bractwa Muzułmańskiego i terrorystą. Problem w tym, że Ahmad Zaidan nie zrobił niczego złego. Dlaczego maszyna postanowiła go zlikwidować?
Major Thomas Egan jest oficerem amerykańskich sił powietrznych. Służy w bazie lotniczej w Nevadzie, ale nie lata już – jak na początku kariery – samolotami F-16. Jego służba to pilotowanie Reapera, bojowego drona, który po drugiej stronie globu zabija wrogów pokoju i demokracji.
Dobre wyniki i nienaganna służba sprawiają, że Egan wykonuje misje coraz trudniejsze, a zarazem coraz bardziej niejednoznacznie moralnie. Prowadzi to w końcu do rozterek, niesubordynacji i samodzielnego wymierzania sprawiedliwości za pomocą Reapera.
Historia Thomasa Egana to fikcja – została opowiedziana w filmie "Dobre zabijanie". Rozterki operatora drona wydają się jednak przedstawione wiarygodnie, podobnie jak fakt, że mimo nowoczesnego, precyzyjnego rozpoznania i zaawansowanej technologii, skutkiem ubocznym użycia dronów jest zabijanie niewinnych ludzi.
Skynet zabija w Pakistanie
Kilka lat temu prof. Ronald Arkin, zajmujący się etyką bojowych robotów, był pełen optymizmu.
(…) jestem przekonany, że za pomocą technologii uda się wyeliminować część czynników negatywnie wpływających na zachowanie żołnierzy (…) Zamiast zasady "najpierw strzelaj, potem pytaj" autonomiczne systemy będą kierowały się mniej agresywną strategią zgodnie z zasadą "nie czyń niepotrzebnie krzywdy" (…) Roboty staną się etyczne, gdy zostaną wyposażone w oprogramowanie zmuszające je do przestrzegania praw wojny.
Od tamtego czasu wiele się zmieniło: ludzie tacy, jak Edward Snowden uchylili nieco rąbka tajemnicy nie tylko na temat masowej inwigilacji, ale i metod stosowanych przez Amerykanów do kontrolowania innych krajów i ich obywateli.
Jednym z wykorzystywanych do tego celu narzędzi jest Skynet. Ktoś w Langley, Fort Meade czy jeszcze innym ośrodku, zarządzającym globalną inwigilacją uznał to zapewne za zabawne i nazwał jedno z narzędzi wywiadu złowrogim słowem, zawierającym w sobie wszystkie lęki przed maszynami, jakimi od ćwierćwiecza karmi nas popkultura.
Skynet analizuje dane pochodzące z telefonów komórkowych kilkudziesięciu milionów abonentów i na tej podstawie – przetwarzając bazy danych – tworzy listę celów dla dronów. Jak się to odbywa?
Big data i metadane: paliwo dla wojny z terrorystami
Wszystko to jest zasługą big data i metadanych. Te same mechanizmy, dzięki którym Amazon wie, że trzeba wysłać transport z zamówieniami, choć nikt ich jeszcze nie złożył, a bank widzi, że może podnieść nam cenę kredytu, mogą służyć do typowania potencjalnych terrorystów.
Nie trzeba podsłuchiwać konkretnych rozmów czy analizować treści wszystkich wiadomości. Czasem wystarczą informacje o tym, że kontakt pomiędzy określonymi numerami w ogóle miał miejsce. Jeśli ktoś często zmienia numery telefonów, podróżuje w miejsca uznawane za podejrzane, a na dodatek przebywa w tych samym miejscu i czasie, co inne, podejrzane numery – dla Skynetu jest potencjalnym celem dla drona.
W taki właśnie sposób algorytm tworzy listę osób, które stają się ofiarami krążących gdzieś nad centralną Azją, uzbrojonych maszyn, kontrolowanych przez operatorów z drugiego końca świata.
Kogo Skynet uznaje za terrorystę?
Warto przy tym zastrzec, że o ile maszyna wybiera, kogo zabić, to ostateczną decyzję – czyli odpowiedź na pytanie, czy zabić – podejmuje na razie człowiek. I całe szczęście, bo jak się okazuje, metody typowania są wciąż dalekie od doskonałości.
Przekonał się o tym wspomniany na początku Ahmad Zaidan, kierownik biura Al-Dżaziry w Islamabadzie. Według Skynetu dziennikarz był modelowym terrorystą: często podróżował, zmieniał miejsce zamieszkania, przebywał w dziwnych lokalizacjach i kontaktował się z podejrzanymi ludźmi.
Choć w przypadku dziennikarza Al-Dżaziry wszystko skończyło się dobrze i na którymś etapie weryfikacji wyrok śmierci został anulowany, nie wszyscy z wytypowanych przez Skynet mają tyle szczęścia. Komentując działanie Skynetu, amerykański kryptograf i ekspert z zakresu bezpieczeństwa, Bruce Schneier, stwierdził:
Jeśli Google popełni błąd, ludzie widzą reklamę samochodu, którego nie chcą kupić. Jeśli błąd popełniają rządzący, giną niewinni.
Drony zabijają cywili
Patrick Ball z Human Rights Data Analysis Group wskazuje, że – na podstawie szczątkowych danych, ujawnianych przez NSA – błędne wskazania mogą dotyczyć nawet 15 tys. Pakistańczyków.
Trudno ocenić, ilu z nich padnie ofiarą niespodziewanego nalotu. Ostrożne w obliczeniach organizacje, jak Bureau of Investigative Journalism czy New America Foundation, które trudno posądzić o szukanie taniej sensacji czy manipulowanie danymi, szacują liczbę cywilów zabitych przez bezzałogowce w Pakistanie na 600 – 1100 osób.
W pakistańskich górach dorasta właśnie pierwsze pokolenie dzieci, dla których bezchmurne niebo nie kojarzy się - jak ich rówieśnikom z innych zakątków planety - z piękną pogodą, zachęcającą do zabawy na zewnątrz. Bezchmurne niebo to dla nich synonim zagrożenia i nadciągającej z góry, nagłej śmierci.
Ludzie kontra maszyny
Od dziesięcioleci popkultura karmi nas lękiem przed buntem maszyn. "Matrix", "Terminator", "Ja, robot" czy inne opowieści pełne są lęku przed światem, w którym maszyny z jakiegoś powodu zaczynają zabijać ludzi. Nie chodzi tu jedna o obawy rodem z okładek brukowców, opisujących wielkimi literami historię babci, którą chciał zamordować toster. Sednem jest niepewność, dokąd zaprowadzi nas rozwój technologii.
Zdefiniujmy maszynę ultrainteligentną jako maszynę, która przewyższa intelektualnie każdego człowieka. Skoro projektowanie maszyn jest jedną z prac umysłowych, maszyna ultrainteligentna mogłaby projektować jeszcze lepsze maszyny. Byłaby to bez wątpienia eksplozja inteligencji, która pozostawiłaby człowieka daleko w tyle. Maszyna ultrainteligentna będzie ostatnim wynalazkiem człowieka.
Obawy wyrażają nie tylko różni ekstremiści, którzy boją się smartfonów i kuchenek mikrofalowych, a na zewnątrz wychodziliby najchętniej w czapeczkach z folii aluminiowej. O zagrożeniu mówią również osoby bezpośrednio związane ze światem technologii. Krytycyzmu nie krył Stephen Hawking, nie szczędzi go ojciec wirtualnej rzeczywistości, Jaron Lanier, czy Elon Musk.
Mam nadzieję, że nie jesteśmy jedynie biologicznym bootloaderem dla cyfrowej superinteligencji. Niestety, wydaje się to coraz bardziej prawdopodobne. (…) AI stanowi o wiele większe zagrożenie niż Korea Północna.
Statystyki dowodzą, że nie są to obawy pozbawione podstaw. Niektóre dane wskazują, że wśród ponad 2300 zabitych w atakach zaledwie 84 osoby należały do organizacji terrorystycznych, jeszcze inne, że 90 proc. zabitych nie było celami - to m.in. ofiary błędnej klasyfikacji przez Skynet lub ludzkich pomyłek w czasie ataku. W amerykańskiej terminologii wojskowej istnieje nawet specjalne określenie takich ofiar – "collateral damage", czyli dodatkowe, niezamierzone zniszczenia. Tłumacząc wojskowy żargon na zwykły język, to po prostu masakra cywilów.
Dehumanizacja wojny: co się dzieje, gdy zabija maszyna?
Rzecz jasna trudno traktować dane, przedstawiane przez różne organizacje, bezkrytycznie. Ale nawet, jeśli są przesadzone, bez wątpienia pokazują istniejący problem. Jest nim nie tylko liczba zabitych, niewinnych ludzi, ale również postępująca dehumanizacja wojny, która – co również znamienne – nie została przecież przez Stany Zjednoczone Pakistanowi wypowiedziana.
Co więcej, oba państwa do niedawna uznawały się za sojuszników, choć niedawne deklaracje Donalda Trumpa oznaczają radykalny zwrot w polityce Stanów Zjednoczonych względem Pakistanu. Tymczasem drony poszukują celów na całym świecie. Pakistan, Irak, Syria, Mali, Republika Środkowoafrykańska…
Z punktu widzenia cywila, ginącego właśnie w eksplozji rakiety nie ma raczej znaczenia, czy wystrzelił ją pilot samolotu, czy bezzałogowiec, kontrolowany przez odległego o tysiące kilometrów operatora. Znaczenie to pojawia się jednak, gdy zapytamy o przyszłość konfliktów zbrojnych.
Człowiek czy cel?
Jeszcze niedawno mogło się wydawać, że rację ma wspomniany wcześniej prof. Arkin. Jego zdaniem zaangażowanie w walkę pozbawionych emocji maszyn daje gwarancję etycznej, pozbawionej okrucieństwa i niepotrzebnego cierpienia wojny, na której jeśli już ktoś ginie, to wyłącznie uczestniczący w walce żołnierze.
Praktyka wydaje się wskazywać na coś innego: niwelując czynnik ludzki decydenci sprawili, że zabijanie stało się łatwiejsze. Pod względem tego, co widzi osoba decydująca o życiu i śmierci innych, zabijanie nie różni się od znanych nam wszystkim gier wideo.
Nie tylko nie ma ryzyka po stronie własnych sił, ale nie ma również ginących i cierpiących ludzi. Są tylko pokazane na ekranie cele, zazwyczaj w postaci rozmytych cieni, niezbyt wyraźnego, czarnobiałego obrazu lub plam ciepła, widocznych dzięki termowizorom.
Czy można poddać się dronowi?
Niesie to z sobą kolejną zmianę. Wśród ujawnionych przez Snowdena materiałów znalazła się transkrypcja rozmowy pilota śmigłowca Apache z wojskowym prawnikiem. W 2007 roku podczas misji załoga helikoptera o nazwie kodowej Crazyhorse 18 zaczęła ostrzeliwać talibów. Ci – będąc w beznadziejnym położeniu – rzucili w końcu broń i podnieśli ręce do góry.
Wobec nietypowej sytuacji pilot skontaktował się z dowództwem pytając, co ma w takich okolicznościach zrobić. Odpowiedź była jednoznaczna: strzelać dalej, bo "nie można poddać się samolotowi".
Wygląda na to, że osoby odpowiedzialne za tworzenie wojskowych regulaminów mają teraz twardy orzech do zgryzienia. Przed nimi wyzwanie opracowania nowych zasad, dostosowanych do realiów, w których technologia zmieniła sposób wojowania. Problem w tym, że – wbrew idealistycznym wizjom „czystej” wojny - konflikty wcale nie staną się przez to bardziej humanitarne. Bo czy można poddać się dronowi?
