"Wielkie pytanie o życie, wszechświat i całą resztę". Co kryje czarna skrzynka?

W nowym sezonie serialu "1670" delegacja Rzeczypospolitej, po negocjacjach z przedstawicielami imperium osmańskiego, prezentuje traktat o brzmieniu "42". Jest to żart twórców filmu, będący ukłonem w stronę wielbicieli prozy Douglasa Adamsa.

Autor pełnego przewrotnego humoru, literackiego cyklu "Autostopem przez Galaktykę" przedstawił w nim "Wielkie pytanie o życie, wszechświat i całą resztę", które zostało zadane specjalnie w tym celu zbudowanemu superkomputerowi. Ten, po siedmiu i pół milionach lat obliczeń, udzielił odpowiedzi o brzmieniu "42".

Po latach sam Douglas Adams przyznał, że liczba ta nie miała żadnego ukrytego znaczenia. Według własnych słów, autor usiadł przy biurku, popatrzył na ogród i uznał, że "42 będzie w porządku". Problem w tym, że znaczenie tej liczby może być dla nas większe niż mogłoby się wydawać.

"42" jako odpowiedź na niezwykle istotne pytanie jest bowiem doskonałym przykładem problemu czarnej skrzynki. To koncepcja urządzenia, w którym znamy dane wejściowe i otrzymany wynik, ale nie rozumiemy, w jaki sposób został on wypracowany. W praktyce to opis działania bardzo wielu usług, określanych potocznie mianem sztucznej inteligencji.

O tym, jak ważne jest zrozumienie i kontrola sposobu, w jaki maszyna generuje przekazywane nam odpowiedzi, dobitnie świadczy przykład procesorów Pentium. Wprowadzone przez firmę Intel do sprzedaży w 1993 roku oznaczały techniczną i technologiczną rewolucję, a do tego sprzedawały się znakomicie.

Problem pojawił się wraz z odkryciem dokonanym przez prof. Thomasa Nicely’ego z Lynchburg College. Badacz zauważył, że co pewien czas dla określonego rodzaju obliczeń komputer generuje błędne wyniki. Poruszenie spowodowane odkryciem błędu o nazwie "FDIV bug", któremu towarzyszyły mało skuteczne próby ratowania sytuacji przez Intela, spowodowało wycofanie wadliwych układów z rynku.

Akcji tej towarzyszyło wyjaśnienie, co powodowało odkryty przez prof. Nicely’ego błąd. Zarówno budowa procesora, jak i sposób, w jaki działał cały układ, były dla jego twórców, jak i nieco bardziej zaawansowanych użytkowników, zrozumiałe, a usunięcie błędu możliwe do zweryfikowania.

Postęp techniczny coraz częściej stawia jednak użytkowników różnych narzędzi czy usług w sytuacji, gdy otrzymując jakiś wynik, nie są w stanie odtworzyć sposobu, w jaki został uzyskany.

Zwiastunem przełomu, jakim jest technologia, która działa w sposób niezrozumiały dla twórcy i użytkownika, był przypadek ze szpitala Mount Sinai w Nowym Jorku. W 2015 r. bazą danych zawierającą informacje o 700 tys. pacjentów "nakarmiono" (metoda deep learningu) sieć neuronową, która na podstawie informacji o chorych, wyników badań, procedur diagnostycznych i efektów leczenia zaczęła stawiać własne diagnozy.

Narzędzie o nazwie Deep Patient okazało się niezwykle przydatne – dzięki rozległej bazie danych było w stanie odkryć wzorce, pozwalające na diagnozowanie licznych chorób, w tym nowotworów.

Deep Patient zaczął diagnozować także możliwość wystąpienia schorzeń psychicznych, w tym schizofrenii. Problem polegał na tym, że według aktualnej wiedzy medycznej w dokumentacji nie było danych, które pozwalałyby na takie diagnozy.

Zadziałał mechanizm czarnej skrzynki: specjaliści byli w stanie zweryfikować dostarczane dane, mogli także oceniać jakość (bardzo wysoką) stawianych diagnoz. Sposób, w jaki Deep Patient wypracowywał część z nich, pozostał jednak zagadką.

Zagadnienie czarnej skrzynki nabiera coraz większego znaczenia z powodu coraz szerszego wykorzystania narzędzi AI (sztuczna inteligencja). Popularne duże modele językowe (LLM), dostępne dla masowych użytkowników w postaci różnych chatbotów, stały się dla wielu z nas ważnym źródłem wiedzy.

Niestety, przekazywane w taki sposób informacje są obarczone ryzykiem błędu. Użytkownik nie wie, w jaki sposób wytrenowany został algorytm, który udziela rad w zakresie jadalności grzybów, rekrutacji kandydatów do pracy czy inwestowania oszczędności.

W rezultacie jednym z niepożądanych zjawisk, jakie mogą tu wystąpić, jest bias, czyli uprzedzenie algorytmiczne. Przykładem jego działania w praktyce jest np. faworyzowanie przy rekrutacjach na stanowiska kierownicze mężczyzn, wynikające nie z kompetencji, ale danych historycznych. Odpowiedzi mogą być także całkowicie nieprawdziwe - to tzw. halucynacje algorytmu, który "wymyśla" fakty czy podaje nieistniejące źródła danych.

Narzędzia, których działania nie w pełni rozumiemy, są - z punktu widzenia użytkownika - przykładem czarnych skrzynek. Choć jeszcze przed dekadą rozważania na ich temat były domeną naukowców czy entuzjastów technologii, dziś są zagadnieniem, które dotyczy każdego z nas. Warto o tym pamiętać, oglądając kolejne odcinki "1670" czy czytając "trylogię w pięciu częściach", jak swój cykl literacki nazwał Douglas Adams.

Gdy na pytanie o życie, wszechświat i całą resztę otrzymamy odpowiedź "42" pozostanie nam wierzyć, że faktycznie jest ona prawidłowa. Bo – wraz z rosnącą komplikacją zadawanych pytań i otrzymywanych odpowiedzi – coraz trudniej będzie nam je oceniać i weryfikować.