Nowy model sztucznej inteligencji może tłumaczyć myśli na tekst

Odczytywanie czyichś myśli brzmi jak science-fiction, ale naukowcom z University of Texas w Austin właśnie to się udało. Opracowany przez nich model sztucznej inteligencji jest zdolny do przekładania myśli na słowo pisane za pomocą nieinwazyjnych metod skanowania.

Opis i wyniki badań ukazały się na łamach pisma "Nature Neuroscience" (DOI: 10.1038/s41593-023-01304-9).

Nowa technologia opiera się na modelach podobnych do tych, które napędzają ChatGPT Open AI czy Barda od Google'a. W przeciwieństwie do innych opracowywanych systemów dekodowania języka, nowy system nie wymaga od pacjentów posiadania implantów chirurgicznych, dzięki czemu proces ten jest nieinwazyjny. Uczestnicy nie muszą również używać tylko słów z podyktowanej im listy. Aktywność mózgu jest mierzona za pomocą skanera do funkcjonalnego obrazowania metodą rezonansu magnetycznego (fMRI).

Dalsza część artykułu pod materiałem wideo

Najpierw uczestnik, będąc w skanerze, przez dłuższy okres (około 15 godzin) słucha różnych podcastów. W tym czasie nowy system obserwuje aktywność jego mózgu. Innymi słowy dekoder szkoli się. Następnie, po treningu systemu, gdy ochotnik słucha nowej historii lub wyobraża sobie taką, model generuje strumień tekstu. Oczywiście dekoder nie jest w stanie zsyntetyzować myśli danej osoby słowo w słowo, ale często może uchwycić istotę tego, o czym ta osoba myśli. Po intensywnym szkoleniu jest w stanie wygenerować tekst, który jest dobrą, a czasem dokładną reprezentacją myśli ochotnika.

- W przypadku metody nieinwazyjnej jest to prawdziwy krok naprzód w porównaniu z tym, co zrobiono wcześniej, czyli zazwyczaj pojedynczymi słowami lub krótkimi zdaniami – powiedział Alex Huth z UT Austin. - Dostajemy model do ciągłego dekodowania języka przez dłuższy czas – dodał.

Mniej więcej w połowie przypadków, gdy dekoder został przeszkolony w monitorowaniu aktywności mózgu danego uczestnika, maszyna generowała tekst, który z różną precyzją, czasem nawet dokładnie, odpowiadał myślom.

Na przykład podczas jednego z eksperymentów uczestnik słuchał lektora mówiącego: "nie mam jeszcze prawa jazdy". Dekoder przetłumaczył to na: "ona nawet nie zaczęła jeszcze uczyć się prowadzić". Z kolei słowa: "nie wiedziałam, czy krzyczeć, płakać, czy uciekać, zamiast tego powiedziałam - zostaw mnie w spokoju" dekoder przetłumaczył na: "zaczęła krzyczeć i płakać, a potem po prostu powiedziała: mówiłam ci, żebyś mnie zostawił w spokoju".

Uczestnicy eksperymentów oprócz słuchania i wyobrażania sobie różnych historii zostali również poproszeni o obejrzenie czterech krótkich, niemych filmów w skanerze (jeden z nich poniżej). Dekoder semantyczny był w stanie wykorzystać aktywność ich mózgu do w miarę dokładnego opisania pewnych wydarzeń z oglądanych nagrań.

Autorzy nowej technologii wyjaśnili, że nie ma obaw o niewłaściwe wykorzystanie dekodera. Przynajmniej w obecnej fazie rozwoju. Według nich dekodowanie działa tylko we współpracy z uczestnikami, którzy dobrowolnie uczestniczyli w szkoleniu dekodera. Wyniki dla osób, na których dekoder nie był szkolony, były niezrozumiałe, a jeśli uczestnicy, na których dekoder był szkolony, później stawiali opór — na przykład myśląc o innych rzeczach — wyniki również były bezużyteczne.

- Bardzo poważnie traktujemy obawy, że może to zostać wykorzystane do złych celów. Szukaliśmy rozwiązań, aby tego uniknąć – powiedział Jerry Tang z UT Austin. - Chcemy mieć pewność, że ludzie będą korzystać z tego typu technologii tylko wtedy, gdy będą tego chcieli i gdy będzie im to pomagało - dodał.

System obecnie nie jest praktyczny do użytku poza laboratorium ze względu na zależność od dość długiego czasu potrzebnego do szkolenia go na skanerze fMRI. Ale naukowcy sądzą, że ich praca może zostać wykorzystana także w innych, bardziej przenośnych systemach obrazowania mózgu.

Istnieje nadzieja, że w przyszłości dalszy rozwój takiej technologii pomoże pacjentom, którzy nie są już w stanie komunikować się za pomocą mowy, na przykład osobom po udarze mózgu.

Źródło: University of Texas at Austin, IFLScience, fot. Nolan Zunk/University of Texas at Austin