ChatGPT podbija internet. Sprawdziliśmy, jak działa. Błędów nie brakuje

ChatGPT na początku tego tygodnia cieszył się tak ogromnym zainteresowaniem, że jego twórcy postanowili pochwalić się liczbą użytkowników w mediach społecznościowych. "ChatGPT wystartował w środę. Dziś przekroczył milion użytkowników!" – napisał na Twitterze Sam Altman z OpenAI.

I rzeczywiście również w Polsce widać coraz więcej tekstów wygenerowanych przez ChatGPT, które w lawinowym tempie zalewają serwisy społecznościowe. Użytkownicy mogą poprosić go o przeróżne rzeczy – od odrobienia pracy domowej, przez pisanie zabawnych wierszyków, po wytłumaczenie teorii chaosu. Wszystko zależy od naszej wyobraźni, ale również – w pewnym stopniu – od umiejętności nowego bota.

A tu warto wspomnieć, że z językiem angielskim radzi sobie o wiele lepiej niż z polskim.

Natomiast dzięki tak dużemu zaangażowaniu społeczności internetowej twórcy ChatGPT mogą uzyskać liczne opinie użytkowników, a także poznać mocne i słabe strony inteligentnego tworu. Warto zaznaczyć, że korzystanie z bota jest aktualnie darmowe i na razie nie wiadomo, czy ta kwestia zmieni się w przyszłości. Natomiast na rynku istnieją już podobne rozwiązania, które wymagają opłaty. Tak więc trudno się dziwić, że odbiorcy ChatGPT tak chętnie z niego korzystają.

Dalsza część artykułu pod materiałem wideo

"Wytrenowaliśmy model o nazwie ChatGPT, który wchodzi w interakcję w sposób konwersacyjny. Format dialogu umożliwia ChatGPT odpowiadanie na pytania uzupełniające, przyznawanie się do błędów, kwestionowanie błędnych założeń i odrzucanie nieodpowiednich żądań" – wyjaśniają twórcy w komunikacie na oficjalnym blogu. "ChatGPT to bliźniaczy model InstructGPT, który jest szkolony do wykonywania instrukcji zawartej w podpowiedzi i udzielania szczegółowych odpowiedzi" – dodają.

Model ChatGPT – jak wskazują jego twórcy – został przeszkolony za pomocą uczenia wzmacniającego na podstawie informacji zwrotnych od ludzi (Reinforcement Learning from Human Feedback – RLHF). Ludzcy trenerzy wcielili się w rolę zarówno użytkowników, jak i inteligentnego bota.

Trening przeprowadzono w infrastrukturze superkomputerowej Microsoft Azure. Jest to platforma chmury obliczeniowej do zarządzania aplikacjami za pośrednictwem rozproszonych po całym świecie centrów danych – w tym również w Europie Północnej (Dublin, Irlandia) oraz Europie Zachodniej (Amsterdam, Holandia). Modele językowe były również dostrajane za pomocą algorytmów Proximal Policy Optimization.

"Wytrenowaliśmy wstępny model przy użyciu nadzorowanego dostrajania: ludzcy trenerzy SI prowadzili rozmowy, w których odgrywali obie strony – użytkownika i asystenta SI. Daliśmy trenerom dostęp do sugestii napisanych przez model, aby pomóc im w komponowaniu odpowiedzi" – wskazuje zespół OpenAI.

Twórcy ChatGPT opracowali również system nagrody dla wzmocnionego uczenia poprzez zebranie danych porównawczych, które składały się z dwóch lub więcej odpowiedzi modelu uszeregowanych według jakości. W celu zebrania tych danych wykorzystali rozmowy ludzkich trenerów SI z chatbotem.

Według twórców model językowy GPT-3.5, z którego korzysta ChatGPT, jest ulepszoną wersją GPT-3 – ten został przeszkolony na podstawie ponad 45 terabajtów danych tekstowych (taka ilość pamięci pozwoliłaby zgromadzić ok. 45 mln 500-stronicowych e-booków) z wielu źródeł, w tym Wikipedii, książek i innych treści opublikowanych w internecie. Warto jednak podkreślić, że baza wspomnianych treści kończy się wraz z rozpoczęciem bieżącego roku. Tak więc ChatGPT nie wie np. o przejęciu Twittera przez Elona Muska, który – swoją drogą – przyczynił się do powstania OpenAI.

Przejdźmy do praktyki. W końcu najłatwiej poznać zdolności ChatGPT, prosząc go o przygotowanie różnych tekstów. Tak też więc uczyniłem, poczynając od prostych rzeczy, jak pytania o "Lalkę" Bolesław Prusa.

W tym miejscu warto zwrócić uwagę na to, jakie polecenia składamy. Jeżeli pytanie będzie zbyt ogólne, ChatGPT może mieć problem z odpowiedzią na nie. Właśnie dlatego należy dokładnie sprecyzować zadania dla bota. Na przykład miał on problem z napisaniem charakterystyki Stanisława Wokulskiego, gdy wpisałem jedynie: "Napisz charakterystykę Stanisława Wokulskiego". Jednak, gdy do polecenia dodałem termin "z Lalki", ten udzielił krótkiej odpowiedzi. Natomiast najlepiej poradził sobie po wprowadzeniu polecenia "Napisz długą charakterystykę Stanisława Wokulskiego z Lalki".

Ciekawy przypadek pojawił się w momencie, gdy poprosiłem ChatGPT o odpowiedź na pytanie: "Kim był Stanisław Wokulski?". Ten na początku udzielił w miarę trafnej odpowiedzi, jednak gdy przeszedł do opisu jego ukochanej, nazwał ją "Izabelą Świerczewską" zamiast "Łęcką". Postanowiłem sprawdzić, skąd wziął się ten błąd i poprzez szybkie śledztwo wpisałem w Google termin "Świerczewska Lalka".

Pierwszy wynik, który pojawił się w wyszukiwarce, był planem lekcji przygotowanym przez nauczycielkę języka polskiego Jolantę Świerczewską. Oczywiście jej agenda dotyczyła niczego innego jak "Lalki" i zawierała zadania do wykonania przez uczniów. Mogę tylko przypuszczać, że ChatGPT został w jakiś sposób nakarmiony wspomnianym dokumentem i zaciągnął z niego błędne nazwisko, przypisując je bohaterce lektury.

Jednym z największych problemów związanych z ChatGPT jest fakt, że potrafi w którymś momencie urwać zdanie niczym "Zbigniew Boniek" w poniższym przykładzie.

A tak na poważnie, gdy zleciłem ChatGPT napisanie artykułu o pożarach paneli fotowoltaicznych, ten rzeczywiście udzielił odpowiedzi, jednak nagle urwał swój tekst. Podobnie działo się w przypadku innych bardziej skomplikowanych treści. Tu jednak warto zaznaczyć, że problem dotyczy języka polskiego. Przetestowałem go również "po angielsku" i tutaj "wypluwał" tekst niczym karabin maszynowy i za każdym razem kończył swój wywód.

Ma to oczywiście związek z faktem, że język angielski dominuje wśród treści zamieszczonych w sieci. Według W3Techs (serwis dostarczający informacje na temat wykorzystania różnych rodzajów technologii w sieci) stanowią one 59,5 proc. Tymczasem te w języku polskim zaledwie 1,1 proc.

ChatGPT poradził sobie natomiast z napisaniem krótkiej informacji o dronach Bayraktar, na których cześć powstała nawet piosenka.

Tymczasem sami twórcy ChatGPT wskazują, że ten "czasami pisze wiarygodnie brzmiące, ale błędne lub bezsensowne odpowiedzi". Zdaniem zespołu OpenAI naprawa tego problemu jest wyzwaniem, ponieważ:

• podczas treningu RL, nie ma obecnie źródła prawdy,
• wytrenowanie modelu na większą ostrożność powoduje, że odrzuca on pytania, na które może odpowiedzieć poprawnie,
• nadzorowane szkolenie wprowadza model w błąd, ponieważ idealna odpowiedź zależy od tego, co wie model, a nie od tego, co wie ludzki demonstrator.

Warto też mieć na uwadze, że jego odpowiedzi zależą od odpowiedniego sformułowania pytania. Czasem ChatGPT może na początku twierdzić, że nie zna odpowiedzi lub odpowiadać wymijająco. Jednak po sprecyzowaniu zagadnienie nagle na nie odpowiada. Korzystając więc z bota, nie należy posługiwać się skrótami myślowymi, a po prostu używać pełnych zdań i konkretnych terminów.

Tym samym – na razie – ChatGPT nie stanowi zagrożenia dla zawodów polegających na pisaniu. Zamiast tego może być narzędziem ułatwiającym pracę copywriterów, marketingowców czy nawet dziennikarzy. Gdybym chciał, nie musiałbym nawet sam opisywać tego, jak działa bot, ponieważ on doskonale o tym wie i podzielił się ze mną informacjami na swój temat.

ChatGPT – co prawda – ma potencjał, by stać się narzędziem, które w przyszłości może nawet zastąpić wyszukiwarki. W końcu tutaj po wpisaniu hasła od razu otrzymujemy odpowiedź i nie musimy przewijać licznych wyników wyszukiwania, by w końcu znaleźć ten najlepszy. Sęk w tym, że jego odpowiedzi wciąż pozostają niepewne. A na pytanie, jak rozwiązać ten problem ChatGPT z pewnością nie udzieli trafnej odpowiedzi.