Naj w AI #1 Empatia w ChatGPT?

AUTOR: Maciej Rubczyński – Head of Development | Big Data & AI Solutions Architect w TIDK

Świat AI i Gen AI rozwija się w niesamowitym tempie. Codziennie pojawiają się nowe artykuły, rozwiązania i informacje z tematyki Sztucznej Inteligencji.

W „Naj w AI” podsumowuje subiektywnie wybrane nowości i artykuły z AI i Gen AI.

Czy dobrym pomysłem jest używać Chat-GPT jako kalkulator?  Zdecydowanie nie. Duże modele językowe takie jak GPT-4 czy LLAMA potrafią poradzić sobie z prostymi scenariuszami jak mnożenie mniejszych liczb. W przypadku gdy potrzebujemy wykonać operacje na liczbach większych niż 5 cyfrowe objawia się ich prawdziwa natura i zaczynają spektakularnie zawodzić. Głównym powodem takiego działania jest fakt, że jako modele nauczone predykcji następnego tokenu, nie są w stanie wyłapać zależności pojawiających się w operacjach arytmetycznych i przenieść je na duże liczby.

Tą zależność dogłębnie zbadali naukowcy z Microsoft Research w opublikowanym 22 listopada artykule „Positional Description Matters for Transformers Arithmetic”. Z ich eksperymentów wynika, że poprawność mnożenia  przez GPT-4 dwóch liczb trzycyfrowych to około 60%, a dla liczb pięciocyfrowych spada aż do 0%. Autorzy proponują też kilka możliwych rozwiązań problemu, wymagających trenowania modelu w odpowiedni sposób, zdecydowanie więc polecam zapoznanie się z artykułem.

Innym tematem w którym LLM trafiają na znaczne problemy są zagadnienia związane z logicznym rozumowaniem. Zachęcam do zadania w ChatGPT pytania „Tata Jurka ma czwórkę dzieci, w tym trzy córki: Alę, Anię i Asię. Jakiej płci jest jego czwarte dziecko?” Podobnie jak w przypadku mnożenia dużych liczb, dostaniemy niepoprawną odpowiedź. Co ciekawe – poprzednie modele przy takim pytaniu nie potrafiły sobie poradzić również z podaniem imienia czwartego dziecka, najnowsze wersje GPT-4 i Bard są już w stanie podać poprawną odpowiedź na tak sprecyzowane pytanie

Problem logicznego rozumowania LLM został przeanalizowany już  w wielu artykułach, jedno z ostatnich podejść zaproponowali naukowcy z Microsoft Research Asia w ”Learning To Teach Large Language Models Logical Reasoning”.  Wypracowali i opisali kila strategii podejść do dotrenowania modelu w celu zwiększenia jego możliwości logicznego rozumowania, takich jak dodanie do danych treningowych jasnego wskazania relacji między zdarzeniami czy ciągu przyczynowo skutkowego. Proponowane przez nich strategie sprowadzają się jednak w większości do odpowiedniego przygotowania danych treningowych, co uniemożliwia użycie ich w generycznych modelach, wymagających ogromnych wolumenów informacji wejściowych. Pozostaje to natomiast ciekawą opcją w mniejszych wykorzystywanych w konkretnych przypadkach rozwiązaniach opartych o LLM.

Skoro duże modele językowe są dogłębnie analizowane pod kątem arytmetyki i logiki, to spójrzmy też na dziedzinę nauki z zupełnie odwrotnego spektrum – psychologię. W„Large Language Models Understand and Can Be Enhanced by Emotional Stimuli” autorzy m.in. z Uniwersytetu w Pekinie oraz Microsoftu zbadali odpowiedzi modeli w zależności od nacechowania emocjonalnego zapytania. W tym celu dodawali do treści zapytań teksty takie jak „To bardzo ważne dla mojej kariery”, czy też motywacyjne „Skup się przy tej odpowiedzi, to osiągniesz lepsze rezultaty”. Wyniki są całkiem zaskakujące i potwierdzają przydatność zastosowania elementów inteligencji emocjonalnej w zapytaniach kierowanych do modelu.

W ramach rozszerzenia tej tematyki badań naukowcy z Uniwersytetu z Seulu zaproponowali generowanie zapytań oparte o Chain-of-Empathy, mechanizmu mającego wykorzystać aspekty inteligencji emocjonalnej w LLM. Jest to podejście opisane w ramach artykułu „Chain of Empathy: Enhancing Empathetic Response of Large Language Models Based on Psychotherapy Models”, w którym autorzy powiązali LLM z teoriami z dziedziny psychoterapii. Analizując teksty z niektórych związanych ze zdrowiem psychicznym tekstów z Reddit.com, naukowcy przygotowali mechanizm generowania zapytań CoE w taki sposób, by w odpowiedzi na zapytanie generowane przez użytkownika starał się przeanalizować jego stan emocjonalny i na jego podstawie wygenerował odpowiednią dla sytuacji odpowiedź. Przykładowo, gdy użytkownik pisał, że właśnie rozstał się z dziewczyną i jego życie straciło sens, LLM w powiązaniu z Chain-of-Empathy proponował odpowiedź „Bardzo mi przykro. Rozumiem, że jest Ci teraz ciężko i jest to naturalne, że tak się czujesz. Porozmawiaj ze mną o tych emocjach, postaramy się razem sobie z nimi poradzić”. Dodatkowo, często odpowiedź modelu sugerowała udanie się do specjalisty. Dotychczas wydawało się, że zadania wymagające empatii pozostaną na długo poza zasięgiem technologii i AI, więc Chain-of-Empathy jest zdecydowanie ciekawą próbą zmierzenia się z tym problemem.

Jak myślicie, czy AI jest w stanie nauczyć się empatii?