Naj w AI #5 FunSearch – wykorzystanie LLM do znajdowania nowych rozwiązań w matematyce i optymalizacji

AUTOR: Maciej Rubczyński – Head of Development | Big Data & AI Solutions Architect w TIDK

Świat AI i Gen AI rozwija się w niesamowitym tempie. Codziennie pojawiają się nowe artykuły, rozwiązania i informacje z tematyki Sztucznej Inteligencji. W „Naj w AI” podsumowuje subiektywnie wybrane nowości i artykuły z AI i Gen AI.

LLM cechują się skłonnością do halucynacji, kluczowe jest więc odpowiednie podejście do oceny skuteczności poprawności generowanych przez nie odpowiedzi. Nawet analizując artykuły i publikacje o nowych modelach od największych graczy na rynku jak Google i Microsoft, widać różnice w zastosowanych w tym celu podejściach. Różnić się może  sposób wykonywania zapytań,  sposób douczenia modelu przykładami w ramach konkretnego zapytania. Aby ujednolicić podejście do porównywania między sobą modeli swoją bibliotekę PromptBench zaproponował Microsoft. Pozwala ona zarówno na ocenienie skuteczności zapytań w kontekście różnych zestawów wandych, jak i na podejście do oceny przy zastosowaniu różnych podejść do tworzenia zapytań, ocenę odporności próby manipulowania zapytaniami i narzędzia do ostatecznej analizy rezultatów. Ciekawie zapowiadające się narzędzie dla każdego pracującego z LLM.

Google Deepmind opublikowało natomiast artykuł w Nature, w ramach którego autorzy podeszli do tematu wykorzystania LLM dla rozwiązywania skomplikowanych problemów matematycznych. Wypracowano w tym celu FunSearch – pierwsza część nazwy pochodzi od funkcji, a nie od zabawy 😊 FunSearch ma wskazany kod i za zadanie uzupełnić funkcję, czyli robi coś do czego wykorzystywany jest już często Github Copliot. W tym wypadku jednak funkcja jest bardziej skomplikowana, rozwiązania proponowane w kodzie przez LLM często nieoczywiste, ale dzięki zapisaniu ich w odpowiednim języku programowania zrozumiałe dla człowieka.

Autorzy twierdzą, że wykorzystali już FunSearch do wygenerowania nowych rozwiązań problemu plecakowego, jednego z podstawowych problemów optymalizacji. Dodatkowo, zmierzyli się też z powodzeniem z tzw. „cap set problem”, problemem znalezienia jak największego zbioru w przestrzeni gdzie żadne 3 punkty nie formują prostej linii. FunSearch był w stanie zaproponować poprawne i przełomowe rozwiązania problemu, których nie zaproponował jeszcze nigdy żaden matematyk.

Jak do tego doszło? Pracownicy Deep Mind sformułowali opis problemu, napisali wstępny kod, ale zostawili go do uzupełnienia. Puste miejsce miał za zadanie wypełnić Codey, model wykorzystywany do generowania kodu. Codey generował swoje propozycje, jednak okazywały się one zwykle oderwane od rzeczywistości i do niczego się nie nadawały. Konieczny okazał się więc kolejny model, którego zadaniem była ocena jakości propozycji wpisanej przez Codey.

Taka para modeli została uruchomiona na klika dni, w trakcie których została wygenerowana znaczna ilość śmieci, bezużytecznego kodu, który w żaden sensowny sposób do problemu nie podchodził. W górze śmieci znalazła się jednak i sztabka złota. Jedno z rozwiązań dawało poprawne rezultaty, a jednocześnie było czymś, co nigdy jeszcze nie zostało zaproponowane.

Naukowcy sami przyznają, że FunSearch jest dopiero na początku swojej drogi i nie są w stanie precyzyjnie wskazać, dlaczego dla dwóch z analizowanych problemów był w stanie zaproponować ciekawe rozwiązania. Sam artykuł jest jeszcze w procesie weryfikacji, natomiast wymienione rezultaty zdecydowanie dają nadzieję na niesamowite przełomy z wykorzystaniem LLM. Oczywiście, wciąż wiąże się to z ograniczeniami – wspomniana funkcja musiała mieć rozwiązanie, bez niego FunSearch nie byłby w stanie zaproponować swojego podejścia do problemu.

FunSearch: https://www.technologyreview.com/2023/12/14/1085318/google-deepmind-large-language-model-solve-unsolvable-math-problem-cap-set/

FunSearch: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/

PromptBench: https://paperswithcode.com/paper/promptbench-a-unified-library-for-evaluation