01.02.2024

Naj w AI #9 Sztuczna Inteligencja w Geometrii

AUTOR: Maciej Rubczyński – Head of Development | Big Data & AI Solutions Architect w TIDK

Duże modele językowe, jako generyczne rozwiązania służące do predykcji kolejnego tokenu w tekście, nie są mechanizmami idealnymi do zagadnień matematycznych. Spróbujcie pomnożyć 8-cyfrowe liczby w ChatGPT, wyniki nie są poprawne. Modele skupiając się na predykcji kolejnych elementów tekstu nie są w stanie wyłapać logiki skomplikowanych obliczeń matematycznych. Nie oznacza to jednak, że LLM nie mają wcale potencjału do wykorzystania ich w tego typu zadaniach. W jednym z artykułów wspomniany został już FunSearch, wykorzystujący LLM do rozwiązywania zagadnień optymalizacyjnych Twórcy FunSearch, DeepMind, podeszli również do wykorzystania modeli językowych w geometrii i w tym celu powstał AlphaGeometry.

AlphaGeometry to system, który rozwiązuje złożone problemy geometryczne na poziomie zbliżonym do ludzkich medalistów olimpijskich. W teście obejmującym 30 problemów geometrycznych z Międzynarodowych Olimpiad Matematycznych, AlphaGeometry rozwiązał 25 z nich w wyznaczonym czasie, co jest wynikiem porównywalnym do średniej osiągnięć zdobywców złotych medali.

System ten łączy w sobie moc predykcyjną modelu językowego z silnikiem dedukcyjnym opartym na zasadach formalnej logiki. Model językowy jest dobry w rozpoznawaniu ogólnych wzorców i relacji w danych, szybko przewidując potencjalnie użyteczne konstrukty, ale często brakuje mu zdolności do rygorystycznego rozumowania. Silnik dedukcyjny, z drugiej strony, opiera się na formalnej logice i ścisłych zasadach, co pozwala mu kierować model językowy ku racjonalnym decyzjom. Te dwa podejścia, odpowiedzialne odpowiednio za kreatywne myślenie i logiczne rozumowanie, współpracują ze sobą w rozwiązywaniu trudnych problemów matematycznych, co może przypominać nam sposobem działania ludzki proces rozwiązywania problemów geometrycznych.

Treningowe dane dla AlphaGeometry zostały stworzone przez zespół DeepMind w sposób syntetyczny. Zespół wygenerował prawie pół miliarda losowych diagramów geometrycznych, a następnie silnik symboliczny analizował każdy diagram, produkując stwierdzenia na temat jego właściwości. Te stwierdzenia zostały zorganizowane w 100 milionów syntetycznych dowodów, aby wyszkolić model językowy. Ta metoda generacji danych pozwoliła na efektywne trenowanie AlphaGeometry bez konieczności korzystania z pomocy ludzi, co było kluczowe w kontekście ograniczonej dostępności danych geometrycznych. Algorytm rozwiązuje problemy geometryczne poprzez dodawanie nowych elementów konstrukcyjnych, takich jak punkty, linie lub okręgi, do diagramu, co ostatecznie pozwala silnikowi symbolicznemu na dalsze dedukcje i zbliżenie się do rozwiązania.

AlphaGeometry został przetestowany na zestawie 231 problemów geometrycznych, rozwiązując prawie wszystkie (98,7%) z nich, co stanowi znaczny skok w porównaniu z osiągnięciami innych metod. Wydajność była imponująca, szczególnie biorąc pod uwagę, że w niektórych testach wykorzystano tylko 20% danych treningowych, a koszty zasobów obliczeniowych wynosiły ok. 2% budżetu konkurencyjnych algorytmów. Mimo to system utrzymał wyniki na poziomie najlepszych dostępnych metod.

Microsoft Research, zaproponował natomiast MetaOpt, innowacyjne narzędzie do problemów związanych z heurystykami. Jego głównym zadaniem jest analiza, wyjaśnianie i udoskonalanie wydajności heurystyk, które są szeroko stosowane w rozmaitych aplikacjach technologicznych. Tradycyjnie, heurystyki były trudne do analizowania i optymalizowania, ze względu na ich złożoność i często niedeterministyczny charakter. MetaOpt przekształca ten proces, zapewniając głębsze zrozumienie działania tych algorytmów.

System ten nie wykorzystuje LLM ani Generative AI. Zamiast tego powstało rozwiązanie symulujące zastosowanie różnych heurystyk i na tej podstawie oceniające je, dostarczając nie tylko porównań wydajności, ale także wglądów w przyczyny różnic w wydajności. To podejście pozwala na dokładną analizę i udoskonalenie wydajności heurystyk przed ich wdrożeniem w krytycznych środowiskach operacyjnych. Dzięki temu możliwe jest dokonywanie bardziej świadomych decyzji dotyczących wyboru i konfiguracji algorytmów.

Co istotne, MetaOpt nie tylko zapewnia informacje o obecnej wydajności heurystyk, ale także wskazuje możliwe obszary udoskonaleń. Dzięki temu inżynierowie mogą dokładniej dostosowywać swoje systemy do konkretnych potrzeb, co jest kluczowe w szybko zmieniających się środowiskach technologicznych. Autorzy twierdzą, że system jest już wykorzystywany w ramach chmury obliczeniowej Azure, w ramach ustalenia odpowiedniej liczby zasobów w celu spełnienia wymagań klientów.

Rozwój AI w rozwiązywaniu zadań matematycznych jest więc znaczny, zarówno dla systemów opartych o LLM jak w przypadku AlphaGeometry jak i w rozwiązaniach tradycyjnego AI w MetaOpt. Ciekawe, jakie podejścia będą następne.

Źródła: