Czy można łatwo podłączyć ChatGPT pod analitykę w swojej organizacji? – o tym jak budować nowoczesne platformy analityczne wykorzystujące efekty badań w kierunku sztucznej inteligencji. 

WYWIAD DLA FORBES NR 3/2023

Łukasz Grala – Mentor, Futurolog, CEO TIDK

Panie Łukaszu, wydaje się, że korzyści z wykorzystania danych i analityki są ogólnie znane i nie budzą wątpliwości. To więc truizm pytać czy w ogóle warto w nią inwestować. Czy mógłby Pan określić najważniejsze elementy w całej tej analitycznej układance?

Musimy wyróżnić trzy najważniejsze aspekty – pierwszy dotyczy podejścia, ponieważ analitykę w tych czasach powinniśmy budować w sposób zwinny, czyli przyrostowo realizując założone cele biznesowe. Kolejny obszar odnosi się do doboru odpowiedniej metodyki budowania takich rozwiązań. A ostatnim aspektem jest już myślenie o przyszłości i budowanie rozwiązań tak, by były one możliwe do szybkiej adaptacji do zmian i skalowania. Bo przecież analityka cały czas się rozwija – zmierzamy obecnie w kierunku analityki real-time, czy wykorzystania zaawansowanych algorytmów, tych personalizowanych jak np. prognozowanie, czy optymalizacja, ale także tych gotowych modeli dostępnych od ręki w chmurach jak chociażby GPT-3 znany z ChatGPT.

W takim razie od czego zacząć i jakie rozwiązanie wybrać? Rynek przesycony jest przecież różnymi podejściami i rozwiązaniami. Skąd więc wiedzieć co wybrać?

By analityka przyniosła nam wartość w szybkim czasie – czyli żeby nie trzeba było czekać na efekt miesiącami czy latami, ważna jest ta zwinność, o której wspominałem, gdzie dowozimy w tygodniach kawałek, który daje wartość dla organizacji. By móc do tego podejść w ten sposób należy odpowiednio zbudować podejście do przetwarzania i składowania danych w organizacji. Wszystkim są znane tradycyjne podejścia, które towarzyszą nam od lat 80-tych zeszłego wieku, takie jak hurtownie danych opracowane przez Inmona i Kimballa . Następnie, wraz z olbrzymim przyrostem danych, na arenę wkroczyły rozwiązania dedykowane przetwarzaniu danych typu Big Data. Obecnie mamy do czynienia ze stosunkowo nową koncepcją architektury platform do przetwarzania danych – Lakehouse, opisywaną m.in. w najnowszej książce Inmana – Building the Data Lakehouse.

Może Pan powiedzieć o tym coś więcej? Jak bardzo różni się to nowe podejście Lakehouse od tych znanych nam od lat i jakie ma zalety?

Lakehouse to otwarta architektura, która łączy najlepsze elementy Data Lake i hurtowni danych, czyli integruje przetwarzanie dużych i skomplikowanych wolumenów danych typu Big Data z hurtowniami. Dużą zaletą takich podejść jest to, że mamy mniejszą ilość przekształceń i mniejsze opóźnienie niż w tradycyjnych hurtowniach danych realizowanych według wcześniejszych metodyk. Wciąż jednak przetwarzanie tak dużych wolumenów danych może wymagać znacznej mocy obliczeniowej. Tutaj z pomocą przychodzi chmura publiczna, czyli rozwiązania które mamy dostępne chociażby na platformie Azure. Wykorzystanie zasobów chmurowych pozwala nie tylko na skalowanie obliczeń, ale także dobieranie w spersonalizowany sposób rozwiązań pod to, co chcemy osiągnąć. W praktyce oznacza to, że nie musimy od razu posiadać potężnych rozwiązań od strony infrastruktury, żeby realizować cele które chcemy osiągnąć za 2-3 lata – i to jest największa zaleta budowania takich rozwiązań w chmurze. Możemy elastycznie dobierać moc obliczeniową do zapotrzebowania – im mamy więcej potrzeb analitycznych w danym momencie tym więcej zasobów będziemy potrzebować. Z chmurą nie jest to problem, bo dostosowujemy sobie odpowiednie rozwiązanie, które nam taką moc dostarczy, oczywiście z możliwością redukcji w okresach kiedy tak duże zapotrzebowanie nie jest potrzebne. Dużą zaletą podejścia Lakehouse jest też to że bardzo łatwo wpiąć czy przerobić różne elementy, tak by były przetwarzane w czasie rzeczywistym, dzięki czemu możemy dostarczać analitykę real-time. Co jest ważne – na warstwie Lakehouse możemy budować różnego rodzaju modele, czyli wykorzystywać czy budować algorytmy uczenia maszynowego lub wykorzystywać algorytmy sztucznej inteligencji   gotowe do analizy obrazu czy przetwarzania tekstu jak wspomniany wcześniej GPT-3.

Opowiada Pan o Lakehouse jako podwalinie całego rozwiązania, a tyle ostatnio słyszy się o nowym podejściu Data Mesh – mógłby Pan wyjaśnić czym jest i jak ma się do tego całego rozwiązania?

Kluczowym elementem, jaki należy wziąć pod uwagę przy budowaniu rozwiązania analitycznego jest dostarczenie ostatecznej wartości biznesowej. I tutaj z pomocą przychodzi nowe podejście – Data Mesh. Czym to dokładnie jest? To zupełnie inne spojrzenie na dane, które stają się produktem. Należy na nie patrzeć w kontekście potrzeb biznesowych. Czyli mamy domeny biznesowe, które adresują konkretne problemy Takie podejście daje nam duże zalety, ponieważ zarówno aspekty związane z Data Governance, z utrzymaniem, odpowiedzialnością, czy dostarczeniem tej wartości biznesowej są podzielone w przedsiębiorstwie. Z perspektywy biznesowej dzielimy je domenami a mając pod spodem Lakehouse nie doprowadzamy do tzw. Silosów danych, które stanowią największy problem w organizacji. W ten sposób otrzymujemy zarazem jedną wersję prawdy, adresując konkretne KPI i potrzeby biznesowe.

Panie Łukaszu, kończąc ten bardzo inspirujący wywiad, chciałbym dopytać czy to podejście do analityki to na tę chwilę jedynie idealna wizja, czy jednak firmy zaczynają już podążać tą drogą?

Nadal dużo jest do zrobienia i sporo firm opiera się na starszym podejściu, ale pozytywne na pewno jest to, że wiele przedsiębiorstw dostrzega zmiany. Widzimy to także u siebie – w TIDK realizujemy wiele projektów związanych z budowaniem nowoczesnych platform analitycznych. Firmy zgłaszają się również coraz częściej po audyty swoich rozwiązań czy całkowitą ich przebudowę, ponieważ nie spełniają już one ich potrzeb biznesowych. Także nowoczesne podejście do analityki to już nie tylko idealna wizja, ale realne wdrożenia, również na naszym rodzimym gruncie.