Wprowadź dane do ery sztucznej inteligencji

Nasze możliwości konsumpcji i analizy danych rosną w niesamowitym tempie. Co nieodzownie, wiąże się z rozwojem nowych narzędzi, serwisów i języków do pracy z danymi. Coraz większa ilość alternatywnych ścieżek integracji z danymi, wykonywania na nich przekształceń, analiz i raportów zaczyna przytłaczać i stwarzać coraz więcej wyzwań w tym obszarze.

Do pracy umożliwiającej wyciągnięcie wartościowej wiedzy z danych angażowane są liczne zespoły, w których skład wchodzą m.in.: inżynierowie danych umożliwiający wykonanie odpowiednich mechanizmów zasilania i przekształceń, analitycy – wizualizujący dane w ramach raportów Power BI, czy inżynierowie uczenia maszynowego – implementujący zaawansowane algorytmy wykorzystujące przygotowane dane. Mnogość możliwych do wykorzystania rozwiązań oraz osób odpowiedzialnych za pracę z danymi często tworzy skomplikowane środowisko. Integracja rozwiązań między sobą, odpowiednie powiązanie kolejnych mechanizmów i utrzymanie odpowiedniego środowiska jest żmudnym i nietrywialnym zadaniem. Z pomocą przychodzą rozwiązania umożliwiające nam wykonanie analityki end-to-end, zapewniające odpowiednie obsłużenie każdego kolejnego kroku procesu pracy z danymi.

Microsoft Fabric jest rozwiązaniem, które zapewnia uspójnienie pracy z danymi w organizacji. Pozwala zapomnieć o niezliczonej liczbie różnych niezintegrowanych produktów. Dzięki koncepcji SaaS w jednym serwisie oraz wyszczególnionym rolom odzwierciedlającym sposoby pracy z danymi, łatwo rozpoznać ich zastosowanie, o których szerzej w dalszej części tego tekstu.

 

6 ról w MS Fabric:

Power BI,

Data Factory,

Data Engineering,

Data Science,

Data Warehouse,

Real Time Analytics.

PowerBI

Microsoft Fabric oparty jest na interfejsie zintegrowanym z Power BI. Jest to więc intuicyjne rozwiązanie dla osób pracujących nad wizualizacjami, raportami i modelami. PowerBI jest rozwiązaniem cenionym w tych aspektach od wielu lat, a Microsoft Fabric w pełni pokrywa wszystkie jego zalety. Dane w Microsoft Fabric składowane są ramach OneLake, (nazwa nawiązuje do OneDrive i niesie ze sobą podobną ideę) scentralizowanej przestrzeni na wszystkie dane w organizacji. Zapewnia ona jedną lokalizację na jedyną kopię danych. Zapewnia to jeszcze wygodniejsze tworzenie analiz i raportów, poprzez szybki dostęp do wszystkich danych w organizacji. Wystarczy wybrać odpowiedni dataset i od razu można zacząć pracę nad raportem.

Data Factory

Pozwala na organizację przetwarzania i zasilania danych pochodzących z licznych źródeł. Umożliwia wykonanie kilkuset predefiniowanych transformacji w ramach przepływów danych oraz orkiestracje całości w potokach danych, w formie low-code. Są to rozwiązania znane z Synapse i Azure Data Factory, jednak teraz dopracowane o kolejne funkcjonalności m.in. szybkie kopiowanie (Fast Copy). W ramach Fabric, wszelkie transformacje wykonywane są również na danych zapisanych w OneLake, co zapewnia spójność w organizacji.

Data Engineering

Umożliwia deweloperom tworzenie data lakehouse’ów i wykorzystanie mocy obliczeniowej Spark do przeliczeń wykonywanych na znacznych wolumenach danych. Praca wykonywana jest w notebookach, analogicznych do tych znanych m.in. z Synapse (można pisać kod w Pythonie, SQL, R lub Scali). Rozwiązanie umożliwia pracę z wykorzystaniem Python, z biblioteką PySpark  Z poziomu notebooków łączymy się do OneLake, mamy więc do czynienia z jedną wersją prawdy. W każdym momencie jesteśmy w stanie szybko zwizualizować nasze dane w raporcie PowerBI.

Data Science

Zapewnia obsłużenie wszystkich potrzeb osoby pracującej nad zaawansowanymi metodami analizy danych oraz metodami uczenia maszynowego. Z perspektywy interfejsu możliwa jest praca w notebookach, rejestrowanie i wdrażanie modeli, śledzenie wykonywanych eksperymentów. Mamy możliwość pracy w języku Python, a perspektywy rozproszonego uczenia maszynowego zapewnia biblioteka synapseml. Dane wykorzystywane do uczenia modeli i logi zapisywane w trakcie ich trenowania trafiają na OneLake, zapewniając spójną logikę pracy z danymi dla wszystkich ról w organizacji.

Data Warehouse

To odpowiednik Azure Synapse Dedicated SQL Pool, czyli nowoczesnej, chmurowej hurtowni danych wykorzystującej architekturę MPP. Natywnie przechowuje dane w otwartym formacie usługi Delta Lake. Ta ścieżka pracy w szczególności skierowana jest do analityków pracujących z wykorzystaniem SQL. W powiązaniu z OneLake pozwala nam na odpytywanie wszystkich znajdujących się na nim danych z wykorzystaniem zapytań w tym języku. Wystarczy zdefiniować byt Warehouse, wskazać dane i można odpytywać je poprzez Warehouse Endpoint. A ostatecznie na podstawie stworzonych zapytań jednym kliknięciem bez opuszczania Fabric, stworzyć oparty o zapytania raport.

Real-time Analytics

Fabric pozwala na pracę z danymi  w czasie rzeczywistym, w ramach roli Real-time Analytics. Dzięki takim wbudowanym rozwiązaniom jak baza KQL, czy EventStream, jesteśmy w stanie zdefiniować źródło ruchu i skonfigurować mechanizm pozyskujący dane np. z Kafki. Fabric pozwala na przechwycenie zdarzeń w czasie rzeczywistym, wykonanie na nich transformacji, oraz przekazanie do konkretnych lokalizacji docelowych. Wszystko oparte o niezwykle efektywny język zapytań KQL, znany z Azure Data Explorer. Tak zasilane dane można od razu wykorzystać do wykonania raportu odświeżanego w PowerBI w czasie rzeczywistym, wciąż poruszając się tylko w ramach Microsoft Fabric.

OnePayPlan? 😉

Microsoft Fabric obiecuje również uproszczenie modelu płatności. Wstępna koncepcja cennika zakłada  trzy główne elementy: wykorzystywana moc obliczeniowa (capacity), licencje Power BI oraz przechowywanie danych, które są zbliżone do tych oferowanych przez Azure Data Lake Storage gen2. To sprawia, że oszacowanie i planowanie kosztów stają się znacznie łatwiejsze, a w niektórych scenariuszach również bardziej korzystne finansowo.

Jeśli chciałbyś przetestować serwis Microsoft Fabric w swojej organizacji, zgłoś się do nas. W ramach PoC skonfigurujemy dla Ciebie środowisko i uruchomimy je zgodnie z najlepszymi standardami i wytycznymi, przy okazji realizując wybrany przypadek biznesowy.

Transfer wiedzy dla Ciebie i Twojego zespołu w najlepszym wydaniu.