Wybór między Qlik Cloud i on-premise nie jest łatwym zadaniem i zależy od wymagań firmy, w zakresie m.in. częstotliwości aktualizacji, analizy oszczędności i kwestii zarządzania środowiskiem.

Z naszego webinaru dowiesz się:

• Jakie możliwości oferuje platforma Qlik Cloud oraz poznasz dostępne w jej ramach usługi i dodatki,
• Jak wygląda migracja z on-premise do Qlik Cloud,
• Jak radzić sobie z problemami technicznych związanymi z rozmiarem aplikacji i wymaganiami platformy,
• Jak w praktyce wygląda Qlik Cloud i jego funkcjonalności.

Prezenterzy:

MICHAŁ OGONOWSKI
Principal Qlik Leader w Inetum

SZYMON SERWIN
Qlik Technical Leader w Inetum

XXI wiek przyniósł ze sobą ogrom danych i informacji, które przepływają przez firmy każdego dnia. I wcale nie zapowiada się na to, aby miało być ich mniej. Wręcz przeciwnie, powinniśmy przygotować się na to, że liczba danych będzie rosnąć, i to w sposób logarytmiczny. Jednak gdzieś w ukryciu, w gąszczu tych wszystkich danych, jest ukryty prawdziwy skarb, który może zmienić sposób działania każdej organizacji – czyli właśnie dane podstawowe.

Czym są dane podstawowe? 

A właściwie: czym tak naprawdę chcemy i powinniśmy zarządzać? Czy wiemy, które dane są najważniejsze dla naszej organizacji? 

Dane podstawowe, znane również jako dane główne (ang. Master Data), to kluczowe informacje o jednostkach, obiektach lub konceptach, które są istotne dla działania firmy.  

W kontekście Master Data Management (MDM) dane podstawowe to te informacje, które uważane są za fundamentalne i kluczowe dla prawidłowego funkcjonowania biznesu.  

Oprócz tego korporacje przetwarzają wiele innych danych transakcyjnych, a także generują dane typowo analityczne, które mogą bazować na Master Data. Obejmuje to różne aspekty działalności przedsiębiorstwa, takie jak:

• klienci, 
• produkty,  
• pracownicy,  
• dostawcy,  
• lokalizacje i inne istotne kwestie. 

Dlaczego warto wdrożyć system zarządzania danymi głównymi 

Celem zarządzania danymi podstawowymi (gdy już zostaną one określone i są nam znane) jest zapewnienie spójności, jakości, integralności i dostępności tych danych we wszystkich systemach i procesach organizacji. Dzięki temu dane te stają się wartościowym zasobem, który może być wykorzystywany do podejmowania bardziej trafnych decyzji biznesowych, optymalizacji działania i zwiększenia konkurencyjności firmy. MDM pomaga również zapobiegać błędom wynikającym z niejednolitych lub nieaktualnych informacji, co może mieć negatywny wpływ na skuteczność.  

Spójne dane główne vs przepływ informacji – przykłady  

Wyobraźmy sobie handlowca, który z powodu zduplikowanych rekordów w CRM przedstawia ofertę klientowi… Którego obsługuje już inny kolega z działu. Bałagan w kluczowych danych nie tylko obniża skuteczność działań obu handlowców, ale też podważa reputację firmy. Przykłady można mnożyć. Nieaktualne dane klientów w bazie nie pozwolą marketingowcom prowadzącym kampanie mailingowe dotrzeć do odpowiedniej osoby. Brak kluczowych danych o produkcie w systemie ERP to groźba realnych strat sprzedażowych.  

Warto już dziś zastanowić się, które dane w twojej organizacji powinny być traktowane jako dane podstawowe – odpowiednie zarządzanie najcenniejszymi danymi stanowi m.in. podstawę budowania metryk jakości danych, o czym pisałem w artykule o Data Governance.  

Jak zoptymalizować proces zarządzania danymi w organizacji?  

Optymalizacja procesu zarządzania danymi w organizacji to wieloaspektowe zadanie, które wymaga uwzględnienia różnych czynników.  

1. Sprawdź, jaką rolę odgrywają dane w osiągnięciu celu twojej firmy – na początku trzeba dokładnie poznać i zrozumieć cele organizacji i to, jaką rolę odgrywają dane w osiąganiu tych celów.  
2. Wyznacz dane podstawowe – następnie należy wyznaczyć dane, które można uznać za kluczowe dla firmy.  
3. Wypracuj dobre praktyki – mając już ten proces za sobą, konieczne jest wypracowanie standardów i procedur zarządzania danymi, które będą realizowane w całej organizacji. Rozumiemy przez to zarówno podejście do prezentowania, jak i rozumienia konkretnych pojęć.  
4. Zadbaj o jakość swoich danych – w kolejnych krokach ważne jest to, aby zapewnić wysoką jakość danych, wyeliminować błędy i potencjalne duplikaty w tworzeniu danych podstawowych. Na pewno niezbędne okażą się wspomniane już metryki jakości danych. 

Jak określić dane podstawowe?  

W tym miejscu pojawiają się już systemy MDM, których dostawców nie brakuje, ale o nich za chwilę. Pozwalają one uporządkować w jednym miejscu to wszystko, co tak naprawdę jest istotne przy zarządzaniu danymi, a więc stanowią centrum informacyjne, które ułatwia znormalizowanie, synchronizację, integrację, zarządzanie dostępem do danych i kontrole regulacyjne. Szczególnie ten ostatni punkt jest istotny w momencie, gdy zmienia się prawo i należy odpowiednio dostosować zarządzanie danymi w firmie (tak było np. w momencie wejścia w życie ustawy o ochronie danych osobowych, RODO). 

Z właściwym i dobrze zorganizowanym podejściem do zarządzania danymi podstawowymi jest o wiele łatwiej prezentować dane pracownikom. Minimalizujemy też ryzyko sytuacji, w których różne systemy korporacyjne na swoje potrzeby muszą same wyznaczać dane podstawowe. Tyczy się to także analiz raportowych: kiedy wiadomo, gdzie należy szukać informacji, np. o klientach i fakturach, unikniemy rozbieżnych wyników w raportach.  

Przykładowe systemy informatyczne klasy MDM 

Na rynku znajdziemy wiele systemów Master Data Management (MDM) od różnych dostawców. Najczęściej oferują to, co najważniejsze w MDM, ale oczywiście ich dostawcy udostępniają różne funkcje, a narzędzia dają wiele możliwości. Poniżej kilka przykładów najpopularniejszych rozwiązań: 

1. Informatica MDM: Informatica to firma specjalizująca się w rozwiązaniach do zarządzania danymi, a Informatica MDM to jej platforma do zarządzania danymi podstawowymi. Oferuje szeroki zakres funkcji, w tym deduplikację, integrację czy zarządzanie jakością danych. 
2. SAP Master Data Governance: SAP oferuje rozwiązania MDM, które są zintegrowane z systemami ERP tego dostawcy. SAP Master Data Governance pozwala firmom zarządzać danymi klientów, produktami i innymi krytycznymi danymi. 
3. IBM InfoSphere MDM: Rozwiązanie InfoSphere to kompleksowe narzędzie do zarządzania danymi, które umożliwia organizacjom zarządzanie m.in. danymi klientów, produktów, dostawców.  
4. SAS MDM: SAS oferuje narzędzia, które pozwalają organizacjom na zarządzanie danymi podstawowymi i wykorzystywanie ich do analizy i raportowania. 
5. TIBCO MDM: TIBCO Software oferuje rozwiązanie, które pozwala zarządzać danymi klientów, produktów i innymi kluczowymi informacjami w organizacji. 

To tylko kilka przykładów systemów MDM dostępnych na rynku. Wybór odpowiedniego systemu zależy w głównej mierze od potrzeb i wymagań firmy oraz od budżetu. Każdy z wyżej wymienionych dostawców oferuje darmowe demo swoich narzędzi, więc warto poświęcić czas na dokładne poznanie możliwości poszczególnych rozwiązań. 

Korzyści z wdrożenia systemu MDM 

• Zcentralizowane źródło informacji – po wdrożeniu systemu Master Data Management i właściwej początkowej konfiguracji firma zyskuje przede wszystkim centralne źródło informacji o danych, które znacząco ułatwia analitykę i dalszy rozwój firmy w oparciu o dane kluczowe. Wszelkie integracje nowych systemów, rozbudowa aktualnych, a czasem nawet całkowita ich przebudowa, stają się znacznie prostsze, gdy wiemy, z których danych i w jaki sposób powinniśmy korzystać. Tym sposobem pojawienie się nowego systemu CRM nie wymaga kroku dotyczącego analizy w związku z wyznaczaniem źródła informacji o klientach, gdyż te są dostępne na wyciągnięcie ręki. 
• Lepsze wyniki – bez powielania błędów uzyskujemy produkty lepszej jakości, które też powstają szybciej, bo minimalizowane jest ryzyko niepoprawnych wyników, a co za tym idzie, kolejnych iteracji poprawiania. To z kolei bezpośrednio prowadzi do wzrostu konkurencyjności na rynku, a także pomaga zwiększyć zaufanie wśród partnerów biznesowych, których obsługa przebiega po prostu sprawniej.  
• Lepsza analityka – naturalnie też wszelkie działania analityczne zyskują płynność i pozwalają podejmować lepsze decyzje biznesowe.  
• Łatwiejsza personalizacja oferty – spójne dane podstawowe, które mamy pod kontrolą, bezpośrednio przekładają się na lepszą obsługę klienta i pozwalają lepiej spersonalizować ofertę firmy.  

Master Data Management. Podsumowanie  

Liczę na to, że ten tekst zwraca uwagę na obszar Master Data Management (MDM) i na to, dlaczego zarządzanie kluczowymi danymi jest tak ważne. Pora więc na kilka zdań podsumowania: pamiętajmy, że systemowe podejście do zarządzania danymi podstawowymi (np. klientów lub produktów) gwarantuje wyższą jakość usług, lepsze wyniki i przekłada się na wzrost zadowolenia wewnątrz firmy, jak i na zewnątrz, u naszych klientów.  

Poprzez zapewnienie spójności, jednolitości danych kluczowych w ramach głównych źródeł danych przyspieszamy wszelkie procesy biznesowe, jesteśmy gotowi na wszelkie zmiany prawne i mamy pewność, że strategiczne decyzje będą podejmowane na podstawie odpowiednich informacji. 

Zarządzanie Danymi Podstawowymi. FAQ 

Na koniec kilka często zadawanych pytań i odpowiedzi, które mogą was nurtować, jeśli zaciekawił was temat Master Data Management (MDM).

Idź do:

1. 1. Przekleństwo eksplozji danych
2. 2. Historia hurtowni danych w pigułce
3. 3. Jedna wersja prawdy Billa Inmona
4. 4. Wielowymiarowy świat Kimballa
5. 5. Jedna wersja faktów Linstedta – Data Vault
6. 6. Porównanie technik modelowania
7. 7. Wybór?
8. 8. Big Data

Przekleństwo eksplozji danych

Właściwie każde większe przedsiębiorstwo zmaga się z problemem nadmiarowości danych. Dane „produkowane” są niemal przez każde urządzenie elektroniczne i różnego rodzaju systemy wspierające działalność operacyjną organizacji. Można do nich zaliczyć systemy służące do:

• planowania zasobów przedsiębiorstwa,
• zarządzania relacjami z klientami,
• zarządzania magazynem,
• systemy finansowo-księgowe,
• systemy produkcyjne,
• i wiele innych, często specyficznych dla obszaru działalności przedsiębiorstwa.

Systemy te przeważnie gromadzą dane w bazach danych w trzeciej postaci normalnej. Co to znaczy? W bazach danych spotkać można relacje trzech postaci:

1. Pierwsza postać normalna = 1PN (ang. 1NF = First normal form) – każdy atrybut w tabeli ma wartość elementarną (brak powtarzających się grup informacji), tabela posiada klucz;

2. Druga postać normalna = 2PN (ang. 2NF = Second normal form) – tabela powinna przechowywać dane dotyczące tylko konkretnej klasy obiektów;

3. Trzecia postać normalna = 3PN (ang. 3NF = Third normal form) – każdy niekluczowy atrybut jest bezpośrednio zależny tylko od klucza głównego.

W pewnym momencie każde przedsiębiorstwo musi więc zmierzyć się z problemem, którym wcale nie jest brak dostępu do danych czy ich niedobór, ale przesyt, utrudnione przetwarzanie, brak możliwości przekucia ich w wiedzę i wydajnego zastosowania w procesie podejmowania decyzji. Odpowiedzią na ten problem jest hurtownia danych, której zadaniem jest integracja heterogenicznych, czyli pochodzących z wielu źródeł, danych przedsiębiorstwa. Termin hurtownia jednoznacznie wskazuje także na spory wolumen danych możliwych do przechowywania w takiej strukturze.

Hurtownia danych to relacyjna baza danych, przechowująca zintegrowane dane pochodzące z różnych źródeł, w tym z systemów transakcyjnych przedsiębiorstwa. Najczęściej hurtownia danych poświęcona jest konkretnemu procesowi biznesowemu czy obszarowi działania przedsiębiorstwa. Celem hurtowni jest dostarczenie wiedzy decyzyjnej.

Więcej podstawowych informacji na ten temat można znaleźć w artykule Czy hurtownia danych to lek na chaos informacyjny?

Przeczytaj artykuł i poznaj możliwości, jakie daje data storytelling w Business Intelligence!

Historia hurtowni danych w pigułce

Trudno jednoznacznie wyznaczyć konkretny moment w historii stanowiący początek koncepcji hurtowni danych. Prace teoretyczne w tym obszarze były prowadzone już w latach 70. ubiegłego stulecia. Z drugiej strony pierwszy komercyjny system Business Intelligence został stworzony w 1985 roku dla firmy Procter & Gamble. W roku 1988 w artykule zatytułowanym „Architektura dla biznesu i systemów informacyjnych” Barry Devlin i Paul Murphy zdefiniowali pojęcie „hurtowni danych biznesowych” na łamach czasopisma naukowego „IBM Systems Journal”.

Hurtownie danych nieodłącznie kojarzone są z urodzonym w 1945 roku amerykańskim informatykiem Billem Inmonem, uważanym przez wielu za ojca hurtowni danych. Bill Inmon został mianowany przez „Computerworld” w 2007 roku jedną z dziesięciu osób, które miały najbardziej znaczący wpływ na rozwój IT przez ostatnie 40 lat. W 1992 roku Inmon zdefiniował hurtownię danych następująco:

„Hurtownia danych to tematyczna baza danych, która trwale przechowuje zintegrowane dane opisane wymiarem czasu, mająca służyć wspomaganiu procesu podejmowania decyzji”.

Każde z użytych w definicji słów precyzyjnie określa atrybuty hurtowni danych:

Rys. 1. Atrybuty hurtowni danych wg definicji Inmona

Obok Inmona kluczową postacią w obszarze hurtowni danych jest urodzony w 1944 roku Ralph Kimball. W odróżnieniu od definicji hurtowni danych Inmona, gdzie nacisk położony jest na cechach hurtowni, Kimball koncentruje się na jej przeznaczeniu:

„Hurtownia danych to system, który pozyskuje dane z systemów źródłowych, przekształca je i ładuje je do wielowymiarowych struktur, a następnie dostarcza zapytania i analizy wspierające podejmowanie decyzji”.

Rys. 2. Przeznaczenie hurtowni danych wg definicji Kimballa

Autorem trzeciego podejścia do tematyki hurtowni danych, określanym jako Data Vault, jest Dan Linstedt. Data Vault to wynik 10-letnich badań Linstedta w celu zapewnienia spójności, elastyczności i skalowalności hurtowni. Za pierwszy owoc jego badań w tym zakresie można przyjąć wydane w 2000 roku pięć artykułów poświęconych tej tematyce.

Bill Inmon, Ralph Kimball i Dan Linstedt są autorami setek publikacji prezentujących ich podejście do modelowania danych. Najpełniejsze odzwierciedlenie ich punktów widzenia na hurtownie danych można odnaleźć w książkach, których są autorami. Wyjaśnienie podejścia każdego z trzech wizjonerów postaram się jednak w skrócie porównać w kolejnych akapitach.

 Rys. 3. Pierwsze wydania książek poświęconych projektowaniu hurtowni danych wg różnych podejść

Jedna wersja prawdy Billa Inmona

Hurtownia danych wg Inmona w fizycznym, implementacyjnym ujęciu to centralna, relacyjna baza danych w trzeciej postaci normalnej, na podstawie której budowane są data marts przeznaczone dla poszczególnych jednostek (departamentów, działów, wydziałów) organizacji. Podejście Inmona oparte jest bezpośrednio na danych źródłowych, budowę hurtowni można więc rozpocząć a priori bez specyfikowania wymagań użytkownika. Architektura Inmona zakłada wykorzystanie wszystkich baz systemów operacyjnych, wyklucza więc możliwość wybiórczego pozyskiwania danych. Hurtownia danych przechowuje zatem atomowe (elementarne) dane pochodzące z baz danych systemów źródłowych. Takie podeście daje gwarancję elastyczności i skalowalności, co jest niezwykle cenne w przypadku szybko zmieniających się struktur baz danych systemów źródłowych. Dodatkowo, wszystkie data marty oparte są zawsze na tej samej hurtowni danych, co implikuje spójność pomiędzy nimi. Inmon jest zatem zwolennikiem teorii jednej wersji prawdy (ang. SVOT = single version of the truth). Warto podkreślić, że hurtownia danych i data marty są fizycznie odseparowane, co można zaobserwować na poniższym rysunku.

Rys. 4. Schemat architektury hurtowni danych wg Inmona

Hurtownie danych są zasilane z wykorzystaniem tzw. procesów ETL (ang. Extract, Transform, Load). Są to procesy, których zadaniem jest:

• ekstrakcja, czyli pobranie danych z systemów źródłowych;
• transformacja, czyli przekształcenie i ujednolicenie danych;
• załadowanie danych do hurtowni.

Na schemacie zaznaczono źródła danych, które mogą być bazami danych systemów transakcyjnych, albo plikami płaskimi pochodzącymi z tych systemów. Dopuszczalne są oczywiście inne formy źródeł danych, natomiast te dwa są najbardziej powszechne. Drugą (opcjonalną) warstwą jest obszar przejściowy (ang. staging area), do którego dane trafiają bezpośrednio z systemów źródłowych, najczęściej bez żadnych transformacji.

Jak już wspomniałem, hurtownia danych w rozumieniu Inmona reprezentuje dane atomowe pochodzące z systemów źródłowych zapisane w trzeciej postaci normalnej. Na podstawie jednej centralnej hurtowni danych, określanej czasem jako Korporacyjna Fabryka Informacji (ang. Corporate Information Factory) budowane są data marty. Data marty lub kostki OLAP zbudowane na podstawie martów stanowią źródła danych dla różnych aplikacji raportowych wyposażonych w takie funkcjonalności jak tabela przestawna, wizualizacja danych w postaci wykresów, prezentacja kluczowych wskaźników KPI (ang. Performance Key Indicator), itd.

Wielowymiarowy świat Kimballa

Nazwisko Kimball bardzo mocno kojarzone jest ze schematem logicznym hurtowni danych, określanym mianem schematu gwiazdy (ang. star schema). To skojarzenie jest jak najbardziej trafne, Kimball opracował bowiem koncepcję schematu gwiazdy, czyli relacyjnej struktury bazy danych, której centralną część stanowi tzw. tabela faktów (ang. fact table) wraz z otaczającymi ją tabelami wymiarów (ang. dimension tables). Tabela faktów zawiera miary (ang. measures) oraz klucze obce wymiarów, czyli referencje do wymiarów. Miara charakteryzuje wielkość zaistniałego zjawiska (np. wartość sprzedaży w przypadku zaistnienia faktu sprzedaży jakiegoś produktu).

Wymiary opisują natomiast zaistniały w rzeczywistości fakt, dostarczając dodatkowych informacji na jego temat (np. informacje o sprzedanym produkcie oraz o kliencie, który dokonał zakupu). Każda hurtownia musi zawierać wymiar czasu, który pozwala na jednoznaczne określenie daty i godziny danego zdarzenia.

Rys. 5. Schemat gwiazdy opracowany przez Ralpha Kimballa

Oprócz schematu gwiazdy istnieją także schematy określane mianem płatka śniegu i konstelacji gwiazd, będące wariacją na temat schematu gwiazdy (więcej informacji można odnaleźć w artykule Czy hurtownia to lek na dezintegrację danych?).

Kimball zakłada, że hurtownia danych to tak naprawdę zbiór spójnych data marts opartych na współdzielonych wymiarach. Raporty tworzone są bezpośrednio na podstawie data marts lub poprzez dodatkową warstwę, jaką stanowią kostki OLAP.

Rys. 6. Schemat architektury hurtowni danych wg Kimballa

Wymiary w rozumieniu Kimballa powinny być uzgodnione, czyli zachowywać to samo znaczenie w relacji z wieloma faktami. Etap projektowania tego podejścia zakłada opracowanie macierzy procesów biznesowych i wymiarów (ang. bus matrix). Dzięki takiemu podejściu konkretne tabele faktów wpinane są w „magistralę”, reprezentującą dostępne wymiary organizacji w hurtowni danych.

Rys. 7. Macierz procesów biznesowych i wymiarów

Ponadto podejście Kimballa, w przeciwieństwie do Inmona, zakłada mocne zaangażowanie użytkowników końcowych już od samego początku tworzenia hurtowni.

Jedna wersja faktów Linstedta – Data Vault

W przeciwieństwie do spojrzenia Inmona na dane, Linstedt zakłada, że wszystkie dostępne dane z całego okresu powinny zostać załadowane do hurtowni. Stanowi to podejście określane jako „jedna wersja faktów”. Tak jak w przypadku schematu gwiazdy Kimballa, tak w przypadku Data Vault Linstedt wprowadza pewne dodatkowe obiekty w celu organizacji struktury hurtowni danych. Obiekty te określane są jako: hub, satelita i link.

Rys. 8. Schemat architektury Data Vault wg Linstedta

Huby to obiekty zawierające unikalną listę kluczy biznesowych (pochodzących z systemów źródłowych). Dodatkowo w hubie przechowywane są metadane dotyczące daty i godziny pierwszego pojawienia się danego klucza oraz źródła pochodzenia. Hub nie zawiera danych opisowych ani faktów. Linki z kolei pozwalają na określanie relacji pomiędzy hubami. Przypominają one tabele faktów w modelowaniu wielowymiarowym. Satelity zawierają dane opisowe, przypominając tym samym znane z modelowania wielowymiarowego wymiary, i mogą łączyć się tylko z hubami lub linkami. Przykładowym hubem może być zatem unikalny identyfikator klienta w systemie sprzedażowym; łączem będzie pojedyncza linia sprzedażowa, a satelitą dane klienta do wysyłki.

Rys. 9. Schemat architektury hurtowni danych wg Linstedta

W celach optymalizacyjnych w Data Vault 2.0 zamiast kluczy głównych bezpośrednio pochodzących z systemów źródłowych (najczęściej liczby całkowite), poddaje się je przekształceniu przy wykorzystaniu tzw. funkcji skrótu (haszującej), np. MD5 lub bezpieczniejsze SHA-2. Dodatkowo, dzięki takiemu podejściu możliwe jest wdrożenie Data Vault na Hadoopie. Inną innowacją Data Vault 2.0 jest wykorzystanie tzw. Hash Diff do wydajnego porównywania danych już załadowanych, z danymi oczekującymi na załadowanie w kolejnym zasileniu. Hash Diff wyznaczany jest na podstawie wszystkich opisowych kolumn w satelicie (niebędących metadanymi) za pomocą funkcji skrótu. W przypadku różnic pomiędzy skrótami następuje zapisanie nowego rekordu (analogicznie jak w przypadku SCD typu 2), brak zmian to brak akcji.

W hurtowni danych wg Listedta wyróżnia się czasem tzw. Raw Vault oraz Business Vault. Raw Vault to serce Data Vault zorganizowane w satelity, huby i linki umożliwiające historyczne śledzenie zmian w zintegrowanych danych pochodzących z różnych źródeł. Na podstawie tej warstwy tworzone jest tzw. Business Vault, czyli warstwa przechowująca dane o znaczeniu biznesowym. Dane w tej warstwie poddane zostały podstawowym przekształceniom wymaganym przez biznes. Business Vault stanowi przygotowanie danych dla data marts. Określane jest czasem mianem staging out, w odróżnieniu od staging in, czyli warstwy przechowującej dane zebrane bezpośrednio ze źródeł bez przekształceń (obszar przejściowy). Od Data Vault 2.0 zamiast terminu data mart używany jest termin information mart w celu podkreślenia roli, jaką powinny spełniać, czyli dostarczanie użytecznej informacji decydentom.

Omawiając Data Vault, warto wspomnieć nazwiska osób, które aktywnie współtworzą i propagują koncepcję Data Vault na świecie: Hans Hultgren, Michael Olschimke, Roelant Vos.

Porównanie technik modelowania

Istnieje wiele aspektów, które odróżniają lub łączą przedstawione w artykule podejścia.

Wybór?

Biorąc pod uwagę ugruntowaną pozycję hurtowni danych w podejściu Kimballa, może pojawić się pytanie: czy modelowanie wielowymiarowe jest zatem przestarzałą techniką modelowania hurtowni danych? Odpowiedź jest prosta: potrzeby klienta decydują o doborze odpowiedniej techniki modelowania. Dla niektórych rozwiązanie Data Vault nie jest adekwatne, dla innych z kolei bezcelowe jest wykorzystanie podejścia Inmona. W „naturze” odnaleźć można niejednokrotnie hybrydowe rozwiązania, łączące różne podejścia. Zamiast dogmatycznego wyboru pomiędzy akademickimi podejściami, należy postawić na pragmatyzm i elastyczność. Każdy przypadek jest indywidualny i tylko trafna analiza poparta doświadczeniem pozwala na odpowiedni wybór i dostosowanie rozwiązania do potrzeb klienta.

Ogólnie rzecz ujmując, w przypadku braku wyspecyfikowanych wymagań dotyczących analizy lub też w sytuacji kiedy celem martów jest dostarczenie informacji do kilku systemów BI, warto skorzystać z podejścia Inmona. Tym bardziej, jeżeli struktury baz danych systemów źródłowych są stabilne.

Podejście Kimballa jest zalecane, gdy wymagania są dobrze znane i zdefiniowane. Modele wielowymiarowe są zalecane jako struktura martów z uwagi na swoje zalety, do których można zaliczyć wysoką wydajność i czytelność dla użytkowników końcowych. Z drugiej strony, niektóre narzędzia doskonale radzą sobie z data marts o strukturze płaskiej, które dodatkowo doskonale nadają się do analiz Data Science.

Big Data

Omawiając sposoby przechowywania dużych zbiorów danych, nie można nie wspomnieć także o zyskujących na popularności rozwiązaniach określanych mianem Big Data. W obliczu olbrzymiej ilości danych dostępnych w przedsiębiorstwach obok koncepcji hurtowni danych rozwija się koncepcja tzw. jeziora danych (ang. Data Lake), przeznaczonego właśnie dla przechowywania i analizy Big Data. Pojawianie się nowych rozwiązań tego typu nie wyklucza dotychczasowych hurtownianych rozwiązań, a jedynie uzupełnia dotychczasową lukę. Wzajemna koegzystencja i integracja systemów przechowywania danych (nieustrukturyzowanych i ustrukturyzowanych) w organizacji pozwala na zapanowanie nad chaosem i uzyskanie potrzebnej wiedzy biznesowej.

Pragnę podziękować zespołowi Business Intelligence naszej Firmy za szereg interesujących dyskusji w toku powstawania artykułu. Dziękuję serdecznie Grzegorzowi Goli za wsparcie w obszarze Data Vault. Ponadto swoje podziękowania za konsultacje kieruje w stronę Adriana Chodkowskiego, współautora bloga seequality.net.

Spis treści

1. 1. Co to wizualizacja danych?
2. 2. Dobrze wykonany dashboard to kluczowy element sukcesu. Jak wizualizować dane?
3. 3. Inne ważne zasady tworzenia prezentacji
4. 4. Sztuczna inteligencja również pomaga w wizualizacji danych
5. 5. Jak zdefiniować źródło danych do wizualizacji?
6. 6. Analiza wizualna self-service
7. 7. Przykłady narzędzi do wizualizacji danych
8. 8. Jak wybrać program do wizualizacji danych?

Co to wizualizacja danych?

Wizualizacja danych to w dużym uproszczeniu zamiana tabel w wykresy, które jednoznacznie pozwalają wyciągnąć konkretne wnioski. Dlaczego wizualna prezentacja danych daje większe możliwości? Zamiast studiowania dziesiątek liczb, które za każdym razem trzeba manualnie przetwarzać, wystarczy spojrzeć na właściwie przygotowane wizualizacje. W końcu nie zawsze jesteśmy w stanie wyłapać nieprawidłowości lub nietypowe zachowania, gdy mamy przed sobą szereg ciągów liczb i liter. Znacznie lepiej przyswajamy informacje w formie kształtów i kolorów, skupiając od razu uwagę na tym, co jest istotne dla konkretnego przypadku. Mogąc odrzucić dane powszechne i mniej istotne dla badanego zagadnienia, szybciej realizujemy powierzone zadania związane z analizą.

Przeczytaj artykuł: System Business Intelligence – narzędzie do efektywnego zarządzania

Dobrze wykonany dashboard to kluczowy element sukcesu. Jak wizualizować dane?

Wcześniej podkreślałem, że wizualizacja danych powinna być właściwa, ale co to tak naprawdę oznacza? Przede wszystkim powinna ona bezpośrednio odpowiadać na pytania, które stanowią przedmiot analizy, np.:

• Jaki udział w sprzedaży mają konkretne kategorie produktów?
• Jakie zużycie energii generują poszczególne urządzenia w podziale na długość pracy?
• Czy w danych występują jakiekolwiek odchylenia?
• Czy praca działu prosperuje zgodnie z ustalonymi celami?
• Jak miesiąc do miesiąca zmienia się liczba przetwarzanych danych?

Tym sposobem, jeszcze przed przystąpieniem do kreślenia wizualizacji, warto poświęcić więcej czasu na zrozumienie, co chcemy osiągnąć i na podstawie jakich danych. Dobór właściwych miar pozwoli na dalszych etapach rozumieć wzorce, którymi będą kierowali się odbiorcy tworzonych dashboardów. Pozwoli to też szybciej określić, czy lepiej sprawdzi się wykres kołowy, wykres słupkowy, a może liniowy. Idąc krok dalej, jeśli mamy do czynienia z danymi geolokalizacyjnymi, lepiej będą one pokazywać relacje, gdy pokaże się je właśnie w ramach wizualizacji na mapie.

Inne ważne zasady tworzenia prezentacji

Bardzo pomocne jest łączenie kilku form prezentacji w ramach jednej wizualizacji.

Szczególnie znajduje to swoje zastosowanie w trendach lub do przedstawiania na pozór rozbieżnych danych, ale mogących ujawnić różne korelacje.

W przypadku zbieranych historycznie informacji wręcz podstawą okaże się przedstawianie wizualizacji na osi czasu z uwzględnianiem danych z różnych okresów. W ten sposób bez problemu zauważane są odchylenia, które mogą być podstawą do wysnuwania słusznych wniosków. W końcu dużo łatwiej odkryjemy trudne do wyłapania sytuacje, gdy jeden słupek na prezentacji będzie wyraźnie wyższy od innych.

Sztuczna inteligencja również pomaga w wizualizacji danych

Czy proces zrozumienia danych, a tym samym tworzenia wizualizacji, można przyspieszyć?

Teoretycznie tak, gdyż w tym zakresie pomocna może okazać się sztuczna inteligencja, która jest w stanie szybko zinterpretować dostarczony zbiór danych i zasugerować potencjalne korelacje, warte uwagi końcowych odbiorców.

Sztuczna inteligencja ułatwia także proces łączenia danych z różnych zbiorów, aby faktyczna, dalsza praca nie wymagała już „odsiewania” niewłaściwie dobranych informacji. Każdy dostawca narzędzi do wizualizacji danych stara się na różne sposoby wprowadzić AI do swojej platformy. Praktycznie w ramach każdej aktualizacji dodawane są mniej lub bardziej istotne zmiany związane ze sztuczną inteligencją – począwszy od dostarczania danych, przez ich analizę i kończąc na właściwej wizualizacji.

Przeczytaj także: Interaktywny raport prezentujący możliwości Power BI

Najczęściej spotykanymi rozwiązaniami AI w narzędziach do wizualizacji danych są algorytmy Machine Learning, które w czasie rzeczywistym pozwalają na zaawansowaną analizę jakości danych (Data Quality). W poszukiwaniu odchyleń i różnie definiowanych wartości odstających AI może okazać się idealnym rozwiązaniem, co w połączeniu z zaletami wizualizacji danych umożliwi błyskawiczne wychwycenie wszelkich nieprawidłowości.

Jak zdefiniować źródło danych do wizualizacji?

Podstawą praktycznie każdego narzędzia do wizualizacji danych jest wachlarz możliwości w zakresie podłączania do źródeł danych. Podstawą są zazwyczaj relacyjne bazy danych, ale wcale nie musi to być regułą. Każde rozwiązanie pozwala też błyskawicznie zmienić formę prezentacji, więc szybko możemy zweryfikować, czy wykres liniowy będzie lepszy od kolumnowego. A może to ich połączenie sprawdzi się najlepiej i ewentualnie wraz z przyrostem danych będzie warto rozważyć zmianę podejścia? Między innymi na takie czynniki warto zwracać uwagę.

Analiza wizualna self-service

Co ważne, dostawcy narzędzi do wizualizacji danych zmierzają dziś do tego, żeby mogły one wykonać za twórcę raportów i dashboardów możliwie jak najwięcej pracy. Narzędzia te same sugerują odpowiednie wykresy, ale wcześniej też ograniczają konieczność poznawania specyfiki łączenia danych. Dlatego najczęściej podstawowa znajomość języka SQL okazuje się w pełni wystarczająca do rozpoczęcia prac nad wizualizacją danych.

Przykłady narzędzi do wizualizacji danych

Chcąc zdecydować się na jedno narzędzie do wizualizacji danych, na pewno warto zapoznać się z następującymi programami:

• Tableau – należąca do Salesforce platforma, której bardzo szeroka oferta dostosowana jest do potrzeb różnych typów użytkowników. Licencje uzależnione są od tego, czy chcemy tworzyć, edytować lub tylko oglądać tworzone wizualizacje danych.
• Microsoft Power Bi – narzędzie, które potencjalnie może być już dostępne w organizacji, jeśli tylko posiada ona licencję Microsoft 365 E5.
• Google Data Studio – podobnie jak w przypadku Microsoftu, tak i Google udostępnia swoją platformę wraz z dostępem do Google Workspace.
• IBM Cognos – zależnie od potrzeb rozwiązanie – podobnie jak Tableau – może być oferowane na współdzielonej lub prywatnej chmurze, a także na serwerach klienta
• Qlik Sense – uważane za jedno z najprostszych do wdrożenia narzędzi do wizualizacji danych.
• Thoughtspot – to narzędzie docenią szczególnie ci odbiorcy, którym zależy na prostocie tworzenia raportów.

Jak wybrać program do wizualizacji danych?

W ramach weryfikacji możliwości poszczególnych platform warto uwzględnić takie aspekty jak: określone potrzeby i funkcje niezbędne w konkretnych raportach, obsługa typów źródeł, wiedza techniczna użytkowników i docelowa forma prezentacji z uwzględnieniem typów urządzeń (np. smartfonów).

Choć rozwiązań Business Intelligence na rynku nie brakuje, w razie wątpliwości warto skontaktować się z ekspertami, którzy pomogą dobrać narzędzie odpowiednio do potrzeb. W Inetum nie tylko wdrażamy przyjazne narzędzia do analizy biznesowej i wizualizacji, ale też służymy wiedzą, prowadząc szkolenia Business Intelligence.

Przeczytaj również: 5 najpopularniejszych narzędzi do analizy danych biznesowych

Idź do:

1. 1. Czym jest eksploracja danych (data mining)?
2. 2. Proces eksploracji danych
3. 3. Główne metody eksploracji danych
4. 4. Jaki model wybrać i jak skutecznie eksplorować dane?
5. 5. Algorytm dla wybranego modelu
6. 6. Eksploracja danych – potężne narzędzie firm data driven

Doszliśmy więc do takiego punktu w historii ludzkości, w którym dane przetwarzane przez dobrze prosperującą firmę stają się niemożliwe do przeanalizowania wyłącznie za pomocą tradycyjnych metod, czyli pracy ludzi i ich „mocy obliczeniowej”. Czasami także jakość danych utrudnia cały proces i potrzeba tutaj wsparcia, które odnaleźliśmy w komputerach. Dlatego właśnie metody eksploracji danych wykorzystują odpowiednie algorytmy – najważniejsze z nich opisuję w artykule.

Czym jest eksploracja danych (data mining)?

Data mining, inaczej eksploracja danych, to proces odkrywania reguł, zależności i wzorców w zebranych informacjach w celu uzyskania wiedzy. Jest to technologiczne połączenie tradycyjnych metod analizy (czyli relatywnie od dawna ludziom znanej statystyki) ze współcześnie stosowanymi algorytmami i rozwiązaniami szeroko rozumianej sztucznej inteligencji oraz sposobami na przetwarzanie dużych wolumenów danych przez jedną lub więcej jednostkę obliczeniową.

Proces eksploracji danych

„Every dataset, every database, every spreadsheet has a story to tell”

Stuart Frankel, CEO of Narrative Science

Data mining jest jednym z nieodłącznych elementów KDD (ang. Knowledge Discovery in Databases), czyli odkrywania wiedzy zebranej w bazach danych. Proces ten dzielimy na:

1. Ustalenie celu analizy – zrozumienie problemu, zapoznanie się z danymi, potrzebami biznesowymi.
2. Integrację danych – łączenie informacji różnego pochodzenia, niekiedy posiadających inną strukturę oraz różne modele danych.
3. Przetwarzanie wstępne danych – pozbycie się błędów ludzkich, literówek, pustych wartości. Ujednolicenie typów danych dla poszczególnych informacji. Poszukiwanie i pozbycie się duplikatów. 
4. Transformację danych – to dalsza część przetwarzania, jednak skupiona już na potrzebach późniejszej eksploracji. Polega na wyróżnieniu potencjalnie użytecznych kolumn, części danych, według ustalonego wcześniej celu. Chodzi o uproszczenie danych tak bardzo, jak to tylko możliwe.
5. Rozróżnienie metod eksploracji oraz wybór odpowiedniego algorytmu – punkt ten rozwinięty został w dalszej części artykułu.
6. Eksplorację danych – zgodnie z powyższą definicją: poszukiwanie reguł, zależności i wzorców.
7. Interpretację i wizualizację – zrozumienie otrzymanych wyników i doprowadzenie ich do stanu czytelnego dla biznesu, utworzenie tabelek, spisanie wniosków, udokumentowanie procesu i uzasadnienie użytych środków.
   

Główne metody eksploracji danych

Obecnie w paradygmacie rozróżniamy dwie główne grupy metod eksploracji, z których wybieramy jedną na potrzeby naszej analizy. Są to:

1. Metody predykcyjne (ang. predictive)
2. Metody deskrypcyjne / opisowe (ang. descriptive)

Techniki eksploracji danych

W obrębie każdej z nich są skategoryzowane 3 techniki eksploracji danych – najpopularniejsze podejścia do eksploracji. Oczywiście dziedzina ta ciągle się rozwija, przybywa algorytmów, jak również podejść, zatem w tym artykule skupimy się właśnie na tych kluczowych. Poniżej postaram się wyjaśnić każdą grupę oraz metodę oraz podać przykładowe użycia w celu lepszego zrozumienia.

1. Metody predykcyjne – skupiają się na próbie przewidzenia wyniku na podstawie wartości innych danych wejściowych. Wyniki tych metod nazywane są z języka angielskiego targetem lub wartościami zależnymi, natomiast atrybuty wykorzystane do ich uzyskania wartościami niezależnymi bądź wyjaśniającymi (ang. explanatory). Do tych metod zaliczamy: 

• Technikę klasyfikacji (ang. classification) – działa na podstawie algorytmów skupiających się, jak sama nazwa wskazuje, na klasyfikacji obiektów danych. Jest wykorzystywana, gdy nasza wartość zależna ma charakter dyskretny (skategoryzowany). Zastosowanie znalazła np. w diagnostyce chorób u pacjentów na podstawie wcześniejszych klasyfikacji schorzeń.

Przykładowe algorytmy modelujące: naiwny klasyfikator Bayesowski, regresja logistyczna, K-najbliższych sąsiadów, drzewa decyzyjne, maszyna wektorów nośnych (ang. „Support Vector Machine”).

• Technikę predykcji (ang. prediction) – przewiduje najbardziej prawdopodobne wartości dla otrzymanych danych. Modele utworzone w tej technice można sobie wyobrazić jako funkcje ciągłe, dopasowane pod kątem otrzymanych informacji wejściowych. Dla przykładu może być wykorzystana do badań rynkowych zarobków pracowników danych sektorów, gdzie na podstawie edukacji, lat doświadczenia, pochodzenia i innych demograficznych warunków można by oszacować średnie wynagrodzenie, zależne od wyżej wspomnianych czynników.

Przykładowe algorytmy modelujące: regresja liniowa, regresja grzbietowa, aproksymacja wielomianowa

• Analizę szeregów czasowych (ang. Time-Series Analysis) – jest to technika opracowująca wyniki na podstawie analizy danych zmieniających się w czasie. Jeżeli krok (zmiana czasu względem danych) jest nieregularny, wtedy nazywamy tę technikę analizą szeregu czasowego rozmytego.

Przykładowe algorytmy modelujące: autoregresja (ang. Autoregressive Integrated Moving Average, ARIMA), ruchoma średnia, wygładzanie wykładnicze.   

2. Metody deskrypcyjne – próbują wyciągnąć z otrzymanych wartości wejściowych wzorce (korelacje, tendencje danych, klastry, anomalie itp.), które są w stanie opisać relacje między otrzymanymi danymi. Metody te mają za zadanie scharakteryzować, dość ogólnie, właściwości danych wejściowych (odkryć wzorce, powiązania, odpowiednio zgrupować dane i wykryć charakterystyczne anomalie), jednak do wyciągnięcia konkretnych wniosków potrzebują dodatkowej pracy nad odpowiednim przygotowaniem i zwizualizowaniem danych. Techniki to:  

• Odkrywanie asocjacji – technika odkrywania wzorców, które opisują silnie powiązane cechy między elementami ze zbiorów danych. Przykładem może być odnajdywanie grup genów, które mają podobne właściwości, bądź analiza koszyka kupionych przez klienta produktów w celu planowania rozłożenia produktów (np. tak, żeby klient kupujący pieczywo, idąc do kasy, przeszedł obok masła).

Przykładowe algorytmy: algorytm Apriori, algorytm Eclat

• Technika grupowania (ang. clustering) – tworzy skończoną ilość zbiorów, kategorii, które powstają na podstawie danych i ich podobnych cech. Liczba takich kategorii wynika z podobieństwa danych. Może być wykorzystywana np. w sportach zespołowych w celu sprawdzenia podobieństw między graczami z danej drużyny, dzięki czemu można mieć podstawę do utworzenia nowych taktyk na kolejne spotkanie.

Przykładowe algorytmy: algorytm centroidów (ang. K-means clustering), algorytm BIRCH (ang. Balanced Iterative Reducing and Clustering Using Hierarchies)

• Wykrywanie zmian i odchyleń – technika poszukająca fragmentów zbioru danych różniących się znacznie od pozostałej części. Takim fragmentom przypisuje się nazwę anomalii bądź odchyleń (ang. outliers). Techniki te cechują się wysokim wskaźnikiem detekcji i niskim wskaźnikiem fałszywych wyników. Wykorzystywane są przykładowo w AML (ang. Anti Money Laundring) oraz przy monitorowaniu zmian w ekosystemie.
  
  Przykładowe algorytmy: ponownie algorytm K-najbliższych sąsiadów, sieci Bayesowskie, ukryte modele Markova (HMM).

Jaki model wybrać i jak skutecznie eksplorować dane?

Oczywiście odpowiedź na to pytanie brzmi: „to zależy”. 

Data mining jest zaledwie częścią całego łańcucha KDD, a widzimy po wcześniejszym punkcie artykułu, jak obszerny jest to temat. Wpływ na nasze decyzje będzie miało wszystko to, co wydarzyło się z danymi po drodze. Jednak są pewne schematy, których można się trzymać. Jeżeli wiemy, że nasze wyniki mają być dyskretne – zastosujemy klasyfikatory; jeżeli mają być wynikami liczbowymi, różnymi – wykorzystamy techniki predykcji regresyjne. Natomiast jeżeli nie mamy oczekiwań bądź są one ogólne w stosunku do naszych danych i chcemy się na ich podstawie czegoś nauczyć, to wykorzystamy techniki deskrypcyjne. 

Przeczytaj także: Data storytelling. Jak opowiadać historię za pomocą danych?

Algorytm dla wybranego modelu

Ustaliliśmy, jakiej metody / techniki użyjemy – teraz przed nami pytanie o algorytm, który stworzy z naszych danych model. No cóż, tutaj nie ma jednoznacznej odpowiedzi. Osobiście spotkałem się z podejściem, aby wybrać te algorytmy, które się najlepiej rozumie lub co do których wiemy, że najlepiej „zrozumieją” nasze dane – i porównać je. Jeżeli jednak możliwości wypróbowania kilku rozwiązań nie ma, warunki produkcji na to nie pozwalają bądź są inne ograniczenia – rozstrzygnie doświadczenie developera bądź zespołu, który wdraża te rozwiązania.  

Eksploracja danych to potężne narzędzie firm data driven

Eksploracja danych to ogromny obszar wpisujący się w ważny obecnie trend budowania organizacji data driven, a o każdym ze wspomnianych algorytmów mógłby powstać osobny materiał. Przedsiębiorstwa, które chcą być napędzane przez dane, inwestują w technologie takie jak Microsoft Power BI, Tableau czy Qlik Sense. Służą one do wizualizacji wniosków otrzymanych przez opisane przeze mnie metody w zrozumiałej dla każdego formie. Takie rozwiązania pomagają znaleźć trendy i ukryte zależności pomiędzy danymi z różnych źródeł, wydobywać potencjał dużych zbiorów danych i podejmować trafne decyzje. Wiele przedsiębiorstw wykorzystuje je nie tylko do analizy danych historycznych, ale też prognozowania, tak aby np. zwiększać sprzedaż.

1. 1. Czym jest analityka biznesowa?
2. 2. Analiza przedwdrożeniowa
3. 3. Analiza przedwdrożeniowa – co możesz zyskać?
4. 4. Kto przeprowadza analizę
5. 5. Jak długo może trwać analiza?
6. 6. Harmonogram i metodyka prac
7. 7. Ankieta przedwdrożeniowa
8. 8. Faza przedwdrożeniowa
9. 9. Dokumentacja przedwdrożeniowa
10. 10. Umowa przedwdrożeniowa
11. 11. Testy przed wdrożeniem
12. 12. Jaką formę ma efekt końcowy analizy?
13. 13. Mamy analizę, co dalej?

Czym jest analityka biznesowa?

Obecnie w wielu firmach pojawia się coraz silniejsza potrzeba efektywnego wykorzystania danych związanych z działalnością biznesową. Każdego dnia systemy informatyczne służące do obsługi rozmaitych procesów biznesowych (takich jak produkcja, handel, administracja, obsługa klienta) wypełniają się nowymi informacjami. Większość menedżerów i właścicieli firm ma świadomość, że posiadane dane, po odpowiednim przetworzeniu i zaprezentowaniu, mogłyby dostarczyć odpowiedzi w wielu obszarach biznesowych.

Analityka biznesowa to wspomaganie podejmowania decyzji, które mają na celu wykorzystanie pełnego potencjału przedsiębiorstwa w oparciu o odpowiednio przetworzone i zaprezentowane dane.

Brak systemu Business Intelligence sprawia, że wykorzystanie pełnego potencjału firmy staje się zadaniem niemożliwym. Pojawia się pytanie – jak zabrać się za stworzenie takiego systemu?

Na polskim rynku obecnych jest wielu dostawców rozwiązań Business Intelligence. Często oferują podobne narzędzia, lecz różni ich skala działania, zasoby i doświadczenie zdobyte podczas wdrożeń. Tym, co powinno ich łączyć, jest zwrócenie uwagi, aby analiza poprzedzająca wdrożenie została zrealizowana zawsze na samym początku projektu. To pierwszy i najważniejszy etap budowy systemu BI. Jego niewłaściwe przeprowadzenie generuje niemałe kłopoty na etapie korzystania z gotowego oprogramowania.

Analiza przedwdrożeniowa – jaka jest jej prawdziwa wartość?

Najlepiej zobrazuje to sytuacja w firmie, w której zrezygnowano z wykonania analizy przed wdrożeniem systemu. Oto przykład. Pan Jan jest prezesem firmy produkcyjno-handlowej w branży spożywczej. Głównymi produktami firmy są dżemy owocowe. Od wielu lat przedsiębiorstwo korzysta z systemu klasy ERP, wspierającego zarządzanie produkcją i magazynami, sprzedaż, finanse i księgowość. Ostatnie miesiące to dla firmy czas zmagań z konkurencją. Wśród działań, którym Zarząd nadał najwyższy priorytet, jest wdrożenie systemu informatycznego umożliwiającego podejmowanie decyzji budujących przewagę rynkową. Zadanie powierzono panu Markowi, na co dzień kierującemu firmową administracją (księgowość, kadry, płace). Mimo braku doświadczenia w temacie znajomości oprogramowania analityczno-raportowego udało mu się doprowadzić do wdrożenia systemu Business Intelligence. Na początku nic nie zapowiadało problemów. Zakupiony system pracował bez zarzutu. W pewnym momencie pan Jan poprosił, aby pilnie przygotować raport na temat zmian w sprzedaży, prezentujący zależności między źródłem dostaw owoców a produkcją dżemu. Informacja ta miała pomóc w wyborze dostawcy, który zapewnia najlepszą jakość przy rozsądnej cenie. Miało to ustabilizować sprzedaż na rynku końcowym. Szybko okazało się jednak, że uzyskanie tego pozornie łatwego do przygotowania raportu było niemożliwe. Dlaczego?

System nie rejestrował wszystkich niezbędnych informacji, a ponadto nie pozwalał na zdefiniowanie sensownego raportu pokazującego zależność między zjawiskami z różnych sfer działania firmy. To konsekwencja niewłaściwego zaprojektowania systemu BI, braku mapowania procesów biznesowych i istotnych zaniedbań na etapie analizy przedwdrożeniowej. Dostawca oprogramowania nie wiedział, jakie potrzeby informacyjne mogą się pojawiać, nie był więc w stanie uwzględnić ich w systemie. Efektem była frustracja pana Jana i przekonanie, że firma wybrała niewłaściwe rozwiązanie, a także nieprzyjemności, które spotkały pana Marka.

Analiza przedwdrożeniowa – co możesz zyskać?

Firmy zainteresowane wdrożeniem systemu BI pytają o konkretne korzyści płynące z przeprowadzenia analizy przedwdrożeniowej. Dobrze zaprojektowany, spełniający wszystkie wymagania użytkowników biznesowych system BI jest wartością kluczową. Brak analizy przedwdrożeniowej w konsekwencji najczęściej prowadzi do tego, że zbudowane rozwiązanie nie spełnia podstawowych oczekiwań firmy. Rezultatem jest brak możliwości uzyskania pożądanej informacji pomimo posiadania odpowiednich danych w systemach źródłowych. Produkt ostateczny, czyli system BI, zostaje dostosowany do wymagań ogólnych, a nie do oczekiwań konkretnych użytkowników. Nie spełnia zatem wszystkich potrzeb, nie jest wystarczająco elastyczny i nie dostarcza pożądanych analiz w odpowiedniej formie lub czasie.

Ważne jest, aby poznać oczekiwania użytkowników końcowych rozwiązania już na samym początku projektu. Nawet wtedy, jeśli plan zakłada dostarczenie rozwiązania częściowego, co w przypadku rozwiązań BI jest jak najbardziej możliwe. Przeprowadzana analiza pozwala urealnić potrzeby tak, aby realizowały cele, za które odpowiada klient. W sytuacji, gdy dane kluczowe wymaganie klienta zostanie zidentyfikowane za późno, w momencie kiedy system lub jego część już powstała, realizacja tego wymagania w odpowiednim zakresie może być trudna i czasochłonna, a czasem wręcz niemożliwa. Analiza, w którą zaangażowany jest także klient, pozwala ograniczyć straty czasowe, ilość pracy, a tym samym nieprzewidziane zmiany kosztów wdrożenia. Często okazuje się bowiem, że najkorzystniejszym rozwiązaniem dla organizacji jest rozpoczęcie projektu od nowa.

Analiza w liczbach

Kto przeprowadza analizę?

Za przeprowadzenie analizy odpowiedzialny jest zespół projektowy składający się zarówno z przedstawicieli dostawcy usługi (analityk biznesowy, architekt systemu), jak i pracowników firmy zainteresowanej wdrożeniem systemu. Wielkość i skład zespołu zależny jest od skali działania firmy i stopnia złożoności samej analizy. Na poniższej ilustracji został zaprezentowany typowy skład zespołu.

Jak długo może trwać analiza?

Ogólne określenie czasu trwania analizy przedwdrożeniowej jest zadaniem trudnym. Na czasochłonność wpływa bowiem wiele czynników: zakres analizy, liczba analizowanych obszarów, liczba raportów oczekiwanych przez klienta i przyszłych użytkowników. Czas trwania analizy wyceniany jest zatem indywidualnie dla każdego projektu, na podstawie konsultacji biznesowych, podczas których ustalany jest ogólny zakres usługi. Rozmowy te prowadzą do określenia analizowanych obszarów i kontekstów analiz oraz usystematyzowania informacji o źródłach danych i przyszłych użytkownikach. Pomocne przy wycenie analizy są także informacje na temat oczekiwań wobec systemu BI. Uzyskiwane są one za pomocą kwestionariusza wypełnianego przez pracowników firmy planującej wdrożenie. Gdyby pokusić się o uśrednienie czasu trwania, to można powiedzieć, że średnio analiza trwa 2-3 miesiące. Dotyczy to analizy obejmującej kilka podstawowych obszarów. W przypadku pojawienia się kolejnych obszarów czasochłonność wzrasta.

Harmonogram i metodyka prac

Dobre praktyki

1. Przed wdrożeniem zaplanuj czas na analizę i nie staraj się go skracać do minimum – w ten sposób zminimalizujesz ryzyko wystąpienia trudności na dalszych etapach projektu BI
2. Zidentyfikuj potrzeby, wymagania i możliwości użytkowników końcowych w zakresie obsługi narzędzia – w tym celu przeprowadź ankietę przedwdrożeniową
3. Zaangażuj pracowników / użytkowników końcowych w projekt i wybór oprogramowania Business Intelligence
4. Zaplanuj spotkania z pracownikami poszczególnych działów
5. Zaplanuj szkolenia dla użytkowników, aby mieć pewność, że po wdrożeniu w pełni wykorzystają potencjał narzędzia
6. Korzystaj z wiedzy partnera wdrożeniowego – nie bój się zadawać pytań, np. na temat tego, jak analizować dane, jak wyciągać wnioski i jakie wskaźniki KPI powinny zostać uwzględnione

Opis prac przedwdrożeniowych

• Planowanie – 5%
• Analiza i zbieranie wymagań – 15%
• Określenie i zaangażowane kluczowych osób – 5%
• Utworzenie hurtowni (jeżeli projekt tego wymaga) – 15%
• Rozpoznanie danych, jakie mają być raportowane – 20%
• Zapoznanie się z obecnym / istniejącym raportowaniem – 15%
• Wstępna kontrola poprawności, identyfikacja potencjalnych problemów – 10%
• Testy poprzedzające wdrożenie – 15%

Ankieta przedwdrożeniowa

Przykładowe pytania ogólne

• Jakie są kryteria sukcesu projektu? Co ma być wynikiem prac? (czy oczekiwania biznesowe są jasne, czy wymagają doprecyzowania?)
• Jakie są główne zagadnienia / problemy przy łączeniu danych z Państwa źródeł?
• Proszę o podanie kluczowych pytań, na jakie docelowy użytkownik narzędzia powinien być w stanie sobie z jego pomocą odpowiedzieć
• Czy narzędzie ma pozwalać użytkownikowi przede wszystkim na korzystanie ze zdefiniowanych raportów / wizualizacji, czy również na konstruowanie własnych (z wykorzystaniem predefiniowanych miar i wymiarów)?
• Proszę przygotować przykładowe zrzuty ekranów istniejących analiz do „odwzorowania” w narzędziu BI
• Proszę o rozpoznanie dostępu do danych / liczby źródeł danych. Czy system BI ma bezpośrednio odnosić się do źródeł czy korzystać z warstwy pośredniej przygotowanej przez Państwa?

Przykładowe pytania dotyczące danych

• Jaka jest liczba wierszy i kolumn w źródłach danych? Pozwoli to szacunkowo określić wielkość tabeli / bazy danych
• Jaki jest przewidywany całkowity wolumen danych (może być w MB/GB albo jako liczba rekordów)
• Czy dane są surowe, czy wykonywane są na nich już jakieś transformacje?
• Jak szybko po udostępnieniu nowych danych powinny być one dostępne w narzędziu (od tego będzie zależało, jak często będzie trzeba przeładowywać dane)?
• Czy istnieją jakieś ograniczenia w dostępie do źródeł danych?
• Jaka jest przewidywana liczba użytkowników narzędzia raportowo-analitycznego?
• Czy w ramach narzędzia mają być przewidziane różne role bezpieczeństwa dla użytkowników? Czy zarządzanie dostępem ma być na poziomie dostępu do określonych raportów / widoków, czy na poziomie dostępu do danych w ramach tego samego raportu / widoku?
• Czy dostępna jest dokumentacja tabel, widoków, synonimów, schematów źródeł danych?
• Jakie są pola kluczy? Czy ta informacja jest udokumentowana?
• Specyficzne wymagania / uwagi dotyczące bezpieczeństwa
• Ewentualny dostęp do wykorzystywanych folderów udostępnionych

Faza przedwdrożeniowa

Faza ta jest ważna, ponieważ analiza i prace wykonane na tym etapie będą miały wpływ na całą strategię wdrożenia Business Intelligence. Okres jej trwania powinien być dostosowany indywidualnie do potrzeb klienta, średnio jej czas wynosi 3 miesiące. Błędem może być pominięcie roli analizy przedwdrożeniowej. Efektem tego błędu na etapie projektowym może być niedoszacowanie kosztów i czasu wdrożenia Business Intelligence. Na etapie powdrożeniowym z kolei skutkiem będzie niewystarczająca bądź zbyt duża liczba raportów, dostarczanie użytkownikom nieodpowiednich danych, a nawet wybór nieodpowiedniego narzędzia Business Intelligence (np. niedostosowanego do umiejętności użytkowników, potrzeb organizacji itp.).

Dokumentacja przedwdrożeniowa

Zdefiniowanie jednego stałego szablonu dokumentu analizy przedwdrożeniowej to niełatwe zadanie. Zawartość takiego dokumentu zależy w dużym stopniu od konkretnych potrzeb firmy zlecającej prace. Warto wypracować określoną strukturę dokumentu, z kontrolą wersji, tak aby był on czytelny i przejrzysty dla wszystkich użytkowników dokumentu.

Umowa przedwdrożeniowa

Powinna ona zawierać takie punkty, jak:

• Opis i przedmiot zamówienia
• Wymagania funkcjonalne dla narzędzia Business Intelligence
• Model licencjonowania
• Bezpieczeństwo informacji
• Klauzula o poufności
• Wymagania niefunkcjonalne
• Harmonogram prac wdrożeniowych
• Zakres usług powdrożeniowych świadczonych przez dostawcę
• Zakres usług szkoleniowych dla użytkowników końcowych
• Kosztorys (formularz wyceny)
• Gwarancja i zasady określające serwis gwarancyjny
• Inne istotne informacje dotyczące usług i doświadczenia dostawcy

Testy przed wdrożeniem

Przedwdrożeniowe UAT  (User Acceptance Testing) narzędzia BI obejmują udostępnienie raportów wybranym użytkownikom / grupom użytkowników, dzięki czemu przed wdrożeniem mogą sprawdzić możliwości narzędzia Business Intelligence w praktyce, korzystając z rzeczywistych scenariuszy użycia. Testy takie mogą trwać kilka tygodni, w zależności od potrzeb klienta. Testy przedwdrożeniowe są ważnym elementem wdrożenia Business Intelligence, ponieważ dają użytkownikom możliwość sprawdzenia swoich sił w analizie danych, a dodatkowo – użytkownicy mają realny wpływ na finalny efekt wdrożenia. Angażując ich, upewniamy się, że narzędzie będzie jak najlepiej dostosowane do ich potrzeb, a tym samym sprawdzi się w codziennej pracy.

Jaką formę ma efekt końcowy analizy?

Niełatwym zadaniem jest również zdefiniowanie jednego stałego szablonu dokumentu analizy przedwdrożeniowej. Zawartość takiego dokumentu zależy w dużym stopniu od specyficznych potrzeb firmy zlecającej prace. Warto, aby dokument analizy zawierał przynajmniej przedstawione poniżej elementy.

1. Wprowadzenie:

• Cel dokumentu
• Funkcje i perspektywa produktu
• Opis działalności firmy

2. Model biznesowy lub stan aktualny obszarów będących przedmiotem analizy; np. opcjonalnie, w zależności od projektu, w tym punkcie można ująć:

• Obiekty biznesowe
• Informacje na temat procesów biznesowych
• Reguły biznesowe
• Model klas

3. Projekt rozwiązania:

• Ogólna koncepcja
• Architektura systemu
• Wielowymiarowy model danych
• Wielowymiarowe modele danych wszystkich obszarów
• Wymiary – projekt struktury tabel (atrybuty, hierarchie, źródła danych, wskazówki dla procesów ETL)
• Fakty – projekt struktury tabel (miary – w tym miary kalkulowane, źródła danych, wskazówki dla procesów ETL

4. Analizy:

• Raporty
• KPI
• Dashboardy

5. Fizyczna struktura danych

6. Zasilanie hurtowni danych

7. Testy rozwiązania

8. Pozostałe wymagania:

• Administracja
• Bezpieczeństwo
• Dostępność
• Front-End
• Skalowalność rozwiązania
• Technologia

9. Ryzyko projektu

10. Możliwości rozwoju

Mamy analizę, co dalej?

Dzięki analizie przedwdrożeniowej firma klienta otrzymuje kompletny raport zawierający odpowiedzi na kluczowe pytania, zdefiniowane cele biznesowe i wymagania umożliwiające skuteczne wdrożenie oprogramowania. Efektem finalnym analizy przedwdrożeniowej jest pełny lub częściowy projekt systemu Business Intelligence. Właścicielem dokumentacji i projektu systemu staje się firma zlecająca analizę. Oznacza to, że może ona w dowolnym momencie wykorzystać jej efekty, aby stworzyć lub dostosować odpowiednie oprogramowanie. Niekoniecznie więc wykonawca analizy musi stać się automatycznie producentem i dostawcą systemu BI.

Przejdź do:

1. 1. Określ cel i projektuj
2. 2. Zdefiniuj kluczowe wskaźniki
3. 3. Zaangażuj i prototypuj
4. 4. Upraszczaj
5. 5. Wizualizacja danych
6. 6. Rozsiądź się wygodnie za swoim kokpitem
7. 7. Narzędzia do wizualizacji danych
8. 8. Podsumowanie

Kokpit menedżerski przyrównywany jest do deski rozdzielczej w samochodzie, do kokpitu samolotu lub ogólnie do pulpitu sterowniczego. Ta analogia nie jest przypadkowa. Sprawne i bezpieczne sterowanie jakimkolwiek środkiem transportu bez dostępu do pełnej i wiarygodnej informacji na temat jego funkcjonowania jest niemożliwe. Zadaniem kokpitu menedżerskiego jest pełnienie takiej właśnie funkcji w organizacji. Budowa efektywnego dashboardu wymaga doświadczenia i wykorzystania szeregu dobrych praktyk wizualizacji danych.

1. Określ cel i projektuj

Pierwszym krokiem jakiegokolwiek działania jest postawienie sobie celu. Projektowanie kokpitu będzie zdecydowanie ułatwione, kiedy na samym początku sprecyzuje się jasno oczekiwania, które się przed nim stawia. Stanowi to punkt wyjścia do rozważań nad każdym kolejnym zagadnieniem. Można wskazać takie kryteria budowy kokpitu jak:

• Cel – czemu ma służyć kokpit?
• Odbiorcy – kto będzie z kokpitu korzystać?
• Źródła danych – skąd dostarczyć danych dla kokpitu?
• Wymiary i filtry – jak grupować i sortować dane?
• Harmonogram odświeżania – kiedy dane mają być aktualizowane?
• Szata graficzna/kolorystyka – jak kokpit ma wyglądać?

2. Zdefiniuj kluczowe wskaźniki

Każda organizacja posiada krytyczne wskaźniki definiujące jej działanie. Część z nich jest ogólna i możliwa do adaptacji w każdym przedsiębiorstwie. Dodatkowo można także wyodrębnić specyficzne dla danej branży czy konkretnej organizacji mierniki, które dodatkowo określają czy organizacja jest w dobrej, czy złej kondycji. Najczęściej na kokpitach prezentowane są KPI (ang. Key Performance Indicator), czyli kluczowe wskaźniki wydajności przedsiębiorstwa. Dodatkowo można wyróżnić wskaźniki KRI (ang. Key Risk Indicator), czyli kluczowe wskaźniki ryzyka, wspomagające zarządzanie ryzykiem w organizacji, zwłaszcza w instytucjach finansowych takich jak banki. Podstawową różnicą pomiędzy wskaźnikami KPI a KRI jest to, że wskaźniki KPI prezentują to, jak dany obszar funkcjonuje. Wskaźniki KRI z kolei mają za zadanie ostrzec jak najwcześniej przed potencjalnym zdarzeniem.

Wskaźniki powinny spełniać kryteria wiarygodności, aktualności, czytelności i przejrzystości. Do ich wyodrębnienia można wykorzystać różne metody i techniki, takie jak np. burza mózgów. Wskaźniki KPI powinny być SMART, rozwinięcie tego akronimu przedstawia poniższy rysunek.

3. Zaangażuj i prototypuj

W początkowej fazie projektowanie kokpitu można sprowadzić do pracy z kartką papieru, ołówkiem i gumką, analogicznie jak w szkicowniku. Może się okazać, że pomysły uznane przez nas wcześniej za wartościowe nie przystają do faktycznych potrzeb i realiów. W takich przypadkach przydaje się gumka. Może się też okazać, że na naszym kokpicie brakuje konkretnej informacji, która dookreślałaby kontekst lub uzupełniałaby informacje.

Kartka papieru wyznacza ramy tak samo jak ekran monitora czy tabletu. Jedna kartka to maksymalna powierzchnia dla projektowanego kokpitu, dlatego że kokpit powinien mieścić się na jednym ekranie bez przewijania. Taka metoda projektowania nosi nazwę prototypowania papierowego (ang. paper prototyping, mockups). Cały ten proces twórczy jest niezwykle ważny z perspektywy ostatecznego produktu. Zaletą projektowania zorientowanego na użytkownika końcowego przy jego współudziale jest dopasowanie finalnego produktu dokładnie do jego potrzeb. To ten użytkownik będzie korzystał z przygotowanego narzędzia, będzie miał świadomość wszystkich wad i zalet, możliwości i ograniczeń.

4. Upraszczaj

Ogólna zasada życiowa, że lepsze jest wrogiem dobrego znajduje zastosowanie także w projektowaniu kokpitów zarządczych. Wizualizacja danych powinna być możliwie uproszczona, z tego powodu minimalizm jest pożądany już na etapie projektowania. Wykresy powinny zawierać tylko niezbędne elementy do odczytania i prawidłowego zinterpretowania wartości. Wszelkie ozdobniki, elementy niewnoszące żadnej wartości dodanej powinny zostać usunięte.

Minimalistyczna wizualizacja danych to uproszczona forma graficzna, której idealnym przykładem jest wykres określany jako sparklines. Jest to uproszczony wykres liniowy, którego głównym zadaniem jest odzwierciedlenie trendu w danych. Kolejna uproszczona wizualizacja danych, która może znaleźć zastosowanie na kokpicie menedżerskim, to tzw. bullet graphs, które są uproszczonymi wykresami słupkowymi. Informują one o stopniu realizacji założonego planu. Czerwony kolor kółka po lewej stronie sparklines zwraca uwagę na problemy w realizacji planu. Pionowe linie bullet graphs to założony cel, ciemnoszary słupek to faktyczna obecna wartość. Dodatkowo wyznaczyć można pasma określające stopień zadowolenia z realizacji celu.

5. Wizualizacja danych

Przedstawione formy graficzne, takie jak sparklines i bullet graphs, oczywiście nie wyczerpują różnorodności form wizualizacji danych dostępnych dla użytkowników końcowych. Właściwie niejednokrotnie wykorzystywane są formy, które są takie same jak w przypadku tradycyjnych raportów, czyli np. wykresy kołowe, liniowe, słupkowe itd. Techniki wizualizacji danych są różnorodne, a podstawową różnicą jest ich stopień uproszczenia. Dodatkowo mile widziane są mapy ciepła (ang. heatmaps), prędkościomierze i liczniki (ang. gauges), termometry czy „sygnalizacje świetlne”. Bardzo ważne jest uwzględnienie w projektowaniu kokpitu formatowania warunkowego, które zwracałoby uwagę odbiorcy na niepokojące procesy przebiegające w organizacji. Metody wizualizacji danych są różnorodne, a ich dobór powinien być odpowiedni do reprezentowanych danych i możliwości percepcji użytkownika końcowego.

Przestrzeń, na której prezentowany jest kokpit, a więc ekran monitora komputera lub urządzenia mobilnego, jest ograniczona. Każdy centymetr kwadratowy jest istotny, dlatego przestrzeń tę należy szanować i wykorzystywać z rozwagą. Przeładowanie tej przestrzeni nadmiarem informacji może przynieść odwrotny efekt do zamierzonego i spowodować chaos. Świadomość celu kokpitu powinna być pomocna przy dylematach, czy coś powinno zostać usunięte z przestrzeni kokpitu, czy też nie. Zawsze warto także wziąć pod rozwagę możliwości podzielenia jednego dashboardu na więcej odrębnych dashboardów.

Przeczytaj również: Qlik Sense Cloud – dowiedz się, jak samodzielnie analizować dane biznesowe.

Rozsiądź się wygodnie za swoim kokpitem

Jeśli wyznaczamy cele z użytkownikami końcowymi i definiujemy kluczowe wskaźniki dla organizacji realizujące te cele, możemy mieć pewność, że kokpit będzie użyteczny. Zaangażowanie użytkownika końcowego poprzez prototypowanie zapewni pełne zrozumienie tego, co wyświetla kokpit. Takie podejście dodatkowo pozwala na wytworzenie pewnego związku między użytkownikiem a produktem końcowym, jakim jest kokpit. Ponadto zastosowanie przemyślanych uproszczonych wizualizacji pozwoli na budowę efektywnego kokpitu i maksymalizowanie przekazu. Przy budowie kokpitu nie zapominajmy także o tym, że kokpity powinny być po prostu ładne, wykonane estetycznie, starannie i z dbałością o szczegóły. Dzięki takiemu przystępnemu interfejsowi dostępu do zintegrowanej i skondensowanej wiedzy, którą dostarcza wizualizacja danych, organizacja ma szansę na zbudowanie znaczącej przewagi konkurencyjnej.

Narzędzia do wizualizacji danych

Podstawowym zadaniem narzędzi Business Intelligence jest graficzna prezentacja danych statystycznych, trendów i monitorowanie sytuacji w firmie z pomocą zdefiniowanych kluczowych wskaźników. Wizualizacja ma wspierać procesy zaawansowanej analizy danych i podejmowania decyzji biznesowych.

Dla wielu organizacji nadal jedynym narzędziem wykorzystywanym do analizy danych jest arkusz Excel. Wizualizacja danych nawet przy korzystaniu z tabel przestawnych, Power Query i Power Pivot ma wiele ograniczeń. Rynek narzędzi BI rozwija się dynamicznie i aktualnie interaktywna wizualizacja danych jest dostępna dla każdego. Nawet osoba nieposiadająca doświadczenia w wizualizacji danych, może łatwo analizować dane, tworzyć zrozumiałe wizualizacje i interaktywne raporty korzystając z nowej generacji samoobsługowych narzędzi takich jak Power BI oraz Qlik Sense.

Power BI jest zintegrowane z platformą Azure oraz Microsoft Dynamics i doskonale sprawdza się w przypadku firm korzystających z oprogramowana Microsoft. Power BI Desktop jest dostępny bezpłatnie, instaluje się go identycznie jak każdy inny program i pozwala bardzo szybko rozpocząć pracę. Interfejs jest spójny z całym pakietem narzędzi Microsoft Office i umożliwia tworzenie raportów na żądanie. Power BI Pro umożliwia dodatkowo udostępnianie raportów, pracę grupową oraz funkcjonalność tworzenia rozbudowanych pulpitów menedżerskich. Power BI Premium pozwala dodatkowo na raportowanie w chmurze i środowisku lokalnym. Daje również  dodatkowe możliwości związane z analizami Big Data z wykorzystaniem Machine Learning i sztucznej inteligencji. Usługa jest rozliczana na podstawie dedykowanych zasobów obliczeń i przestrzeni w chmurze.

Możliwości Power BI w zakresie wizualizacji i analizy danych prezentuje poniższy webinar:

Qlik to nowatorska platforma analityczna. Nie posiada wersji bezpłatnej (dzięki nowatorskiej formule Qlik BI BOX od Inetum możesz testować bezpłatnie pakiety analityczne na Twoich własnych danych). Próg wejścia jest tutaj wyższy niż w przypadku Power BI, ponieważ instalacja oprogramowania wymaga posrednictwa partnera zewnętrznego / specjalisty. Oprogramowanie dostępne jest w modelu SaaS lub instalowane w chmurze lokalnej, Azure, AWS, Google Cloud lub Qlik Cloud Services. Qlik Sense to pełnoprawna platforma analityczna, która umożliwia samodzielne tworzenie szybkich wizualizacji i raportów biznesowych. Ilość przetwarzanych danych jest w zasadzie nieograniczona. Czas analizy jest bardzo szybki dzięki temu, że dane przetwarzane są w czasie rzeczywistym, co znacząco skraca czas analizy. Kokpity menedżerskie i raporty są tworzone metodą „przeciągnij i upuść”, a opatentowany przez Qlik silnik asocjacyjny pozwala odkryć powiązania między danymi.

Podsumowanie

Inetum posiada tytuły Gold Microsoft Partner w obszarze Data Analytics oraz Qlik Solution Provider. Prowadzimy projekty BI i szkolenia zarówno w kraju, jak i za granicą dla wiodących firm w swoich obszarach. Kompetencje i doświadczenie potwierdza pierwsze miejsce Inetum w rankingu Top Poland Data Analytics niezależnego serwisu Clutch. Większości klientów, których interesuje samodzielna analiza danych, rekomendujemy Power BI oraz Qlik Sense, jednak warto pamiętać także o innych narzędziach self-service BI, które również są warte uwagi: Tableau, Sisense oraz Looker Studio.

Idź do:

1. 1. Możliwości narzędzi Business Intelligence
2. 2. Korzyści płynące z analizy danych
3. 3. Popularne narzędzia Business Intelligence
4. 4. Podsumowanie

Możliwości narzędzi Business Intelligence

Działalność biznesowa wiąże się z ciągłym generowaniem ogromnych wolumenów danych, w których kryją się informacje o procesach w firmie, poziomie oferowanych usług czy produktów, zadowoleniu klientów, rentowności projektów, strukturze dochodów i wielu innych wskaźnikach, których znajomość jest niezbędna do skutecznego zarządzania. Ważne jest, żeby informacje te poznać w odpowiednim czasie, zrozumieć i odpowiednio wykorzystać. Narzędzia, jakie oferują systemy Business Intelligence, są przydatne w każdej organizacji, niezależnie od wielkości i rodzaju prowadzonej działalności. Oto kilka z nich:

• Dynamiczne analizy umożliwiające wydobycie informacji prosto z hurtowni danych – na bieżąco, bez konieczności angażowania działu IT. Dzięki nim podejmowanie decyzji biznesowych jest procesem szybszym i prostszym.
• Kokpity menadżerskie prezentujące dane za pomocą interaktywnych obiektów, wykresów, diagramów. Umożliwiają stały dostęp do raportów z aktualnymi wynikami firmy prezentowanymi za pomocą czytelnych wizualizacji.
• Analizowanie danych pochodzących z rozproszonych źródeł z całego przedsiębiorstwa.
• Przechowywanie uporządkowanych danych o ujednoliconym formacie w hurtowni danych.
• Samodzielność użytkowników podczas tworzenia analiz, czyli funkcja self-service.
• Integracja z systemami, które firma już posiada, takimi jak systemy ERP, systemy księgowe, e-commerce czy do zarządzania magazynem, co pozwala na rozszerzenie ich możliwości związanych z generowaniem raportów i analizą danych. W ten sposób zyskuje się pełny obraz funkcjonowania organizacji.
• Możliwość drążenia danych (data mining), dzięki którym raporty są bardziej szczegółowe.
• Analiza historycznych prawidłowości i predykcja przyszłych trendów.

Korzyści płynące z analizy danych

Poprawnie przeprowadzona analiza danych to klucz do otrzymania wysokiej jakości informacji o funkcjonowaniu firmy. Uzyskanie dzięki takim informacjom wnioski mogą posłużyć do usprawnienia procesów, ulepszenia produktów oraz usług w oparciu o wyniki analiz trendów, efektów, wydajności poszczególnych pracowników, raportów sprzedażowych i finansowych.

Poniżej przedstawiamy najpopularniejsze na rynku narzędzia klasy Business Intelligence.

Przeczytaj także: Skuteczna wizualizacja danych, czyli 5 zasad efektywnego dashboardu

Popularne narzędzia Business Intelligence

QlikView

Narzędzie Business Intelligence znane przede wszystkim ze swojej szybkości oraz możliwości pracy z każdym źródłem danych. W środowiskach hybrydowych odpowiada najczęściej za warstwę ładowania danych, z powodzeniem może zastąpić tradycyjną hurtownię danych. Dzięki temu, że system posiada bardzo zaawansowane funkcje kastomizacji, może być źródłem bardzo dobrze wyglądających raportów, w których przestrzeń analityczną można zaplanować z dokładnością do jednego piksela. W jego szerokiej palecie możliwości znajduje się między innymi analiza trendów, a także bardzo zaawansowana funkcja pracy zespołowej w tworzeniu i analizowaniu raportów.

Przeczytaj artykuł: Migracja z QlikView do Qlik Sense – po co i czy warto?

Qlik Sense

Narzędzie typu self-service, którym samodzielnie mogą posługiwać się pracownicy, bez konieczności angażowania działu IT. Jest doskonałym uzupełnieniem QlikView w środowiskach hybrydowych, a także być z powodzeniem wykorzystywany jako podstawowe narzędzie do analizy danych w firmie. Charakteryzuje się krótkim czasem ładowania raportu oraz błyskawiczną reakcją na wybierane przez użytkownika filtry. Posiada wygodną funkcję drag & drop oraz nowoczesny design umożliwiający tworzenie responsywnych kokpitów menadżerskich, które dzięki temu mogą być wyświetlane z powodzeniem na ekranie komputera, tabletu czy smarfona. Dodatkowo na urządzeniach z system iOS możliwe jest używanie natywnej aplikacji dostarczonej przez Qlika.

Microsoft Business Intelligence (MS BI)

Platforma typu self-service, oparta o SQL Server. Można ją rozszerzyć o dodatkowe systemy, takie jak SharePoint Server, Microsoft Excel czy Power BI. Świetnie sprawdza się w dużych organizacjach, nie tylko dzięki integracji z pakietem Office, ale również ze względu na możliwość dostarczania raportów w odpowiednich formatach, a także dzięki harmonogramom – w odpowiednim czasie. Podobnie jak produkty Qlik, MS Business Intelligence posiada możliwość przeprowadzenia analiz predykcyjnych. Co więcej, ramach platformy MS Business Intelligence dostarczany jest serwer bazy danych, na którym można zbudować hurtownię danych. Platforma posiada również możliwość analizy Big Data oraz mobilnego dostępu z każdego urządzenia.

Microsoft Power BI

Microsoft Power BI od lat jest liderem w zestawieniu Gartnera. Narzędzie łączy się i integruje z platformą chmurową Azure. Jest to rozwiązanie self-service, z którego obsługą poradzi sobie każdy użytkownik samodzielnie. Raporty i kokpity menadżerskie w Power BI wyglądają nowocześnie, są dostępne na wszystkich urządzeniach, można także dowolnie zarządzać ich odbiorcami. Dane do raportów pobierane są z różnych źródeł, tworząc wielowymiarowe modele danych, dzięki którym możliwe jest prowadzenie analiz w czasie rzeczywistym. Można je dodatkowo uzupełniać o własne elementy i tworzyć interaktywną prezentację wyników.

Tableau

Tableau to narzędzie, które w 2020 roku uplasowało się na drugim miejscu w Magicznym Kwadracie Gartnera. Tableu korzysta z funkcjonalności Ask Data i Explain Data, które wykorzystują przetwarzanie języka naturalnego oraz mechanizmy AI i statystykę dla jeszcze lepszej analizy danych – zarówno dla użytkowników biznesowym, jak i osób, które nie mają doświadczenia w  obszarze data science. Tableu to kolejne narzędzie self-service wyposażone w funkcję drag&drop, które umożliwia tworzenie wizualizacji i dashboardów menadżerskich. System jest bardzo prosty i intuicyjny w obsłudze, umożliwia sortowanie danych, filtrowanie wyników oraz drążenie danych.

Podsumowanie

Jak widać, istnieje kilka rozwiązań, dzięki którym analiza danych w naszej firmie może być o wiele łatwiejsza. Przed wdrożeniem wybranego narzędzia należy zastanowić się, jakie są nasze oczekiwania i potrzeby w zakresie analizy danych – czy potrzebujemy bardzo rozbudowanych narzędzi analitycznych, obejmujących wszystkie działy, czy też może wystarczy nam na początek kilka podstawowych wizualizacji, które wskażą najważniejsze trendy w firmie.

Na początek warto wypróbować jedno lub kilka z opisanych wyżej rozwiązań – zwłaszcza że wiele z nich udostępnia darmowe wersje. Kilkumiesięczna obserwacja możliwości narzędzia i obrazu naszej firmy, który wyłania się z danych, pozwala przekonać się, jakie rezultaty można otrzymać przy wykorzystaniu profesjonalnych narzędzi Business Intelligence. Wprowadzenie odpowiednich zmian czy wdrożenie i testowanie nowych strategii może być początkiem wykorzystywania danych do zarządzania procesami w całej organizacji.

Idź do:

1. 1. Współczesny chaos informacyjny
2. 2. Wydajnościowa zmora
3. 3. Czym jest hurtownia danych?
4. 4. Architektura hurtowni danych
5. 5. Jak wygląda proces zasilenia hurtowni danymi?
6. 6. Hurtownia danych krok po kroku
7. 7. Co dalej?

Współczesny chaos informacyjny

Każda firma charakteryzuje się specyficznymi, unikalnymi procesami, które wymuszają kompleksowe dopasowanie dostępnych narzędzi informatycznych (tzw. kastomizacja) lub opracowanie własnych narzędzi wspierających ich realizację. Liczba kluczowych narzędzi wykorzystywanych przez przedsiębiorstwa (zwłaszcza te duże) może sięgać nawet kilkunastu czy kilkudziesięciu. W przypadku przedsiębiorstw funkcjonujących na arenie międzynarodowej ujednolicenie wykorzystywanych systemów stanowi dodatkowy problem, a często jest niemożliwe z uwagi na różne przepisy prawa, wysokie koszty wdrożenia innego systemu czy obawy przed ryzykiem uzależnienia od jednego dostawcy oprogramowania.

Różnorodność systemów źródłowych (tzw. heterogeniczność) powoduje dezintegrację danych biznesowych. Wywołuje to szum informacyjny, który może ograniczać zdolności decyzyjne organizacji. W dłuższej perspektywie mogą w związku z tym pojawiać się realne straty wynikające ze zbyt długiego procesu podejmowania decyzji. Rozwiązaniem tego typu problemów może być opracowanie hurtowni danych, która będzie stanowić element centralny systemu klasy Business Intelligence, polityki zarządzania danymi i raportowania.

Wydajnościowa zmora

Systemy transakcyjne i narzędzia, które wspierają zachodzące w danym przedsiębiorstwie procesy, mają za zadanie rejestrację zdarzeń biznesowych. Przykładowo, w przedsiębiorstwie zajmującym się dystrybucją detaliczną w przypadku każdej transakcji sprzedaży rejestrowane powinny być informacje dotyczące nowego klienta, płatności, wysyłki, zmiany stanu magazynowego itd.

Niektóre z systemów transakcyjnych (określanych jako systemy OLTP) posiadają moduły raportowe dostarczające podstawowe informacje. Niestety równoczesne rejestrowanie zdarzeń biznesowych i raportowanie powoduje problemy wydajnościowe. Wykonywanie złożonych zapytań analitycznych obciąża system bazodanowy i powoduje blokowanie operacji zapisu czy modyfikacji rekordów dla przebiegających procesów. Podstawową techniką optymalizacyjną spotykaną we współczesnych rozwiązaniach IT jest więc separacja środowisk transakcyjnego i raportowego. Gromadząc zbiory danych z różnych źródeł, hurtownia danych stanowi element centralny środowiska raportowego, dzięki czemu umożliwia przetwarzanie danych w dowolnym czasie bez obciążania bazy transakcyjnej.

Czym jest hurtownia danych?

Hurtownią nazywamy relacyjną bazę danych, której zadaniem jest przechowywanie danych pochodzących z różnych źródeł, w tym z systemów transakcyjnych przedsiębiorstwa. Najczęściej hurtownia danych poświęcona jest konkretnemu procesowi biznesowemu czy obszarowi działania przedsiębiorstwa. Hurtownie danych gromadzą również dane historyczne.

Charakterystyczne dla hurtowni jest gromadzenie dużych ilości danych i wydzielenie dwóch typów obiektów. Są to tzw. tabele faktów (miary) oraz wymiary. Tabela faktów zawiera zaistniałe w rzeczywistości biznesowej zdarzenia, a wymiary charakteryzują tę rzeczywistość. Przykładem faktu (miary) może być Sprzedaż, wtedy wymiarem będzie m.in.: Czas (np. data sprzedaży), Produkt (dany towar, który został sprzedany), Geografia (np. konkretne miasto, w którym zaszła sprzedaż). Takie wielowymiarowe modelowanie danych pozwala na przeglądanie wartości miar w różnym ujęciu (w różnych wymiarach).

Architektura hurtowni danych

1. Schemat gwiazdy

Schemat gwiazdy charakteryzuje się tym, że centralną tabelę stanowi tabela faktów, która otoczona jest pojedynczymi wymiarami.

1. Schemat płatka śniegu

Schemat płatka śniegu wygląda podobnie do schematu gwiazdy. Jedyna różnica to taka, że wymiary połączone z tabelą faktów dodatkowo połączone są jeszcze z innymi wymiarami.

1.  Schemat konstelacji faktów

Ostatni schemat hurtowni danych to konstelacja faktów, który umożliwia przechowywanie różnych rodzajów faktów. Wymiary w tym przypadku są współdzielone przez tabele faktów.

Hurtownia danych może zostać zastosowana w przedsiębiorstwach działających w różnych branżach, a podstawowym uzasadnieniem jej zastosowania są problemy związane z wydajnością, rozproszeniem i nadmiarem ilości danych.

Dodatkowe materiały:

• Historia hurtowni danych i ewolucja technik modelowania [artykuł]

Jak wygląda proces zasilenia hurtowni danymi?

Najprostsza definicja hurtowni danych przedstawia ją jako tematyczną bazę danych, która trwale przechowuje zintegrowane dane opisane wymiarem czasu. „Zintegrowane dane” to słowa kluczowe występujące w tej krótkiej definicji.

Integracja danych polega na pobraniu konkretnych danych z wielu miejsc, odpowiednim ich przetworzeniu (dopasowanie typów danych, wyczyszczenie) i załadowaniu do hurtowni. Sekwencja wymienionych kroków nosi nazwę procesu ETL, będącego akronimem od słów:

Extract – ekstrakcja danych, czyli pobranie danych z różnorodnych źródeł, w tym bazy danych oraz m.in.:

Transform – transformacja danych, czyli przekształcenie pobranych danych w pożądany sposób (dopasowanie do typów danych występujących w hurtowni danych; weryfikacja poprawności i walidacja danych, czyszczenie danych; usuwanie duplikatów; uzupełnianie danych; dodanie kluczy surogatowych).

Load – Docelowa baza danych stanowiąca tzw. hurtownię danych zostaje załadowana danymi.

Hurtownia danych krok po kroku

W procesie wdrożenia hurtowni danych w organizacji można wyróżnić kilka kluczowych kroków:

Krok 1. Analiza

Projektowanie hurtowni danych powinno rozpocząć się od gruntownej analizy biznesowej potrzeb organizacji. Zbieranie wymagań jest kluczowym elementem efektywnego wdrożenia hurtowni. Należy zidentyfikować grono odbiorców raportów końcowych i przeprowadzić rozmowy umożliwiające jednoznaczne określenie, jakich danych hurtownia powinna dostarczyć i jak często hurtownia powinna być odświeżana.

Krok 2. Utworzenie hurtowni danych

Na podstawie przeprowadzanej analizy można przejść do etapu fizycznej implementacji hurtowni danych, czyli utworzenia niezbędnych tabel wraz z relacjami. Budowa wymiarów i tabel faktów powinna bezpośrednio odpowiadać potrzebom biznesowym.

Krok 3. Budowa procesu ETL (zasilania hurtowni danych)

Na podstawie zidentyfikowanych źródeł danych dla hurtowni należy zaimplementować sposób zasilenia hurtowni danych, uwzględniając wszystkie potrzebne przekształcenia.

Krok 4. Zasilenie hurtowni danych

Kiedy proces ETL jest już gotowy, można go uruchomić i zasilić hurtownię danych. Jeżeli wszystko działa poprawnie, to można ustawić automatyczne odświeżanie hurtowni zgodnie z ustalonym w toku analizy harmonogramem zasileń (np. raz dziennie).

Krok 5. Testowanie, kontrola

Bardzo ważnym i końcowym etapem jest sprawdzenie poprawności danych, które są dostępne w hurtowni danych. W testy zaangażowani powinni być użytkownicy końcowi, którzy są w stanie ocenić, czy dane odzwierciedlają rzeczywistość.

Przeczytaj także: 

• Dostępne usługi Business Intelligence 
• Snowpipe-w-analizie-danych

Należy pamiętać, że wstępnie przeprowadzona analiza może nie być na dalszych etapach wystarczająca. „Apetyt rośnie w miarę jedzenia”, czujny konsultant BI musi być więc w stałym kontakcie z użytkownikami końcowymi, żeby identyfikować i realizować kolejne potrzeby biznesowe. Potrzeby te zwykle w naturalny sposób pojawią się po prezentacji możliwości raportowych na podstawie danych hurtownianych. Dlatego dobrym rozwiązaniem jest przyjęcie zwinnej strategii realizacji projektu, polegającej na iteracyjnym dostarczaniu kolejnej wersji rozwiązania.

Co dalej?

Utworzenie hurtowni danych stanowi doskonały punkt wyjścia, pozwalający na dostarczenie użytkownikom końcowym warstwy analitycznej oraz warstwy raportowania i wizualizacji danych. Niejednokrotnie na podstawie hurtowni danych powstaje konkretny model danych (np. kostka OLAP czy model tabelaryczny), pozwalający na swobodny dostęp do danych za pośrednictwem wygodnego interfejsu, jakim jest tabela przestawna.

Na podstawie danych przechowywanych w hurtowniach danych można także tworzyć alerty, które będą informować pracowników o niepożądanych (lub pożądanych) zjawiskach, zdefiniowanych na podstawie odchyleń od normy kluczowych wskaźników wydajności przedsiębiorstwa.

Efektywnie wdrożona hurtownia danych to odpowiedź na bolączki średnich i dużych przedsiębiorstw, dotyczących zarządzania dużymi zbiorami danych, które pochodzą z wielu rozproszonych źródeł.

Więcej ciekawych informacji na temat hurtowni danych można odnaleźć w artykułach naukowych:

Libera T., Ziuziański P.: Charakterystyka budowy hurtowni danych i możliwości implementacji wymiarów różnego typu, Zeszyt Naukowy 43 (Informatyka), Wyższa Szkoła Zarządzania i Bankowości w Krakowie, Kraków 2017, s. 11-32.

Furmankiewicz M., Ziuziański P.: Wdrażanie kokpitu menedżerskiego w ramach BI w organizacji, [w:] A. Donigiewicz (red.), Przegląd teleinformatyczny, nr 4 (37), Instytut Teleinformatyki i Automatyki Wojskowej Akademii Technicznej im. Jarosława Dąbrowskiego, Warszawa 2014, s. 3-16.