Gdzie umieścić transformacje danych w architekturze Qlik z lakehouse

Ustal, które transformacje umieścić w lakehouse, a które w Qlik, uwzględniając ponowne wykorzystanie, odpowiedzialność, warunki wykonania i utrzymanie.

DigiventiOstatnia weryfikacja · 6 min czytania
W tym artykule

Połączenie Qlik z lakehouse pozostawia ważną decyzję projektową: gdzie powinna znaleźć się każda transformacja? Przeniesienie wszystkich reguł do wcześniejszych etapów przetwarzania może uzależnić aplikację analityczną od cyklu wdrażania zmian we wspólnej infrastrukturze danych. Pozostawienie wszystkich reguł w aplikacji może z kolei zmusić innych odbiorców do ponownego wykonania tej samej pracy związanej z przygotowaniem danych.

Użyteczna granica nie przebiega między lakehouse a Qlik. Oddziela ona pracę, której wyniki powinny być wykorzystywane wielokrotnie, od pracy służącej konkretnej analizie. Rozmieszczaj transformacje według ich odbiorców, osoby odpowiedzialnej, wymagań wykonania i przewidywanej częstotliwości zmian. Pozwala to zdecydować, co scentralizować, bez obciążania lakehouse odpowiedzialnością za każdy szczegół dashboardu.

Rozdziel zadania, zanim wybierzesz miejsce

Prezentacja IBM Cloud i Dremio wyraźnie rozdziela zadania w architekturze: silniki IBM Cloud odpowiadają za pozyskiwanie i przygotowanie danych, natomiast Dremio Sonar zapewnia ich semantyczne uporządkowanie i interaktywne wykorzystanie. Dla architektury Qlik użyteczny jest sam podział zadań, a nie kopiowanie ich przypisania do konkretnych produktów.

Przyporządkuj analizowaną logikę do następujących zadań:

  • Przygotowanie danych do wielokrotnego wykorzystania. Oczyszczanie identyfikatorów transakcji, rozstrzyganie, które zduplikowane rekordy zachować, oraz ujednolicanie wartości źródłowych powinny zapewniać wiarygodne dane wejściowe wszystkim przewidzianym odbiorcom. Wybieraj wspólną implementację na wcześniejszym etapie przetwarzania, gdy odbiorcy potrzebują tej samej korekty.
  • Wspólne definicje biznesowe. Reguły określające na przykład, które statusy transakcji kwalifikują je do miary zarządczej, wymagają uzgodnionego znaczenia i osoby odpowiedzialnej za zatwierdzanie. Umieść ich implementację tam, gdzie właściwi odbiorcy rzeczywiście będą mogli z niej wspólnie korzystać.
  • Kształtowanie modelu na potrzeby Qlik. Oddziel układ pól, relacji i grupowań analitycznych potrzebnych wyłącznie konkretnej aplikacji od uzgodnionej struktury i znaczenia wspólnego zbioru danych. Nie narzucaj wszystkim odbiorcom modelu preferowanego przez jedną aplikację.
  • Obliczenia na potrzeby prezentacji. Odróżnij regułę biznesową od obliczenia, którego znaczenie zależy od wyświetlanej analizy, na przykład udziału w porównywanej populacji. Określ zamierzony kontekst, zanim zdecydujesz, czy przygotować wartość wcześniej, czy obliczać ją w ramach analizy.

Te kategorie opisują zakres odpowiedzialności, a nie obowiązkowe warstwy fizyczne. Wspólna definicja biznesowa nie wymaga automatycznie nowej platformy. Jak wyjaśnia omówienie decyzji o wspólnej warstwie semantycznej, wielokrotne implementowanie uzgodnionej logiki jest powodem do rozważenia wspólnej infrastruktury. Sama infrastruktura nie ustali jednak znaczenia miary ani nie naprawi jej danych wejściowych.

Jest też miejsce na dostosowanie danych do konkretnego odbiorcy poza aplikacją BI. Dokumentacja warstwy semantycznej Dremio opisuje widoki warstwy aplikacyjnej budowane na wspólnych widokach warstwy biznesowej, które analitycy lub data scientists modyfikują na potrzeby swoich dashboardów. Pokazuje to ważne rozróżnienie: odpowiedzialność po stronie właściciela aplikacji nie musi oznaczać, że transformacja ma fizycznie wykonywać się w Qlik.

Wspólne oczyszczanie wykonuj wcześniej, a lokalne pytania obsługuj lokalnie

Rozważmy przykład aplikacji do analizy sprzedaży korzystającej z transakcji w istniejącym lakehouse. Te same transakcje wykorzystują również raportowanie finansowe i osobny proces prognozowania.

Zaprojektuj wspólny proces przygotowania danych tak, aby ujednolicał identyfikatory transakcji, interpretował źródłowe formaty dat i stosował uzgodnioną regułę usuwania duplikatów. Opublikuj wynikowy zbiór z jasno określonym poziomem szczegółowości, na przykład pozycji transakcji, i zachowaj wystarczające informacje o pochodzeniu rekordu, aby można było wyjaśnić ewentualne wątpliwości. Te korekty powinny być wykonywane wcześniej, ponieważ odbiorcy potrzebują tych samych transakcji bazowych, a nie osobnych interpretacji błędów źródłowych.

Załóżmy teraz, że aplikacja Qlik musi pogrupować produkty jako „priorytetowe nowości”, „stały asortyment” i „produkty do przeglądu” na potrzeby konkretnego procesu planowania sprzedaży. Pozostaw to grupowanie pod kontrolą właściciela aplikacji, jeśli służy wyłącznie temu zadaniu. Zapisz zasady przypisywania produktów do grup, ale nie przekształcaj po cichu tymczasowego grupowania analitycznego w firmową klasyfikację produktów.

Korzyść dla utrzymania wynika z tego, co każdy zespół może zmieniać niezależnie. Zmiana grupy planistycznej nie powinna wymagać ponownego publikowania wspólnego zbioru transakcji. Z kolei korekta zduplikowanych transakcji nie powinna wymagać odnajdywania i naprawiania osobnej reguły oczyszczania w każdej aplikacji korzystającej z danych.

Granica powinna się przesuwać wraz ze zmianą zakresu ponownego wykorzystania. Jeśli prognozowanie i finanse później przyjmą to samo grupowanie, rozważ wspólną implementację z wyznaczonym właścicielem biznesowym. Przenieś regułę do wspólnego rozwiązania w kontrolowany sposób, a następnie wycofaj zastąpione implementacje lokalne. Skopiowanie jej do wcześniejszego etapu przy zachowaniu niezależnie utrzymywanych wersji lokalnych nie usuwa duplikacji.

Odróżnij też stabilne grupowanie od obliczenia zależnego od porównania. Kategorię planistyczną produktu można zdefiniować niezależnie od wykresu. Jego udział w aktualnie porównywanej sprzedaży wymaga natomiast jawnego określenia mianownika i kontekstu porównania. Przygotowanie stałego udziału na wcześniejszym etapie odpowiadałoby na inne pytanie, gdyby zamierzone porównanie się zmieniło.

Wybierz zarówno miejsce wykonania, jak i właściciela

Porównując skrypt ładowania Qlik z ETL na wcześniejszych etapach, ustal zarówno to, kto utrzymuje regułę, jak i to, gdzie jest ona wykonywana. Te decyzje są powiązane, ale nie są tożsame. Reguła przypisana zespołowi analitycznemu może nadal być utrzymywana jako widok po stronie źródła, przeznaczony dla konkretnego odbiorcy. Wspólny potok przetwarzania może być utrzymywany przez osobny zespół inżynierii danych.

Qlik Talend Data Integration oferuje udokumentowaną opcję przetwarzania na wcześniejszym etapie: transformacje wielokrotnego użytku oparte na regułach i własnym kodzie SQL, ze zbiorami danych materializowanymi jako tabele lub udostępnianymi przez widoki przekształcające dane na żądanie. Umożliwia też rejestrowanie danych już obecnych na platformie, w tym załadowanych przez inne narzędzia. Są to możliwości potoków integracji danych, odrębne od projektu transformacji w aplikacji analitycznej.

Przed wyborem implementacji ustal warunki wykonania:

  • Określ faktycznie używany wariant wdrożenia Qlik, konektor i tryb korzystania z danych. Potwierdź, gdzie będzie wykonywana każda operacja, zamiast zakładać, że logika tworzona przy konfiguracji połączenia wykonuje się w źródle.
  • W przypadku tabeli lub widoku zdecyduj, czy odbiorcy potrzebują przygotowanego wyniku, czy transformacji wykonywanej podczas zapytania. Uwzględnij obciążenie platformy źródłowej i ograniczenia dostępu.
  • W przypadku pracy po stronie aplikacji sprawdź obsługiwane operacje i ograniczenia wykonania we wdrożonym produkcie, zanim wybierzesz mechanizmy skryptowe.
  • Sprawdź, czy wybrana ścieżka zachowuje szczegółowość i kontekst porównania potrzebne w dalszej analizie.

Oddziel kryteria akceptacji aktualności danych od decyzji o umiejscowieniu transformacji. Pytaj, kiedy zmieniona reguła i wynikające z niej dane staną się widoczne dla użytkowników, a nie tylko gdzie znajduje się kod. To zagadnienie obejmujące cały przepływ omawia ocena aktualności danych w dashboardach Qlik. Podział odpowiedzialności za transformacje powinien wskazywać, kto koordynuje przekazanie wyników do kolejnych etapów.

Zadbaj o granicę, którą da się utrzymać

Centralizacja reguły jest użyteczna tylko wtedy, gdy jej odbiorcy mają dostęp do wyniku i mogą uzyskiwać zmiany w sprawnie działającym procesie. Jeśli trudno uzyskać wsparcie zespołu odpowiedzialnego za wcześniejsze etapy, zespół aplikacyjny może odtworzyć regułę lokalnie. Architektura będzie wtedy zawierała nominalnie wspólną definicję i osobną implementację używaną w praktyce.

Odwrotnym problemem jest nadmierne sprzężenie. Jeśli każde grupowanie aplikacyjne staje się obowiązkową kolumną we wspólnym modelu transakcji, lokalna zmiana analityczna wymaga uwzględnienia w wydaniu wspólnego rozwiązania. Zachowaj stabilny, przygotowany zbiór danych, a jednocześnie zapewnij właścicielom aplikacji kontrolowane miejsce na pracę specyficzną dla ich odbiorców.

Dla każdej transformacji zapisz jej cel, dane wejściowe, poziom szczegółowości wyniku, osobę utrzymującą, właściciela zatwierdzającego i znanych odbiorców. Uwzględnij, które zmiany wymagają walidacji w dalszych etapach. Korzystaj obok tego rejestru z dostępnych narzędzi do śledzenia pochodzenia i zależności danych. Sprawdź ich pokrycie w rzeczywistym potoku i na styku z aplikacją, zamiast zakładać, że rejestrują każdą zależność.

Weryfikuj zmiany na poziomie rekordów, a nie tylko sum. W przykładzie z transakcjami uwzględnij potencjalne duplikaty, brakujące identyfikatory i produkty, których przypisanie do grupy się zmienia. Korektę oczyszczania powinni zweryfikować odbiorcy wspólnego zbioru danych. Zmianę grupy planistycznej należy zweryfikować pod kątem celu analitycznego aplikacji.

Celem jest granica, która pozwala ponownie wykorzystywać wspólne korekty i niezależnie wprowadzać lokalne zmiany. Jeśli w Twoim obecnym środowisku ta granica jest niejasna, współpracuj ze specjalistami analityki Qlik, aby zmapować transformacje i ich odbiorców, zanim zdecydujesz, co przenieść. Migracja powinna wynikać z docelowego podziału odpowiedzialności, a nie być powodem jego tworzenia.

Potrzebujesz pomocy z danymi i AI?

Zapewniamy konsultantów IT do projektów i bieżących prac technicznych. Napisz, jakiej pomocy potrzebujesz.

Skontaktuj się z nami
Wróć do wszystkich artykułów