Ewolucja analityki – dlaczego potrzebujemy modelu danych?
Podejście DataOps i orkiestracja danych
Architektura modelu danych – jak to działa?
Jak wdrożyć model danych? 5 kluczowych kroków
Logika biznesowa i techniczna
Korzyści biznesowe i Data Produkty
Podsumowanie
W przeszłości analityka internetowa była mniej skomplikowana, jednak obecnie, przy rosnącej liczbie narzędzi i kanałów marketingowych, odpowiednie zarządzanie danymi i spójność raportów stają się kluczowe dla skutecznego podejmowania decyzji biznesowych. W Google Analytics dostępne były raporty dotyczące źródeł ruchu oraz raporty ścieżek konwersji. Łączenie tych danych w Google Sheets za pomocą API umożliwiało ich łatwe wykorzystanie. Obecnie jednak raporty prezentują znacznie większą liczbę wymiarów źródeł ruchu. Analiza raportów ścieżek konwersji i decyzja o przesunięciu budżetów do odpowiednich kanałów stały się bardziej skomplikowane niż wcześniej.
Przeprowadzenie bardziej zaawansowanych analiz w Google Analytics wymaga obecnie korzystania z Google BigQuery, które umożliwia pracę na bardzo szczegółowych danych. Do efektywnego wykorzystania tego narzędzia niezbędne są jednak odpowiednie kompetencje analityczne. Dodatkowo, aby wyciągnąć konkretne wnioski, trzeba połączyć różne źródła danych dotyczące działalności online w jednym miejscu, co stanowi duże wyzwanie.
W takiej sytuacji kluczowym rozwiązaniem staje się dobrze zaprojektowany model danych. Pozwala on uporządkować i zintegrować dane z różnych źródeł, co znacząco ułatwia analizę oraz podejmowanie decyzji biznesowych. Model bazy danych to zbiór zasad i specyfikacji opisujących strukturę danych w bazie. Model danych określa, jak budować pipelines danych – czyli definiuje, jak dane wejściowe mają wyglądać po przetworzeniu na końcu procesu. Można to porównać do projektu architektonicznego domu. Dane to cegły, raport lub dashboard to gotowy dom, a model danych pełni rolę planu, według którego powstaje budowla z pojedynczych elementów.
Model danych stanowi istotny element podejścia DataOps, które łączy procesy zarządzania danymi z ich efektywnym wykorzystaniem w organizacji. Manifest DataOps opiera się na dwóch kluczowych wartościach. Pierwsza z nich to orkiestracja danych, czyli połączenie i ujednolicenie wszystkich analizowanych danych. Drugi istotny punkt dotyczy powtarzalności procesów związanych z przepływem i generowaniem danych w firmie. Za każdym razem, gdy korzystamy z określonych danych, mamy pewność, co dokładnie znajduje się w raporcie. Znamy źródła danych, rozumiemy ich definicje oraz definicje poszczególnych KPI.
Dzięki podejściu DataOps, które stosujemy już od ponad roku, zapewniamy wysoką jakość danych zarówno na wejściu, jak i na wyjściu procesu analitycznego. Pozwala to mieć pełną kontrolę nad wiarygodnością i spójnością analizowanych informacji. Dzięki monitorowaniu danych na bieżąco oraz otrzymywaniu ich w odpowiedniej formie, czas od pojawienia się problemu biznesowego do postawienia rekomendacji lub sformułowania wniosków znacząco się skraca. W praktyce wykorzystujemy różne źródła danych, które codziennie zbieramy w marketingu. Narzędzia takie jak GA4 czy Google Ads oferują natywną integrację z Google BigQuery, co ułatwia zarządzanie danymi.
Aby zapewnić pełną elastyczność, wszystkie zebrane dane gromadzone są w jednym miejscu – Google BigQuery. Po drugiej stronie powstają gotowe tabele z surowych danych, które odzwierciedlają realne potrzeby biznesowe. Kluczowym elementem tego procesu jest model danych, który przekształca surowe dane w finalne tabele wykorzystywane w raportach i analizach.
Projekt architektoniczny stanowi fundament całego procesu, określając, w jaki sposób dane zostaną uporządkowane i jak będzie wyglądać ich struktura. To właśnie na tym etapie powstaje plan, który pozwala efektywnie wykorzystać dane do rozwoju biznesu. Model danych przekształca surowe dane, uwzględniając logikę biznesową i technologiczną, w dane użyteczne dla biznesu. Dzięki temu możliwe jest przygotowanie danych do analiz prowadzonych przez firmę.
W praktyce model danych koryguje błędy widoczne w interfejsie, szczególnie w Google Analytics 4. Dotyczy to między innymi atrybucji źródeł ruchu oraz normalizacji tych źródeł. Model danych pozwala naprawić problem z tzw. ruchem bezpośrednim, który często pozostaje niejasny. Odpowiednie przypisanie ruchu do właściwych źródeł umożliwia późniejsze prawidłowe rozliczenie konwersji, na przykład według poszczególnych kampanii marketingowych. Model danych naprawia błędy obecne w interfejsie. GA4 nie jest pozbawiony niedoskonałości, dlatego takie rozwiązanie jest szczególnie przydatne. Model agreguje dane z wielu źródeł w jednym miejscu i optymalizuje tabele, aby umożliwić bardziej efektywne i tańsze korzystanie z tych danych w Google BigQuery.
Koszty korzystania z Google BigQuery to ważny aspekt. Przykład korzyści, jakie daje wdrożenie modelu danych w kontekście obniżenia kosztów analizy, jest znaczący. Porównując koszty analizowania danych surowych, które trafiają bezpośrednio do Google BigQuery, z kosztami analiz po zastosowaniu modelu danych, różnica jest ogromna. Dzięki wdrożeniu odpowiednich procesów normalizacji i klastrowania danych, analiza na danych surowych może kosztować około 16 dolarów, natomiast po wykorzystaniu przygotowanego modelu danych ten sam proces jest prawie 300 razy tańszy.
Model danych obejmuje optymalizację, monitorowanie oraz alarmowanie w sytuacji, gdy pojawiają się nieprawidłowości w danych lub na stronie. Może to dotyczyć zarówno problemów ze zbieraniem danych, jak i niezgodności z założeniami biznesowymi. Model danych zawiera gotowe raporty, które pozwalają na bieżąco analizować kluczowe wskaźniki i procesy biznesowe. W tych raportach można uwzględnić konkretne analizy przydatne dla organizacji.
Jednym z kluczowych pytań jest sposób wdrożenia modelu danych. Proces ten warto zacząć od zdefiniowania jego głównych elementów. Pierwszym krokiem jest zebranie surowych danych w jednym miejscu. Niezbędne jest zintegrowanie danych pochodzących ze wszystkich wykorzystywanych systemów. Do przetwarzania i organizacji danych można wykorzystać narzędzia takie jak Dataform lub DBT.
W przypadku naszych wdrożeń wybieramy Dataform, ponieważ jest darmowy i zintegrowany z ekosystemem Google. W analityce internetowej oraz marketingu online większość narzędzi opiera się właśnie na rozwiązaniach Google, dlatego ta integracja ułatwia pracę z danymi. Drugą składową procesu jest Dataform lub DBT. Najpierw pojawiają się dane surowe, następnie Dataform lub DBT, potem logika techniczna i logika biznesowa, która zostaje zaprogramowana w modelu danych. Na końcu BigQuery gromadzi ostateczną wersję danych, wykorzystywaną w biznesie. Całość procesu można podzielić na pięć głównych składowych.
Dane surowe nie wymagają szczegółowego omówienia. Dataform i DBT to narzędzia służące do transformacji. Pozostałe etapy obejmują nakładanie logiki na dane oraz finalne przechowywanie ich w BigQuery. Dzięki temu powstaje struktura danych odpowiadająca potrzebom biznesowym.
W naszym modelu danych stosujemy kilka rozwiązań technicznych, które usprawniają analizę i przetwarzanie danych. Przykładowo, poprawnie przypisujemy źródła ruchu na podstawie parametrów takich jak Facebook ID, Click ID czy Google Ads Click ID oraz UTM-ów. Dzięki temu uzyskujemy dokładniejsze dane o źródłach ruchu.
Identyfikacja użytkownika nie ogranicza się do ciasteczek. Uwzględniamy zarówno User ID, jak i Cookie ID, co umożliwia lepsze rozpoznanie tego samego użytkownika na różnych urządzeniach. Wprowadzamy również standaryzację kluczowych metryk marketingowych, takich jak Source, Medium czy Campaign. W Google Analytics 4 występuje kilkanaście metryk związanych z source/medium, dlatego standaryzacja pozwala uniknąć nieścisłości i ułatwia analizę.
Dane są kompresowane i codziennie przetwarzane do postaci tabel roboczych obejmujących trzy dni. W efekcie, gdy pojawia się potrzeba przeprowadzenia konkretnej analizy, koszt obsługi w Google BigQuery jest znacznie niższy dzięki zoptymalizowanej strukturze danych. Nasz model danych opiera się na czterech warstwach. Pierwsza to warstwa preprocesowania. Następnie tworzone są tabele robocze wykorzystywane między innymi do analizy atrybucji. Ostatnią warstwę stanowią gotowe dane raportowe, które służą do różnorodnych analiz.
Logika biznesowa stanowi czwartą składową modelu danych. W naszym przypadku została ona wypracowana na podstawie realizowanych projektów i obejmuje około 80% potrzeb rynku. W ramach tej logiki łączymy dane z najpopularniejszych CRM-ów, co pozwala na integrację informacji o kosztach marketingu, zachowaniach użytkowników w serwisie oraz danych CRM-owych. Najpowszechniej wykorzystywane narzędzia marketingowe, takie jak Google Ads, Facebook Ads czy dane kosztowe, są agregowane w jednym miejscu, co umożliwia późniejsze generowanie raportów.
W modelu danych wdrażamy również logikę customowych modeli atrybucji. Często trudno jest wyjaśnić klientom działanie domyślnego modelu data-driven dostępnego w GA4, który bywa postrzegany jako swoisty „black box”. Dlatego własne modele atrybucji pozwalają na większą transparentność i lepsze dopasowanie analizy do specyfiki działalności firmy. Wprowadzamy również do logiki biznesowej różne modele dotyczące prawdopodobieństwa zakupu lub prawdopodobieństwa churnu, bazując na analizie zachowań użytkowników.
Jakie korzyści daje taki model danych? Przede wszystkim umożliwia naprawę podstawowych problemów analitycznych oraz pozwala lepiej wykorzystywać dane w procesach decyzyjnych. Błędy atrybucji oraz błędy źródeł danych to częste wyzwania w analityce internetowej. Kluczowe jest normalizowanie danych z GA4 w kontekście innych narzędzi marketingowych. Kolejnym etapem jest agregacja danych z wielu źródeł w jednym miejscu, co pozwala na sprawną orkiestrację danych. Dzięki temu możliwa jest optymalizacja danych, która umożliwia późniejsze wykorzystanie ich w bardziej zaawansowanych analizach.
Istotnym elementem są mechanizmy monitorujące oraz systemy alarmujące o nieoczekiwanych zmianach w danych. W finalnym etapie w modelu danych znajdują się konkretne analizy. W Conversion takie analizy określamy jako data-produkty. Cały proces zaczyna się od danych surowych, następnie powstaje model danych, którego wynikiem są podstawowe tabele. Do tych tabel podłączane są poszczególne data-produkty, takie jak modele marketing mix modelingu. Po wzbogaceniu zbiorów danych o dodatkowe informacje można od razu przygotować model marketing mix.
Dostępne są listy remarketingowe oraz segmenty odbiorców, które można eksportować do systemów zewnętrznych na podstawie analizy najbardziej wartościowych klientów, na przykład z CRM. Analizy obejmują m.in. marżowość, zwroty w powiązaniu z systemem magazynowym, skuteczność kreacji reklamowych oraz optymalizację współczynnika konwersji przez analizę lejka zakupowego. Pojawiają się kolejne analizy i data produkty, jednak już podstawowy model danych wdrożony w firmie pozwala szybko uzyskać realne korzyści.
Model danych porządkuje i strukturyzuje informacje wykorzystywane w marketingu, eliminując chaos. Dzięki temu szybciej można przejść od raportów do podejmowania decyzji. Model danych skraca ścieżkę między problemem a decyzją, ponieważ bez niego większość czasu pochłania gromadzenie, przetwarzanie i analizowanie danych. Brak modelu danych w systemie raportowym sprawia, że trudno odnaleźć konkretne informacje. W takich przypadkach nawet 95% czasu poświęca się nie na generowanie insightów, ale na łączenie różnych źródeł danych i porządkowanie ich w sposób użyteczny dla biznesu. Wdrożenie modelu danych to najkrótsza droga do usprawnienia procesu przechodzenia od raportów do decyzji biznesowych.
W Conversion od ponad półtora roku rozwijamy własny model danych, który zawiera szeroki zakres gotowych data produktów. Zachęcam do kontaktu, jeśli jesteś zainteresowany jego wykorzystaniem. To drugi wpis z serii poświęconej podejściu DataOps. DataOps to podejście, które coraz częściej pojawia się w strategiach firm zajmujących się Digital Analytics.
Włączenie DataOps do strategii Conversion to odpowiedź na rosnącą potrzebę optymalizacji procesów związanych z gromadzeniem, przetwarzaniem i wykorzystywaniem danych. Model danych stanowi fundament, na którym można skutecznie rozwiązywać problemy biznesowe wynikające z pracy z danymi. W kolejnych wpisach pojawią się konkretne przykłady problemów, gotowe rozwiązania oraz opis, w jaki sposób model danych i DataOps wspierają efektywne zarządzanie danymi w organizacji. W przypadku pytań lub chęci omówienia wyzwań związanych z analityką danych, zapraszamy do kontaktu.
Tagi:
Historie sukcesów
Ostatnie wpisy na blogu
