Czego dowiesz się z tego wywiadu:
Czym jest Marketing Mix Modeling (MMM) i czy istnieje wzór na biznes?
Proces modelowania i znaczenie jakości danych
Współpraca z biznesem i ewolucja w stronę in-house
Zastosowanie MMM: Performance a budowanie marki
Kiedy firma powinna pomyśleć o wdrożeniu MMM?
Podsumowanie: Główne wnioski z rozmowy
Mariusz Michalczuk: Cześć, witam Cię w kolejnym odcinku podcastu z serii Date with Data Talks, czyli podcastu od praktyków danych do praktyków wykorzystania danych i vice versa. Dzisiaj moim i Twoim gościem jest Karol Dulęba. Cześć Karol.
Karol Dulęba: Cześć.
Mariusz Michalczuk: Karol zajmuje się modelowaniem marketingu Mix. Mógłbyś opowiedzieć, jak to wygląda? Może trochę więcej o Twoim doświadczeniu, jak doszedłeś do tego momentu, w którym jesteś? Mnie najbardziej będzie interesowało, jak twoja praca wygląda na co dzień.
Karol Dulęba: Myślę, że wiele osób już dzisiaj zna rozwinięcie tego skrótu MMM czy to, czym zajmuje się modelowanie marketing mixu. Finalnie chodzi o to, żeby znaleźć wskazówkę, w jaki sposób alokować budżety marketingowe na przeróżne media, na przeróżne aktywności, żeby zrealizować jakiś cel jak najlepiej. Zazwyczaj tym celem jest wzrost sprzedaży albo wzrost marży.
Żeby zakończyć to klamrą, do tego używamy danych, a te dane są procesowane różnymi algorytmami statystycznymi, ekonometrycznymi, tak, żeby dostać rekomendację, którą marketer może wykorzystać w swojej codziennej pracy.
Mariusz Michalczuk: Czy można to określić tak, że to jest taki wzór na biznes? Mam wynikową, niech to będzie przychód lub marża, i mam zmienne, które to objaśniają. Tu będziemy wykorzystywali zmienne głównie związane z marketingiem czy jeszcze jakieś inne wchodzą w grę? Może opowiesz o procesie, jak dochodzisz do tego wzoru, i czy to w ogóle dobra analogia.
Karol Dulęba: Gdyby udało się zbudować taki wzór, to skończyłaby nam się historia i wszystko byłoby bardzo łatwe. Jeżeli mamy dokładny przepis, po prostu podstawialibyśmy odpowiednie wartości i dostalibyśmy to, co chcemy. To jest raczej poszukiwanie czegoś, co mogłoby być wzorem, który nam bardzo przybliży ten świat, w którym biznes operuje. Nie spotkałem jeszcze firmy, która byłaby w stanie funkcjonować tylko na podstawie takiej jednej analizy.
To jest raczej punkt, do którego wszyscy zaangażowani w MMM starają się dotrzeć. Musimy wiedzieć, że biznes jest dużo bardziej skomplikowany niż jedna prosta formuła matematyczna. Wszystkie ograniczenia i przeróżne informacje, które powinniśmy wziąć do takiego modelu powodują, że jest to trochę utopijne myślenie. Natomiast jest to coś, co ma pewną wartość, którą świadomy marketingowiec jest w stanie wykorzystać, żeby jego wyniki odzwierciedlały wzrost wartości wygenerowany dla organizacji.
Do tego MMM jest przygotowany. Aby zbudować takie modele, kluczową rzeczą jest informacja jak najwyższej jakości, czyli dane. Na tych danych budujemy modele, które w porozumieniu albo w ostrym sporze z innymi metrykami, przybliżają marketingowca do odpowiedzi, gdzie powinien alokować budżet, żeby było lepiej.
Mariusz Michalczuk: Trochę to tak mi się kojarzy. Zawsze powtarzam, że analityka to nie jest matematyka, tam nie ma aksjomatów, że 2 plus 2 równa się 4, tylko tam są hipotezy. Pewnie tak samo jest z tym wzorem. On coś podpowiada, ale to nie jest aksjomat „if this then that”. Jeżeli widzimy coś, stawiamy hipotezę, dlaczego tak może wyglądać.
Karol Dulęba: Dokładnie tak. Nawet jeżeli wyobrazimy sobie, że taki teoretyczny wzór istnieje, to nie jest on stały w czasie. Nie jest też stały w ramach warunków operowania biznesu, dlatego tym trudniejsze jest dotarcie do niego.
Karol Dulęba: Sposób modelowania nazywam procesem, a nie projektem. Projekt zakłada koniec i to, że świat już odkryliśmy. A tu nie mamy tych aksjomatów. To nie jest tak, że jeżeli zrobiliśmy jedną dobrą kampanię i ona ma ROI wynoszące 2, to świat się skończył i ta kampania będzie miała to ROI zawsze. Naiwnością jest sądzić, że tak będzie. Myśląc o tym, jak do modelowania najlepiej podejść, trzeba patrzeć w horyzoncie czasowym.
Mariusz Michalczuk: Pierwszy krok to rozmowa z właścicielami biznesowymi, żebyś zrozumiał zależności w biznesie i skąd się bierze na końcu ten przychód. Drugi krok to sprawdzenie, jakie dane mamy. Często wykorzystujemy dane związane z online’em, ale czy mógłbyś podać przykłady danych niekontrolowanych, które wykorzystujesz w modelowaniu?
Karol Dulęba: To mogą być przeróżne dane. To, jak generuje się popyt w danym momencie, może wcale nie zależeć od czynników, na które mamy wpływ. Prosty przykład: rośnie sprzedaż importowanych samochodów, więc rośnie popyt na ubezpieczenia pojazdów, które są nowe i nie miały wcześniejszego produktu. Nieuwzględnienie zmiennej, która mówi o rosnącym imporcie przy analizie sprzedaży nowych ubezpieczeń, może spowodować pominięcie ważnego trendu.
Inny przykład to konkurencja. W branży FMCG możemy bardzo dobrze śledzić rywali, mając dostęp do podobnych danych z nowoczesnego handlu. Widzimy, czy rośnie im dystrybucja i czy wypierają nas z półki, co oznacza, że jesteśmy wybierani rzadziej. Nieuwzględnienie tego może nas prowadzić do fałszywego wniosku, że coś z naszą kampanią jest nie tak. Kompletność opisu na początku to naprawdę kluczowy element całego procesu.
Mariusz Michalczuk: Miałem epizod w swoim życiu zawodowym jako ekonometryk w Domu Mediowym w 2009 roku. Online był wtedy ciekawostką, modelowałem głównie na podstawie danych telewizyjnych z Nielsena. Jak to jest dzisiaj z tą jakością danych?
Karol Dulęba: Jakość danych sukcesywnie się poprawia. Proces zbierania danych jest wyczyszczony, zautomatyzowany. Z kolei dane poboczne, jak monitoring wzmianek w mediach czy konsumpcja outdooru, są coraz lepsze, ale nie tak dokładne jak dane sprzedażowe klienta. Mimo to, praca nad jakością danych daje świetne efekty. Najlepiej poprawić je z horyzontem kilkuletnim wstecz. Zasada „garbage in, garbage out” nadal obowiązuje. Przy słabych danych możemy otrzymać fałszywy sygnał i podjąć błędne decyzje biznesowe.
Mariusz Michalczuk: Jakie są metody sprawdzania tej jakości danych?
Karol Dulęba: Przede wszystkim analityczne sprawdzenie – poszukiwanie ekstremalnych wartości, które mogą się pojawiać. Druga strona to rozmowa z osobami, które pracują przy tych danych. Finalnie te liczby mają zwymiarować wysiłek włożony w marketing. Nazywamy to „sanity check”. Patrzymy, czy to, co widzimy, ma sens. Kiedy widzimy miesiąc z obserwacją milion razy większą od innych, jest to podejrzane. Sprawdzamy też silne trendy czy piki sezonowe i weryfikujemy ich związek z rzeczywistymi działaniami.
Odstająca wartość nie musi oznaczać błędu. Może ktoś zapomniał wyłączyć kampanię albo nagle zablokowała się podpięta pod reklamę karta, przez co wydatki spadły do zera. Takie sytuacje zdarzają się regularnie. Model MMM jest wrażliwy na to, że możemy spotkać się z odczytem, którego nie potrafimy zinterpretować. Jeśli wartość wydaje się odległa od oczekiwań, najprawdopodobniej problem leży w danych i musimy wrócić kilka kroków wstecz.
\
Mariusz Michalczuk: Załóżmy, że jesteśmy pewni jakości danych i następuje modelowanie. Chciałbym usłyszeć, jak od strony biznesowej pracujesz z klientami nad gotowym MMM?
Karol Dulęba: Pracuję w różny sposób. Dawniej poszukiwano jednego, najlepszego modelu, skupiając się na idealnych zmiennych i funkcjach. Dzisiaj, dzięki tańszej mocy obliczeniowej, modelujemy ogromne liczby scenariuszy. Z nich wybierane są te o największej wartości, a informacje są łączone. Modelowanie musi być niezależne od preferencji analityka. Oczywiście jest tu element sztuki, ale nie można przesadzić – musi on wynikać ze zrozumienia danych i szybkiego reagowania na nieścisłości wspólnie z klientem.
Ostatnio staram się przekonywać klientów do pracy in-house. Tworzymy model całkowicie po ich stronie. Wiedza, ryzyka i benefity zostają w organizacji. Zespół może szukać odpowiedzi w każdej chwili, budując kluczową kompetencję. To rewolucja w MMM: odejście od modeli robionych przez agencje jako snapshot raz na rok, do sytuacji, w której korzystamy z gotowych, często darmowych lub tanich narzędzi.
Cała sztuka polega teraz na weryfikacji, czy to, co wychodzi na końcu, ma sens i wymaga korekt. Dziś firmy mogą mieć pełną wiedzę po swojej stronie, bez czekania tygodniami na odpowiedzi. Działam jako opiekun zespołów, które samodzielnie dostarczają całość.
Mariusz Michalczuk: Jesteś sparing partnerem dla zespołu analitycznego, który jest bliżej biznesu. Gdy pojawia się problem, ci analitycy mogą po prostu zapytać osobę biurko obok i szybciej uzyskać odpowiedź.
Karol Dulęba: Dokładnie. To proces ewolucji. Oczywiście obsługuję też klientów od A do Z, jeśli nie chcą budować wewnętrznych kompetencji. Jednak w nowych projektach badam, czy nie woleliby mieć projektu po swojej stronie i czerpać z niego niezależnie od wsparcia z zewnątrz. To zupełnie zmienia efektywność. Kiedyś spotkania podsumowujące odbywały się raz w roku i często urywały się w połowie z braku czasu. Dziś regularne, miesięczne rozmowy o wynikach, stabilności danych i testach rynkowych przynoszą dużo lepsze rezultaty.
Zastosowanie MMM: Performance a budowanie markiMariusz Michalczuk: Przejdźmy do e-commerce. Panuje tam kult performance’u, oczekujemy zwrotu tu i teraz. Ostatnie lata pokazały, że performance drożeje, a popyt bywa niestabilny. Widzę tendencję e-commerce’ów do inwestowania w wizerunek i markę, by wpuścić ruch na górę lejka i później go monetyzować. Jak modele pokazują efekty reklam, które nie przynoszą konwersji tuż przed zakupem?
Karol Dulęba: Podejście MMM wzięło się właśnie z faktu, że mamy bardzo dużo kontaktów z reklamą, których nie jesteśmy w stanie zmierzyć prostą atrybucją i przypisać do użytkownika. Główną rolą MMM stała się ewaluacja kanałów na początku ścieżki zakupowej. Historycznie modele last click przypisywały całą zasługę kampaniom searchowym, a pomijały wpływ telewizji czy nieklikalnego displaya. Z góry zakładano, że ich efekt to zero.
MMM pozwala wyjść z zakleszczenia w kanałach końca lejka i zrozumieć rolę kanałów otwierających. Fałszywy jest podział, że kampanie są albo sprzedażowe, albo brandowe. Jeżeli kampania wizerunkowa nie buduje kiedyś sprzedaży, to znaczy, że nie zbudowała wizerunku. W e-commerce firmy często zjadają własny ogon w performance – patrzą na niezłe ROAS-y, ale ciągle płacą wysoką cenę za pozyskiwanie tych samych klientów i nie rosną.
Mariusz Michalczuk: Co w takim razie należy zrobić, zanim uruchomimy szerokie kampanie wizerunkowe?
Karol Dulęba: MMM to trzeci krok w kolejności. Pierwszym jest upewnienie się, że odrobiliśmy lekcję z lojalizacji. Musimy dbać o bazę klientów, żeby ci użytkownicy wracali sami z siebie, zamiast klikać po raz kolejny w drogie frazy generyczne. Jeżeli zainwestujemy w szeroki zasięg, a nasza retencja leży, szybko przepalimy budżet. Zdobędziemy uwagę na chwilę, ktoś kupi jeden produkt i nigdy nie wróci. Jeśli jednak mamy zbudowane mocne filary lojalności, szansa, że klienci zarekomendują nas znajomym (word of mouth) znacznie rośnie.
To jest moment, w którym możemy bezpiecznie skalować działania i przechodzić do kampanii otwierających, często opartych na wideo i opowiadających historię marki. Jeżeli zrobimy to dobrze, MMM pomoże wyliczyć inkrementalną wartość tej kampanii w dłuższym horyzoncie czasowym.
Mariusz Michalczuk: Jakie są warunki wejścia w MMM? Co determinuje, że firma w ogóle powinna zacząć myśleć o stworzeniu modelu? Czy chodzi o przychody, czy wydatki marketingowe?
Karol Dulęba: Świat się zmienia. Narzędzia do MMM są dzisiaj tanie i dostępne. Głównym wyznacznikiem jest złożoność marketingu. Jeżeli jesteś nawet dużym graczem, ale masz tylko dwa kanały – generyczne i brandowe w wyszukiwarce oraz na Facebooku – to właściwie wszystko widzisz gołym okiem i MMM niewiele Ci da. Sytuacja komplikuje się, kiedy wydajesz solidne budżety na kilkadziesiąt różnych kampanii w wielu mediach, które się zazębiają, i tracisz pewność, co generuje wynik.
Mariusz Michalczuk: Czy długość procesu zakupowego ma tu znaczenie? Wydaje mi się, że operator turystyczny będzie miał trudniej złapać ten efekt niż internetowe delikatesy spożywcze.
Karol Dulęba: Przy dłuższych ścieżkach i wielu kontaktach rzeczywiście trudniej to wyłapać, co sprawia, że MMM jest bardzo przydatny. Ale w biznesach o krótkiej ścieżce model też ma sens, jeśli prowadzimy działania wizerunkowe w telewizji połączone z online’em. Model pomoże sprawdzić, czy klient wraca, czy tylko eksperymentuje. Krótko mówiąc: jeśli nie masz problemu z zaciemnionym obrazem analityki, to nie potrzebujesz MMM. Jeśli masz rozbudowany budżet i gąszcz sprzecznych danych z różnych platform, to jest to odpowiedni moment.
Mariusz Michalczuk: O co firma powinna zadbać tu i teraz, jeśli dojrzeje do decyzji o wdrożeniu MMM?
Karol Dulęba: Najważniejszym zasobem są dane. Jeśli firma o nie zadba, będzie miała doskonały start. Wybór partnera czy narzędzia to sprawa drugorzędna, bo bez danych nikt sobie nie poradzi. Konieczny jest wystarczający horyzont czasowy – przy danych dziennych to minimum półtora roku dobrej jakości informacji. Jeśli bazujemy na danych tygodniowych, np. w branży FMCG, potrzebujemy minimum trzech lat historii, by zbudować sensowne modele.
Mariusz Michalczuk: Gdzie można Cię znaleźć, gdyby ktoś chciał skorzystać z Twojej pomocy w tym zakresie?
Karol Dulęba: Można mnie znaleźć na LinkedInie. Mam introwertyczną naturę i skupiam się głównie na pracy, która jest często obwarowana umowami NDA, dlatego moje dzisiejsze wypowiedzi były dość ogólne. Lubię swoją niezależność, doradzam klientom obiektywnie, a czasem nawet odradzam wejście w drogie kanały, jeśli nie ma to sensu.
Mariusz তৎকালীন: Te procesy są naprawdę cenne, bo dają świetny pogląd na to, jak unikać błędów. Dzięki wielkie za twoją obecność u nas w studiu.
Karol Dulęba: Dzięki bardzo.
Rozmowa z Karolem Dulębą uświadamia, że Marketing Mix Modeling przestał być niedostępnym, drogim rozwiązaniem zarezerwowanym dla największych korporacji. Demokratyzacja narzędzi sprawiła, że proces ten może być realizowany in-house, stając się stałym elementem oceny efektywności marketingu. Umożliwia to bieżące testowanie hipotez, szybką reakcję na rynkowe zmiany oraz dogłębną analizę jakości posiadanych danych, które są absolutnym fundamentem każdego modelu.
Dla branży e-commerce, która często zderza się z sufitem drogich kampanii performance’owych, MMM oferuje cenne spojrzenie na cały lejek sprzedażowy. Pozwala udowodnić i wyliczyć wartość inwestycji w działania wizerunkowe, pokazując, że długofalowe budowanie marki to konieczność. Zanim jednak zainwestujemy w zasięgi, niezbędne jest zadbanie o programy lojalnościowe i retencję, aby nowo pozyskany ruch faktycznie przekładał się na powtarzalny zysk, a nie jednorazowe, drogie konwersje.
Tagi:
Historie sukcesów
Ostatnie wpisy na blogu
