Czym jest Meta Conversion API (CAPI)?
Jak działa Meta Conversion API?
Zalety i wady Conversion API
Jak wdrożyć Meta Conversion API?
Podsumowanie

Czym jest Meta Conversion API (CAPI)?

Conversion API, znane również jako CAPI, to rozwiązanie umożliwiające przesyłanie informacji o zachowaniach użytkowników na naszej stronie bezpośrednio z serwera, omijając przeglądarkę. Funkcjonalność ta chroni nasze dane w kontekście restrykcji związanych z ciasteczkami trzeciej kategorii. 

Dotychczas standardowym sposobem śledzenia kampanii reklamowych w Meta Ads był piksel, który działa jako tracker oparty na tych ciasteczkach. Conversion API stanowi alternatywę dla tego podejścia, umożliwiając bardziej bezpośrednie i niezależne od przeglądarki przesyłanie danych. 

Conversion API to alternatywa, która umożliwia przesyłanie danych dotyczących zachowań użytkowników bezpośrednio ze skonfigurowanego serwera. Obejmuje to wszystkie dane, nie tylko te związane z konwersjami czy odsłonami poszczególnych interakcji. Meta Conversion API w Meta Ads poprawia jakość danych w systemach reklamowych Meta Ads, zmniejszając zależność od plików cookies. Pliki te są zwykle potrzebne do przesyłania danych z przeglądarki do systemów reklamowych za pomocą piksela.

Prostymi słowami, Meta Conversion API pozwala uniezależnić się od ciasteczek trzeciej kategorii używanych przez piksel Meta Ads. Dzięki temu wysyłanie danych jest bardziej niezależne, co zwiększa jakość i zakres zbieranych danych.

Jak działa Meta Conversion API?

Meta Conversion API działa poprzez bezpośrednie przesyłanie danych dotyczących zachowań użytkowników z serwera. Może to dotyczyć zarówno działań na stronie serwisu, jak i konwersji. Działa podobnie jak Google Tag Manager Server-Side, gdzie jedna informacja jest przesyłana z przeglądarki do serwera i API, a następnie z serwera informacje są rozsyłane do systemu reklamowego. 

Zalety i wady Conversion API

Meta Conversions API działa po stronie serwera – dane przesyłane są bezpośrednio do platformy Meta, co pozwala odzyskać utracone sygnały, poprawić skuteczność kampanii i mieć lepszą kontrolę nad tym, jakie informacje przesyłasz. Jednak „server-to-server” oznacza także większą złożoność wdrożenia, konieczność współpracy z działem IT i utrzymania infrastruktury oraz troskę o zgodność z przepisami w zakresie ochrony danych.

Zalety

• Zmniejszona utrata danych – CAPI omija blokady cookies i klient-side tracking, co oznacza mniej niewykrytych konwersji. 
• Lepsze dopasowanie i optymalizacja kampanii – dokładniejsze dane pozwalają algorytmowi Meta trafniej targetować odbiorców. 
• Większa kontrola nad danymi – można bardziej świadomie decydować, jakie zdarzenia i dane przekazywać, co ułatwia zgodność z RODO/CCPA. 
• Możliwość śledzenia zdarzeń offline i wielokanałowych – dane nie muszą pochodzić tylko z przeglądarki, ale również z CRM, aplikacji, sklepu stacjonarnego.

Wady

• Wdrożenie techniczne – wymaga integracji serwerowej, mapowania zdarzeń, testów deduplikacji i zwykle wsparcia IT, co może być wyzwaniem dla mniejszych firm.
• Potencjalne opóźnienia w danych – w porównaniu z klient-side trackingiem mogą pojawić się drobne opóźnienia w przesyłaniu zdarzeń.
• Koszt i zasoby – utrzymanie serwera, monitorowanie poprawności i bezpieczeństwa danych to dodatkowy koszt i wymagania operacyjne.
• Wymaga dobrego połączenia z innymi narzędziami – sam CAPI nie zastąpi wszystkich narzędzi analitycznych, warto uruchomić je łącznie z pixelami lub innymi systemami, co może zwiększać złożoność.

Jak wdrożyć Meta Conversion API?

Wdrożenie Meta Conversion API wymaga kilku kroków. Najłatwiejszym sposobem jest wykorzystanie Google Tag Managera w trybie Server-Side, który oferuje gotowe szablony do tego celu. Proces ten można podzielić na cztery etapy.

Pierwszym krokiem jest przygotowanie serwera, z którego będą wysyłane dane. Zakładamy, że serwer GTM jest już gotowy i skonfigurowany w trybie Server-Side. 

Następnie, konieczna jest konfiguracja API na poziomie meta-adsów. W tej fazie pozyskuje się tokeny, które następnie wprowadza się w kontenerze Server-Side GTM. Po implementacji wysyłania danych z przeglądarki, konieczne jest przetestowanie, czy wszystko działa poprawnie. Jeśli tak, to proces można uznać za zakończony. 

Następnie, aby skonfigurować Meta Conversion API w kontenerze serwerowym Google Tag Manager, należy przejść do zakładki „Tagi”. W tej zakładce wybieramy nowy tag. W sekcji konfiguracji dostępne są tagi niestandardowe, w tym Conversion API tag. Podczas integracji z Meta Conversion API, kluczowe jest wykorzystanie danych takich jak Pixel ID czy API Access Token, które można pozyskać z systemu reklamowego Meta Ads. 

Proces wysyłania informacji do Meta Ads można oprzeć na sposobie, w jaki kontener po stronie klienta, czyli client-side GTM, przekazuje dane do GA4. Na tej podstawie możliwe jest przesyłanie informacji o pageviesach oraz różnych eventach, zwłaszcza o zakupach, bezpośrednio do Meta Conversion API.

Wykorzystanie Meta Conversion API wiąże się z pytaniem, jak efektywnie korzystać z danych uzyskanych dzięki temu narzędziu. Ważnym elementem jest deduplikacja eventów pomiędzy pikselem działającym po stronie klienta a Meta Conversion API, co pozwala na zwiększenie jakości danych. Oczywiście zakładamy, że te dane posłużą do zwiększenia efektywności kampanii w Meta Ads.

Podsumowanie

Podsumowując, Meta Conversion API stanowi odpowiedź na coraz bardziej restrykcyjne przepisy dotyczące wykorzystania ciasteczek, które są podstawą działania pikseli Facebooka czy Meta. Jest to analogiczne rozwiązanie do kontenera server-side, które można wdrożyć przy pomocy istniejącego server-side GTM.

The post Meta Conversion API (CAPI) – co to jest? first appeared on Conversion.

Czego dowiesz się z tego wywiadu:
Niestandardowa droga Patryka Szczepańskiego do e-commerce
Ewolucja podejścia do danych w biznesie
Praktyczne narzędzia i metody analizy danych
Case study: Gdy intuicja spotyka dane
Dane strategiczne: Od sprzedaży po lejki marketingowe
Wyzwania w zarządzaniu danymi
Kluczowe rady dla menedżerów e-commerce i marketingu

Niestandardowa droga Patryka Szczepańskiego do e-commerce

Mariusz Michalczuk: Cześć, witam Cię w kolejnym odcinku z podcastu z serii Date with Data Talks, czyli podcastu od praktyków danych do praktyków wykorzystania danych i vice versa. Dzisiaj moim i Waszym gościem jest Patryk Szczepański. Patryku, dziękuję za przyjęcie zaproszenia. Jakbyś mógł kilka słów opowiedzieć o sobie naszym słuchaczom.

Patryk Szczepański: Cześć, ja także dziękuję za zaproszenie. Wyglądamy tak samo, dlatego ściągnąłem okulary. Co mogę powiedzieć o sobie? Już prawie 20 lat siedzę w marketingu, w digital marketingu od samego początku, jak to się zaczęło pojawiać i jak dostałem do tego dostęp. Z wykształcenia jestem analitykiem biznesowym, więc tutaj te dane były obecne od samego początku, na studiach już w tej początkowej fazie biznesowej, czyli bilansy, przepływy, koszty i przychody. Bardzo łatwo to zostało połączone u mnie z marketingiem i już na samych studiach kończyłem pracę magisterską właśnie z digital marketingu, z tych początków, śmiesznych, jak sobie to wspominam.

Później e-commerce od razu, ale trochę też z połączeniem z offline’em. W branży Home&Decor spędziłem jakieś 10 lat w galeriach stacjonarnych plus sklep internetowy. Później FMCG, też około pięciu lat i teraz znowu Home&Decor z małym incydentem na stronę agencyjną, więc i ten ślad i ten trochę znam. Aktualnie jestem e-commerce marketing managerem w MyBed, MyBed.de, MyBed.pl i Meet to Home, wrocławskim startupie, takim już trzy i pół letnim, bardzo fajnie rozwijającym się i tam odpowiadam za marketing z fajnym zespołem i z fajnymi ludźmi.

Mariusz Michalczuk: Czyli background wykształceniowy, analityczny, później wskoczenie w marketing e-commerce, marketing e-commerce chyba na najwyższym poziomie, bo omnichannel’owe, z tego co słyszę, czyli mega dużo danych. Jak to wyglądało u Ciebie historycznie, w jakich miejscach w toku rozwoju ta analityka zajmowała miejsce? Jak to wspominasz kiedyś po studiach? Ja ze swojej perspektywy, skończyłem ekonometrię, statystykę. Ideał wykorzystania tych danych idąc po studiach do biznesu myślę sobie, kurde będę mógł te wszystkie modele, te wszystkie analizy prowadzić później w biznesie – trochę się zetknąłem z rzeczywistością. Jak to z Twojej perspektywy wyglądało? Wspominasz te pierwsze prace, jak to wygląda teraz? Jak byś mógł trochę się tutaj podzielić swoimi doświadczeniami?

Ewolucja podejścia do danych w biznesie

Patryk Szczepański: Różnie. Im dłużej pracowałem, im ta świadomość moja danych i tego czego oczekuję, żeby podejmować decyzje na jakimkolwiek etapie, albo cokolwiek przedstawiać wyżej, czy dyrektorowi, czy już na zarządach, to te dane trzeba było sobie samemu zgromadzić, albo do nich dotrzeć. Bardzo mała świadomość danych na początku tej drogi. Jakiś system do sprzedaży, z którego mogliśmy wyciągnąć ilość wejść na bramkach, to był jeden system, drugi to była sprzedaż, trzeci to była sprzedaż na sprzedawcę. Trzeba było to dobrze wpisać, dobrze rozkminić, jak to policzyć jakimi funkcjami, żeby tam wychodziły wskaźniki efektywnościowe.

Myślę, że tutaj od samego początku przez łatwość narzędzi excelowskich i tabelarycznych, jest mi łatwiej i wiem czego szukam, więc też mogę odpowiednio zapytać od samego początku. Ale firmy nie zbierały takich danych tak szczegółowo w jednych systemach, żeby to można było w prosty i łatwy sposób wyciągnąć. Później, biznesy w branży FMCG, po jednej stronie miałem w tym początkowym też zerowe dane, jeżeli chodzi o sprzedaż, tylko z systemu, który był e-commerce’owy, i to był e-commerce. Ci, co wiedzą i pracują, wiedzą jak się tam pracuje. Więc tylko te dane, które dostarczał u-commerce plus GA4, i to jeszcze źle skonfigurowana. Więc pierwsze co, to konfiguracja, wykluczenia i te wszystkie zdarzenia, które chcielibyśmy mierzyć. Jak sobie zaczniemy zbierać te dane, to jest łatwiej.

FMCG, duży e-com, jeżeli chodzi o kosmetyki, tam już BigQuery i śmieję się, że tam już jest nadmiar danych, przez to też sporadyczny dostęp niektórych osób do tych danych decyzyjnych, bo tutaj rodzą się kolejne problemy. Jeżeli mamy nadmiar tych danych, nie ma chyba takiego złotego środka, ale teraz idziemy w kierunku takim, że te e-com’y są bardziej świadome, to na pewno. Większy dostęp mamy do narzędzi, które nawet agregują te dane w postać bardziej przyjazną. Jak sobie zetniemy GA4, mamy ją przynajmniej dobrze skonfigurowaną w miarę, to już w tym narzędziu jesteśmy w stanie sobie policzyć podstawowe KPI, takie, które są ogólnie dostępne i ogólnie przyjęte, więc to jest łatwiejsze dla tych e-com’ów. Masa danych, które potrafimy zebrać, ale masa też danych, których nie potrafimy korzystać albo nie wiemy co znaczą ogólnie. To jest ten kierunek i ta bolączka pracy z danymi – nadmiar danych.

Mariusz Michalczuk: Okej, mówisz trochę o tej świadomości, mówisz o pracy z zarządami i o raportowaniu tych danych. Czy jest coś takiego szczególnego w ich zachowaniu, w ich pytaniach, w ich prośbach, co zwraca uwagę, że ta świadomość rośnie? Na przykład przychodzi do głowy z jednej z innych rozmów na kanale, że raporty są ogólnie, te dashboardy są zrobione, ale patrzy się tylko na jeden wycinek, kiedyś przynajmniej tak było. Teraz jest tak, że dopytywanie biznesu czy zarządu jest o coraz więcej danych. To jest taki przykład. Czy z Twojej perspektywy jest coś takiego, co wskazuje w zachowaniu właśnie tych decydentów o to, że te dane odgrywają coraz większą rolę?

Patryk Szczepański: Na podstawie biznesu FMCG omnichannel’owego, gdzie były salony stacjonarne i sklep internetowy, który mocno musiał się rozwinąć w pandemii, był stawiany od zera totalnie na szybko, żeby zaspokoić tą potrzebę przy zamkniętych salonach, jest coraz większa świadomość. Oni też dopytują coraz bardziej, co te wskaźniki znaczą i jak ktoś jest dyrektorem finansowym, to jeżeli wytłumaczysz mu, co daje ta dana, to on jest w stanie ją połapać już z innymi rzeczami, które są w rachunkach, bilansach, czy biznes planach na poszczególne projekty. I to jest super, bo wtedy jest takim równoprawnym partnerem.

Bardzo często te zarządy też są podzielone. Mamy członka zarządu, który jest od sklepów stacjonarnych, kogoś od digitalu, i jeżeli jest świadoma firma, to szuka sobie odpowiednich kompetencji do poszczególnych członków zarządu. Wtedy dyskusja jest super rozwijająca też po jednej i po drugiej stronie, bo te pytania czasami są zaskakujące i na niektóre oczywiście nie zna się odpowiedzi tak od razu, ale bardzo często one są takie w punkt i jednak rzeczywiście dają do myślenia, że się czegoś nie przemyślało, bo ta osoba, siedząc na zarządach, rozmawiając z poszczególnymi osobami, działa dalej i to rozwija.

Mariusz Michalczuk: Moje doświadczenie też jest podobne w tym zakresie, że rzeczywiście ta świadomość zawsze płynie od góry, to znaczy jak jest ta ciekawość biznesu, ciekawość tego co w tych danych siedzi, to rzeczywiście ta analityka się rozwija i wchodzi na wyższe poziomy. Czasami spotykam się z takim podejściem, że od razu ktoś chciałby mieć Ferrari. To niestety nie jest tak, że to jest projekt krótki i jednorazowy i po prostu mówimy, że budujemy Ferrari, tylko że to jest często proces, jakiś tam rozwój. Nie wiem czy to się zgadza też z Twoimi doświadczeniami.

Patryk Szczepański: Jak ktoś zachłyśnie się ilością danych albo dostanie informację, że mamy wszystkie dane tylko powiedz co, wiadomo, że jeżeli nie jest tego świadomy, to będzie chciał poznać te dane i co one oznaczają, ale to jest też droga donikąd trochę. To czego brakuje w tych zarządach, to właśnie prace na KPI. Ustalamy sobie poszczególne wskaźniki, ale żeby je ustalić, to musimy je mieć historycznie, bo też nie możemy strzelać na oślep i dawać sobie jakichś wygórowanych, bo przyjdzie ktoś do pracy, dostanie wzrost, który jest nierealny i on z doświadczenia wie, dane tego nie popierają. Z drugiej strony, jak mamy dane, to łatwiej jest przekazać i dokładać, bo wiemy na czym stoimy. Możemy też tą karuzelę trochę odwrócić i wejść w drugą stronę, czyli jeżeli dochodzimy do jakiejś wielkości, w e-commerce to jest mega łatwe, ile musimy zainwestować. Te wskaźniki są bardzo dobrze liczone na poszczególnych etapach, nawet performansu na poszczególnych etapach lejka, więc to dużo daje, jeżeli ma się świadomość pracy z danymi i tego, jakie dane, co mówią i jak możemy je przekuć na biznes.

Mariusz Michalczuk: Tak, ja tutaj chciałbym też wspomnieć jeden z ostatnich odcinków podcastu, gdzie był Tomek Sienkiewicz, on jest takim data literacy menadżerem, i właśnie jego zadaniem jest to, żeby zbudować taką kulturę rozumienia i rozmawiania o danych. I on tam podawał taki przykład, gdzie kultura jest, a gdzie kultury nie ma i przykład był taki, że jak kultury nie ma, to przychodzi przełożony i mówi “słabo to zrobiliście, bardzo słabo poszło, musicie się lepiej postarać”, a gdzie jest kultura – “słuchajcie mieliśmy cel na dwuprocentowy dowiedzenie jakiegoś KPI-a, zabrakło, dowiedzieliśmy na 1,5% ten KPI, co możemy zrobić, czy zaplanujmy co zrobimy, żeby te pół procenta nadgonić”. I tu wiadomo o czym rozmawiamy, co to znaczy “słabo”, co trzeba dowieźć i tak dalej. I to rzeczywiście mnie mocno uderzyło. To trochę parafrazując to o czym mówisz, że mamy cel, który bazuje na danych historycznych. Nie mówimy, że coś jest możliwe, niemożliwe, tylko zastanawiamy się jak to dowieźć.

Patryk Szczepański: Dokładnie, to jest praca ze świadomością danych jakie mamy i co się tam za nimi kryje, bo bardzo często one są ponazywane różnie. Metodologia działania, nawet jak mamy kilka narzędzi, to te narzędzia pomiędzy sobą mogą to inaczej liczyć i zliczać i pokazywać zupełnie inne dane i teraz pytanie, na czym się opieramy? Jak GA4 działa, ile jest sesji utraconych, czy działamy na danych z e-comu, czy działamy na danych i bierzemy pod uwagę, że mamy jakąś utratę danych na Analyticsie, więc to jest też świadomość tego i podejmowanie decyzji właśnie w oparciu o dane, może czasami z jednego narzędzia nawet tylko i wyłącznie. Mamy pomocnicze narzędzia, które nam rozszerzają kontekst danej wielkości, czy danej zmiennej, a działamy na jednym, żeby być cały czas osadzeni w tym i mieć świadomość ograniczeń tego narzędzia, czy przewag, które nam daje i świadomie to wybieramy.

Praktyczne narzędzia i metody analizy danych

Mariusz Michalczuk: Dokładnie. A propos narzędzi, powiedz jak to u Ciebie wygląda teraz, w Twoim obecnym e-commerce-ie, jak do tej pory wyglądało, jaki ten jest stack analityczny, z którego korzystasz, jakie są systemy, później jak te dane łączysz, jak analizujesz, jakbyś mógł trochę tutaj naszym słuchaczom opowiedzieć, jak to w praktyce u Ciebie wygląda.

Patryk Szczepański: Jestem wyznawcą tabelek, więc wszystko co wpiszę w tabelkę albo co sobie zaimportuję do tabelki, to mam w tabelce. Zbieram dane historycznie do tyłu w tabelę. Mamy też oprogramowanie, które nam to sumuje. Mamy porobione dashboardy na poszczególne działania, czy poszczególne elementy biznesu. Korzystają z nich różne osoby, właściciel, founder, czy osoby z marketingu. Mamy też oczywiście dostępne analizy z agencji, z którymi współpracujemy. Ale dla mnie dane, które ja potrzebuję to są właśnie użytkownicy na przykład, czy konwersje, czy współczynniki zaangażowania, sprzedaż, średnie koszyki. Ja wolę mieć to w jednym arkuszu.

Oczywiście na jednej zakładce mam wykresiki i cyfry, jak to się rozwija, jak to idzie, a dane surowe mam po zakładkach poimportowane z różnych systemów, czy z Marketing Automation, Social Media, czy e-com i później sobie na tych danych pracuję. Wyciągam sobie przeważnie te KPI, które mnie najmocniej interesują, ale i te poboczne dane, takie uzupełniające zawsze mam też, żeby sobie móc rozwinąć, gdzie na przykład, jak spada mi ten główny wskaźnik albo rośnie, to gdzie głównie, który wskaźnik miał przełożenie na to, czy wysłany kolejny newsletter, czy jakaś rolka na Instagramie mi zadziałała mocniej, czy ilość wyświetleń czy zasięgi mi po prostu wskoczyły do góry, bo jakaś współpraca zadziałała super, prawda?

Jak to widzę, patrząc przez pryzmat, jak zarządza się zespołami albo takimi rozbudowanymi strukturami, i odpowiadasz za całość, to nie możesz wchodzić głęboko. Tam masz poszczególne osoby, team leaderów, czy osoby kierujące poszczególnymi zespołami, czy zajmujące się. One powinny badać, a ty masz wskaźnik. Rośnie ci zasięg – możesz sobie zapytać, albo sobie wejść już szczegółowo w te dane i podpytać, co się wydarzyło, że ten zasięg wystrzelił, ile nas ta współpraca kosztowała i wtedy już też masz takie fajne pole do rozmowy z osobą, zainteresowanie. Z drugiej strony ta osoba też wie, że widzisz te rzeczy i to nie jest tak, że ona coś tam powie, a ty mówisz “okej, dobra, przyjmuję, jest tak jak mówisz”, więc to też jest fajne, budujące dla zespołów.

W kwestii zespołów, wyznaję zasadę, że fajnie się otaczać osobami, jeżeli się z nimi zarządza tak jak całym marketingiem albo wieloma aspektami marketingu, to fajnie jest mieć w nim liderów, którzy wiedzą w danej dziedzinie więcej, bo wtedy też człowiek się rozwija, ale oni też czują, że mogą się rozwijać, mogą iść dalej i mogą przychodzić i dawać im taką też ścieżkę rozwoju. Wtedy opieramy się właśnie na danych, to jest mega fajne, że siadamy i mówimy, “dobra, chcesz zrobić to, jak to się przełoży na ten wskaźnik, na którym nam zależy”, albo “dobra, ten przyniesie to, ale czy to wpłynie na coś innego jeszcze”. Zastanówmy się, co możemy zrobić, żeby zrobić efekt synergii. I to są dane, bo widzimy co było, do czego chcemy dojść, ile to będzie kosztować i czy nam się to po prostu będzie kalkulować.

Mariusz Michalczuk: Super, bardzo fajne. Odnośnie tego co mówisz, tej kaskadacji tych metryk, to trochę tu rzucę światła, jak my u klientów to robimy, to nazywamy KPI tree. Czyli wychodzimy od takiej, to już na bazie nie jednego działu, tylko większej liczby, czasami udaje się nam na całą organizację w mniejszych firmach to zorganizować. Czyli wychodzimy od jednej takiej bazowej metryki, najczęściej to jest EBIT i rozkładamy tę metrykę, kaskadujemy na poszczególne działy. Każdy dział ma jedną, maksymalnie dwie-trzy metryki takie, które będą się dokładały do wyższego poziomu. To idzie tak od dołu do góry, aż schodzi się rzeczywiście do tego EBIT-u. I mimo, że są to jedna, trzy metryki takie główne, to tak jak Ty opowiadasz trochę, że masz te metryki poboczne, bo ta jedna metryka powiedzmy jest tym celem, ultimate goal działu, ale on musi też właśnie, tak jak mówisz, rozmawiać z tymi liderami, musi zastanowić jak ich działania, czy jak działania poszczególnych osób, jakie im KPI-e dać. To już wewnętrzne działy sobie wyznaczały, żeby wzrost tego KPI czy zmiana pozytywna tego KPI przełożyła się na ten pozytywny cel tego KPI głównego np. danego działu.

Patryk Szczepański: To co mówisz też bardzo fajnie pokazuje jak poszczególne zespoły na tym łańcuchu dostaw w e-commerce od wejścia produktu do wyjścia, jak to działa, bo możesz sobie rzucić fajny wskaźnik, “urośnijmy”, “sprzedajmy 20% więcej”, ale jak nie masz zakupowca, który jest sprawny, który ci to dowiezie, to nie będziesz miał czym sprzedawać. To wszystko później fajnie się składa na całą ścieżkę. Jak oni to zobaczą, to jest zupełnie inna rozmowa pomiędzy działami. Np. ja planuję akcję to idę do Krysi z działu zakupowego, powiedz mi co mam zrobić, ile potrzebujesz czasu żeby mi dowieźć ten produkt na promocję, czy w tej cenie mi dostarczysz… to już są inne rozmowy. I wtedy ta organizacja też mega ze sobą rośnie. To jest bardzo fajne też patrząc zarządczo czy organizacyjnie już na całość z góry. Więc tutaj to są te metryki, to jest mega fajne rozwiązanie.

Gdy intuicja spotyka dane: case study projektowe

Mariusz Michalczuk: Czyli masz tabelkę z kontekstami, czyli połączone dane w równym źródle. Czy możesz podzielić się przykładem jakiegoś projektu, analizy, w której dane odegrały kluczową rolę? Nie będę ukrywał, ja też kiedyś brałem udział w podcaście, to było u Arka Cierniewskiego z Automation House i on powiedział słowa, że mówi się, żeby podejmować decyzje na podstawie danych, ale on mówi, widzę, większość podejmuje na podstawie takiego good feeling, tej swojej opinii i te decyzje są dobre. To nie jest tak, że data driven firmy w 100% wszystko podejmują na danych. Nawet znowu trochę odwołując się do tej rozmowy z Tomkiem Sienkiewiczem, on tam mówił, że czasami to aż jest zbyt ortodoksyjne, że niektóre decyzje czasami trzeba podjąć bez danych, zwłaszcza jak jesteśmy startupem i coś innowacyjnego wymyślamy. Tam Tomek akurat podał przykład Ubera, że założyciele Ubera nie mieli danych, jak to działa, więc trochę to była właśnie taka rzecz opinii. Więc zakładam, że część rzeczy podejmujesz rzeczywiście na podstawie opinii, doświadczenia, jakiegoś przeczucia i to jest w porządku, ale z drugiej strony, czy mógłbyś się podzielić takimi przykładami, rzeczywiście coś wyniknęło z danych i na podstawie danych podjąłeś jakąś decyzję, czy prowadziłeś jakiś projekt?

Patryk Szczepański: Pójdę jeszcze tylko krok do tyłu odnośnie tego doświadczenia albo tego czuja, jak my to nazywamy. Ja zawsze patrzę na to, że to też są dane, które nabieraliśmy przez ileś lat. To są dane, które mamy w głowie, które miliony rzeczy, ja się zawsze śmieję, bo to jest takie porównanie, analogia do milionera z ulicy, bodajże był taki film i tam jest pokazane właśnie jak ten chłopak zdobywa ten milion, ale takimi rzeczami, które gdzieś tam go doświadczyły w życiu i on potrafił odpowiedzieć na poszczególne pytania, więc to jest dokładnie to samo. My chłoniemy te dane zewsząd, z rozmów, z obserwacji, z wywiadów, jak wprowadzamy coś na sklep i mamy wywiady z użytkownikami, to to wszystko wpływa na to, że my nabieramy tą wiedzę i to są też dane, które my później wykorzystujemy w nieświadomy sposób.

Jeżeli chodzi o takie projekty, mieliśmy projekt takiego doradcy trochę, którego zbieraliśmy i który miał podpowiadać produkty, które są dla ciebie najlepsze. Dane były zebrane, mieliśmy wszystko obliczone, ile to będzie kosztować i jakie powinniśmy mieć przy tym przyrosty, ile wdrożenie, jak długo będzie to postępowało. Po finalnym wprowadzeniu wszystko działa super, mega dużo zaangażowanych osób w cały ten proces, a jednak to nie przynosi takich rezultatów jak chcieliśmy. Zaczęliśmy szukać, okazało się po pierwsze, że mieliśmy złe dane na wejściu, czyli zabraliśmy dane historyczne z tego systemu, który był w tej pierwotnej wersji, ale one się tam źle odkładały. Jak zaczęliśmy analizować to mocniej, okazało się, że ta ścieżka jednak nie wyglądała tak, jak mieliśmy to przedstawione, tylko inaczej. Ten projekt powinien być pogrzebany już na samym początku, w ogóle nie powinniśmy do niego podchodzić, to raz.

Ale jak już podeszliśmy, zaczęliśmy szukać tego, co jeszcze możemy z tego wyciągnąć, i na podstawie tego projektu okazało się, że zebraliśmy sobie bardzo dużo danych o kliencie, bo bardzo chętnie oni wypełniali ten arkusz, później oczywiście z tego nie kupowali i z tych produktów, które były polecone. Ale zbieraliśmy te opinie, zbieraliśmy to w naszym systemie do Marketing Automation, profilowaliśmy sobie tych klientów. Później, skutkiem ubocznym tego było to, że mieliśmy możliwość targetowania i segmentowania tych osób tak bardzo dokładnie, że każda kampania przynosiła nam x razy więcej niż bez tych danych i słania tego wszystkiego do tej bazy, którą mieliśmy z tymi danymi wcześniej. Więc tutaj czasami właśnie mieliśmy czuja, że to jest dobry pomysł na to, żeby wyjść z tym, trochę to zautomatyzować już mocniej, żeby nie musiał stać po drugiej stronie człowiek, który będzie doradzał, i z tego się urodziły te wzrosty konwersji i ilości już na Marketing Automation, czy na samych newsletterach.

Więc tutaj te dane podejmowane czasami właśnie nawet błędnie, albo gdzieś tam rozmijamy się w tych danych, ale później jak sobie je przeanalizujemy można wyciągnąć z nich dużo więcej. Ale to też jest takie myślenie, że cały czas musimy myśleć o tym, bo gdybyśmy planując ten system, pomyśleli o tym, że okej, to się cashuje gdzieś i wysyłamy to i zapominamy o tym, to byłyby pieniądze stracone. Ale my sobie w tym systemie to pozaszywaliśmy w odpowiednich zmiennych, zawsze myśleliśmy o tym, żeby te dane gdzieś tam zbierać, odkładać, może się kiedyś przydadzą. I przydały się później już na tym etapie podejmowania decyzji, czy wysyłek, czy poszczególnych scenariuszy z Marketing Automation.

Podejmowanie decyzji, rozszerzanie omnichannelowych kanałów, czyli wejście do danej galerii. Jak mamy dane historyczne z innych galerii, gdzie już jesteśmy, mamy dane wejścia, wyjścia użytkowników, ilu się przetacza w poszczególne dni. Jak nam konwertuje ta liczba w danym mieście, to otwarcie kolejnego w innym mieście możemy mocno skonsolidować to i sobie przełożyć te dane, że jeżeli tyle osób wchodzi, to tyle powinno u nas mniej więcej kupować. Ten wskaźnik, bo jeżeli mamy jeszcze kilka galerii w kraju, to jesteśmy sobie w stanie uśrednić, policzyć sobie koszt wynajmu, przykładowe koszty, przychody, które możemy sobie zaplanować i biznesowo złączyć i podjąć decyzję, czy nam się to będzie opłacało, czy nam się to nie będzie opłacało. Pomijam fakty bycia w pewnych galeriach tylko po to, żeby tam być. To są też inne decyzje.

Tak samo jak się robi niektóre współprace po to, żeby zrobić zasięg, a nie zarobić na sprzedaży. Kwestia na którym etapie lejka i na którym etapie biznesowym jesteśmy. Tutaj dużo danych można przekonwertowywać, i dane w drugą stronę, czyli jeżeli mamy e-com i musimy podnieść sprzedaż o X, to mając wskaźnik konwersji jesteśmy w stanie dogadać się z agencją i wiemy ile będziemy musieli podnieść nakładów, żeby, utrzymując tę samą konwersję to osiągnąć, więc tutaj też jest łatwy sposób zaplanować sobie koszty na cały rok nawet. Jeżeli mamy zaplanowane 10% wzrostu rok do roku, to musimy podnieść koszty o X, spadną nam albo nam nie spadną nam wskaźniki ROI i ROAS-u, więc to wszystko do przeliczania. Takie kluczowe dane o wzrostach na pewno też na podstawie danych.

Mariusz Michalczuk: Super tutaj pokazałeś i w analityce bardzo często się niestety tego nie robi. Projekt był po coś, miał jakiś cel, ten cel nie wyszedł, ale poszliście dalej i zobaczyliście, że on pomógł w innym miejscu. Ja to widzę często w optymalizacji współczynnika konwersji, że jest jakaś hipoteza, że coś nie działa w serwisie, proponujemy zmianę, i później po tej zmianie okazuje się, że nie dowiozło to celu i zostawiamy w ogóle ten pomysł, tak jakby ta hipoteza była nietrafiona. Z mojego doświadczenia to jest tak, że jeżeli są dane dobre i jeżeli ktoś ma kompetencje do analizy, to hipoteza zawsze będzie słuszna. To, co może nie zagrać, to rekomendacja tego, jak zmienić ten stan faktyczny. Ja tutaj mogę się podzielić z takim, pamiętam, zwłaszcza z początku, bo optymalizowaliśmy kiedyś SAS, taki software as service i tam optymalizowaliśmy stronę wyboru pakietu. I przez przypadek w rekomendacjach jak wdrażaliśmy wersję alternatywną zapomnieliśmy, w oryginale była taka doklejka na troszeczkę wyższym pakiecie, powiedzmy były cztery pakiety i na trzecim z czterech była doklejka “to się opłaca.” I co ciekawe, zoptymalizowaliśmy ten checkout tak, że podnieśliśmy procent kupowania pakietów, tam było chyba o kilkanaście dolny procent, ale okazało się, że średnia wartość pakietu spadła nam o 30% – uwaga – tylko dlatego, że zapomnieliśmy tej doklejki, “to się opłaca.” I rzeczywiście to wyszło w analizie danych po. Normalnie jakbyśmy bezrefleksyjnie wdrożyli, to mimo, że był 15% wzrost konwersji, to w związku z tym, że średnia wartość pakietu spadła 30%, to nie było udane, jakbyśmy to wdrożyli. Więc to co fajnie powiedziałeś, że to nie ma co się poddawać, tylko albo szukać zastosowania tego projektu gdzie indziej, albo rzeczywiście przeanalizować i zastanowić się dlaczego nie wyszło. Bo tak jak mówię, jak dane są dobre, ktoś umie analizować, to to co nie działa to raczej po prostu sposób w jaki albo chcemy dane wykorzystać, albo zmienić nasz produkt cyfrowy.

Patryk Szczepański: To jest powiązane bardzo często z taką kulturą zarządzania. Jeżeli w organizacji jest otwartość na popełnianie błędów, i jest ta otwartość na wiedzę, umiejętności, doświadczenie osób, które zatrudniamy, to takie retro z każdego projektu powinno być dokonane. Nawet jak on się udał, to takie retro pozwoli nawet wyciągnąć czasami jeszcze dodatkowe elementy, które mogą dodatkowo wyjść na podstawie tej pracy, bo jeżeli się fokusujemy nad danym projektem to myślimy o tym cały czas i chcemy zrobić to dobrze, przy okazji tego wpadniemy na pomysł, albo coś się wydarzy, czego nie przewidzieliśmy. Jeżeli jest otwartość na popełnianie błędów, mamy taką świadomość, że “okej, robimy wszystko co w naszej mocy, zakładamy, że dane, które mamy są prawidłowe, pytaliśmy o to, ktoś to dostarczył”, ale ten ktoś później się przyznaje “okej, rzeczywiście, jest tak duży przeskok, że tamte dane były aż nienaturalne, na których pracowaliśmy, dobra, poszukajmy co jest” no to jeżeli ktoś przychodzi i mówi, to idealna organizacja.

Masz budżet, dowozisz, nie dowozisz, ale wyciągnij wnioski z tego. Kilka lat temu Lidl mówił o tym, że oni wyrzucili SAPa, inwestując w niego tyle pieniędzy i w którymś momencie okazało się, że on nie spełni tych oczekiwań, które oni sobie na to założyli i byli w stanie skilować projekt po mega dużych nakładach, gdzie w Polsce odniosło się to, jak można tyle pieniędzy stracić. Ale każda kolejna złotówka wkładana w to i wiedząc, że ratujemy coś, żeby ratować, żeby komuś głowa nie poleciała przysłowiowo, to też jest bez sensu dla organizacji, więc jeżeli organizacja potrafi takie coś robić, to jest przyszłościowe w podejmowaniu decyzji i rozwoju organizacji dalej i nauki takiej samoświadomości.

Mariusz Michalczuk: Podsumowując wątek popełniania błędów, ja bardzo lubię i często powtarzam słowa Nelsona Mandeli. On mówił, że “ja nigdy nie przegrywam. Ja albo wygrywam, albo się uczę.” Czyli wyciąga wnioski z popełnionego błędu i poprawia się na przyszłość. Tutaj chyba znowu to zatacza koło w takim kierunku, że to musi od liderów płynąć. Jeżeli to będzie płynęło od liderów, to pracownicy będą mieli poczucie, tak jak powiedziałeś, przecież nikt nie pracuje ze złą wolą, każdy ma dobrą wolę, i jeżeli błędy się pojawiają – gorzej jeżeli pojawiają się te same błędy, drugi, trzeci, czwarty raz, no to wtedy rozumiem, że to nie jest pożądana sytuacja – ale zakładając, że każdy ma dobrą wolę i każdemu zależy, ma cele, żeby je dowieźć, to nikt celowo tych błędów nie będzie powtarzał.

Dane strategiczne: Od sprzedaży po lejki marketingowe

Mariusz Michalczuk: Rozmawiamy o takim bardziej operacyjnym wykorzystaniu tych danych, w konkretnych projektach, konkretnych decyzjach do podjęcia. Mówiłeś, że współpracujesz z zarządem, raportujesz, rozmawiasz z tymi osobami bardziej decyzyjnymi na takim helicopter view… Z Twojego doświadczenia w podejmowaniu takich decyzji bardziej strategicznych, nie operacyjnych, tylko długofalowo w patrzeniu, z punktu widzenia e-commerce – jakie dane są najważniejsze do takiej decyzji strategicznej?

Patryk Szczepański: Opieramy się na sprzedaży, więc to co bym powiedział na początek to jest sprzedaż. Zawsze analizując co może dany projekt przynieść, możemy sobie to rozbić właśnie na sprzedaż. Sprzedaż przynosi nam użytkownik, więc jak go pozyskać, czy to wpłynie na pozyskanie większej ilości użytkowników w dany projekt, czy tutaj opieramy się bardziej na zwiększeniu konwersji. W e-comie ciężko jest wymyślać te szkoły na nowo, więc dla mnie współczynniki konwersji w zależności czy mamy Marketing Automation, newslettery, to są open rate’y, CTR’y i te wskaźniki takie główne, które są przyjęte. Ale też lubię się opierać na takich względnych danych, czyli coś w odniesieniu do czegoś, bo to nam daje spojrzenie na wpływ poszczególnych elementów na siebie i jeżeli przeliczamy sobie to, dla jednych 100% wzrostu to jest dużo, a dla innych będzie 100% mało, ale 100% w odniesieniu, nie wiem, konwersji do tej samej ilości użytkowników, to już jest potężna cyfra, a 100 osób więcej, dla jednego super, dla jednego mniej, więc to też odnośmy sobie to procentowo i wtedy też jest łatwiej podejmować decyzję.

Więc te dane bardziej sprzedażowe, z tego co żyjemy patrząc z helicopter view. Poszczególne na dole zespoły, każdy dokłada się do tego drzewka i marketing przyniesie użytkownika i tutaj byśmy dawali ten główny wskaźnik. Jeżeli masz wszystkie narzędzia do tego, żeby analizować użytkownika, to cały marketing dokłada użytkowników. Social media dołożą inaczej, influencer dołoży inaczej, newsletter dołoży inaczej, czy Adsy i perfo dołożą inaczej, więc to wszystko daje użytkownika, który później konwertuje. Teraz pytanie, z którego kanału konwertuje lepiej, z którego gorzej? To już są takie głębsze analizy, które team leaderzy wykonują. Ale rozliczasz się na przykład z team leaderami i masz średni wskaźnik dla swojego zespołu, a później widzisz które. Influencerzy mogą kosztować więcej, ta konwersja może być mniejsza, ale zasięgowo górę lejka zagospodarują dużo lepiej, więc to też na poszczególne etapy lejka później sobie to rozkładasz.

Konwertuje ci perfo i tam masz super wskaźniki, ale to jest dół lejka i jak nie zbudujesz u góry widoczności, to tam na dole może nie być. Może ile wlejesz to tam ktoś kupi oczywiście i tego zarządy czasami nie rozumieją. Trzeba u góry zainwestować, żeby na dole zebrać. I tutaj zaczyna się taka bijatyka trochę na te dane, czyli pokazujemy wzrost, oczywiście widzimy te procenty, jak ludzie konwertują na poszczególnych etapach, ile mamy zasięgu, ilu mamy użytkowników, ile mamy sprzedaży i to wszystko możemy sobie gdzieś tam na tych danych później pracować. Czyli projekty wprowadzać na podstawie tego. Ten wpływa na zasięg, na widoczność, na rozpoznawalność, a ten będzie typowo konwertował, a ten jeszcze podniesie współczynnik konwersji, bo podnosi nam użyteczność na stronie z udziałem UX. Także to patrzenie takie szerokie, jak się ma taką wiedzę szeroką, jest dużo łatwiejsze niż patrzenie szczegółowo. Jak się tego nie zrobi dobrze, nie skaskaduje się tego dobrze, to są sytuacje, że zespoły po prostu mają takie klapy na oczach jak te konie wyścigowe i idą tylko ten swój wskaźnik podnieść, a to, że grzebie działania wszystkich innych na poszczególnych etapach, to już się nie liczy. Ja mam się rozliczyć, jeżeli osoba zarządzająca takim zespołem pozwala na takie coś i nie potrafi tego zintegrować, nie potrafi im powiedzieć “okej, to robimy kampanię, ty dajesz to do kampanii, ty dajesz to, ty działasz tu, ty działasz tu, to robimy” i oni zaczynają ze sobą rozmawiać i wtedy dzieją się najlepsze rzeczy. Poszczególne wskaźniki na poszczególnych zespołach, to dramat.

Mariusz Michalczuk: Zakładam, że u was proces decyzyjny użytkownika od pierwszego kontaktu z marką do złożenia zamówienia, a jeszcze jak mówisz o salonach stacjonarnych, zakładam, że jest dłuższy niż krótszy, że u Was to jest większe wyzwanie, żeby to wszystko połapać, tę górę lejka, środek i dół lejka. Bo wiadomo, że każdy zarząd chciałby patrzeć na górę lejka, bo to jest to, co przynosi sprzedaż, ale tak jak powiedziałeś, bez tej góry do tej sprzedaży w ogóle nie może dojść. U Was jak mniej więcej wygląda, jak długi jest ten proces zakupowy, jeżeli możesz się podzielić?

Patryk Szczepański: To jest to co mówisz, czyli stworzenie tej ścieżki, dojrzewanie tego leada, docieranie do niego z poszczególnymi materiałami. Najpierw świadomościówka, później, jak czyścimy, jak dbamy o to, pytanie o zaangażowanie, jakie ma nawyki, to wszystko wpływa i go dociąga do tego ostatecznego zakupu. Ten remarketing na samym końcu to super dojrzały lead, więc wystarczy tego nie zepsuć. Jeżeli masz to zaplanowane i te poszczególne zespoły czy poszczególne osoby wiedzą jak to robić i jest to połączone tak spójnie, to to jest clue, żeby złapać tego klienta, czy to B2B, czy to B2C, dokładnie te same mechanizmy.

Ja się zawsze śmieję, że jeżeli ktoś mówi, że pracował tyle lat, oczywiście niektóre branże są specyficzne i mają tam swoje smaczki takie, które nabywasz z doświadczeniem, ale ten marketing, czy te dane wszędzie są takie same i zachowania ludzkie są takie same, oczywiście różnią się troszkę po branżach. Ale mniej więcej, jeżeli masz złapane te dane i te zachowania i wiesz jak to zrobić, to to później można tak gdzieś trochę kopiuj i wklej z dostosowaniem do branży, czy z tym, co tam masz złapane już na podstawie wywiadów z klientami, na co zwracają uwagę. To też jest bardzo duża doza informacji i wtedy sobie to przekonwertować i dbać o to, żeby tam na dole ta sprzedaż była. A że u jednych trwa dłużej, a u innych – jak ja się śmieję – to nie są bułki, ale tam też są pewne schematy zachowań. I to, że mamy w samym końcu, to wszyscy z branży wiemy, a ktoś wchodzi i musi przejść przez ten sklep cały. Ja już wiem, jak te zachowania są projektowane też nawet w samych sklepach, to wiem, że muszę i tak iść tam, żeby nie przechodzić przez te półki ze słodyczami na przykład.

Mariusz Michalczuk: Dokładnie tak. A propos właśnie bułek, swego czasu bardzo dużo szkoleń prowadziłem z optymalizacją współczynnika konwersji i pamiętam miałem taki jeden slajd, że biznes, który ma niemalże stuprocentową konwersję to jest właśnie piekarnia. Bo mało kto wchodzi żeby pooglądać pieczywo tylko jak ktoś wejdzie to kupi, pod warunkiem, że nie będzie duża kolejka. Podobnie stacja paliw. Jak ktoś już przyjeżdża na stację paliw to nie po to żeby tam wejść sobie popatrzeć co na tych półkach czy popatrzeć na dystrybutory. Dzisiaj to nawet jak zjeżdżasz to widzisz cenę. Także już trochę świadomie zjeżdżasz żeby zatankować.

Patryk Szczepański: Jak masz do następnej stacji 80 kilometrów a masz jedną po drodze to nawet się nie zastanawiasz czy to jest drogo czy nie tylko zjeżdżasz.

Mariusz Michalczuk: Tam konwersja jest rzeczywiście, pewnie są jakieś wyjątki jak zawsze, ale w przybliżeniu jest stuprocentowa. Fajnie powiedziałeś o tym, że jak jest dłuższy proces zakupowy, to zbierasz bardzo dużo informacji z każdego punktu styku z użytkownikami i to jest na pewno jakieś wyzwanie w tym, że tych danych jest bardzo dużo, na które patrzeć. A jak sobie myślisz o jakichś innych takich wyzwaniach swojego doświadczenia w organizacjach, które miałeś? Bo jedno to jest dużo danych, drugie, to ja bym dorzucił do tej ilości danych, to jest taka silosowość, to się mówi, że są dane na temat tego samego, i na przykład Adsy pokazują dane na temat konwersji, i Analytics pokazuje dane na temat konwersji, i ERP, czy tam CRM też pokazuje dane na temat konwersji, bo to jest sprzedaż. Trzy systemy na temat tego samego będą pokazywały w praktyce różne dane, nawet jeżeli definicja jest ta sama, że to jest złożenie zamówienia. To jest w mojej perspektywie takie drugie wyzwanie. Co dla ciebie jeszcze na bazie twojego doświadczenia, jakie wyzwania w tym zbieraniu, analizie, wykorzystywaniu danych w biznesie doświadczałeś, obserwowałeś?

Wyzwania w zarządzaniu danymi: od silosów po nadmiar informacji

Patryk Szczepański: To jest to, o czym wspominałeś, czyli nawet jak mamy bardzo dużo danych, to nie wiemy, co one oznaczają do końca. Więc jak są zbierane, bo ten przykład z tymi danymi z różnych paneli to jest przykład super na współpracę z agencją. Agencja będzie się rozliczała z danych z panelu, bo tam jest super, fajnie.

Mariusz Michalczuk: Adsy mają interes w tym, żeby tam było najfajniej.

Patryk Szczepański: Tak. A to, że to już schodzi i gdzieś tam się później dzieje w analyticsie i te dane są już rozbieżne, to to co mówiłem na początku, żeby z agencją się rozliczać na podstawie, tak jak sobie ustaliłeś, nawet ten panel może być ok, ale na dole i tak masz tą konwersję i to ciebie nie interesuje w sumie do końca czy ta praca agencji rzeczywiście jest jeden do jednego odzwierciedlona w analyticsie. Jak tam masz ten wskaźnik główny, KPI’owy, czyli konwersje i sprzedaż i ilość użytkowników masz okej, to to jest drugorzędna rzecz, możesz nawet nie rozmawiać z agencją, jeżeli oni wiedzą co mają robić i ustawiliście sobie wskaźnik, ROAS albo RUI na jakimkolwiek poziomie, oni to dowożą i to jest dla ciebie okej, to to jest okej. Jeżeli tam zaczyna spadać, no to wtedy możecie się spotkać i porozmawiać. To jest skrajny przypadek, ale są takie rozwiązania, że nie musisz totalnie rozmawiać, jeżeli jeszcze ci tworzą sociale czy outsourcujesz wszystko.

Ale jeżeli masz te dane i nie wiesz co za nimi stoi albo skąd jest ta różnica, bo bardzo często to jest tak, że nie wiadomo skąd jest ta różnica i jeżeli ktoś wie, to to już jest wiedza tajemna czasami. Więc co oznaczają te dane? Na podstawie danej, która wydaje się okej do tego jaką podjął decyzję albo co chcesz przeanalizować, może okazać się, że w ogóle zaczyna się rozjeżdżać w tym swoim przemyśleniu i nawet możecie swoją koncepcję, która jest prawidłowa zburzyć, bo nie jesteś w stanie dobrać danych, które są do poparcia. To jest też inna sprawa, że mamy tak dużo danych, że śmieję się, że papier zawsze wszystko przyjmie. I jak potrzebujesz poprzeć sobie jakąś tezę danymi, to znajdziesz sobie te dane, które Ci to poprą i powiesz “okej”.

Dlatego to jest ważne w tym wszystkim, żeby ta otwartość była i jeżeli nie dowieziesz, to przyjdź i powiedz, że “okej, wziąłem te dane, ale może nie wiem, były złe, albo porozmawiajmy w większym gronie, weźmy sobie analityka, który nam powie, że dobra, to jest to na pewno, w tym systemie to jest tak liczone, w tym liczone to jest tak i to są te różnice, te niuanse, które mogą rzutować na tą decyzję”. Pytanie właśnie, czy te dane są zbierane dobrze, to jest kolejne. Czyli po pierwsze, czy je zbieramy i czy wiemy co znaczą, i czy je zbieramy dobrze, czy mamy wykluczane pewne rzeczy, czy one są czyste, czy tam te rozbieżności mamy połapane, dlaczego są, skąd się pojawiają. To jest też bardzo ważne w uczeniu modelowym AI-owym, żeby te dane były wyczyszczone, klarowne, czyste i żeby tam nie było żadnych danych błędnych.

To jest połączenie ze światem biznesu, bo my sobie możemy rozmawiać, ale to docelowo później wpada w system, mamy sprzedaż, mamy koszty, mamy koszty ogólne zarządu, utrzymania tego wszystkiego i to wszystko musi działać. Jeżeli chcemy się rozwijać i np. ktoś podejmuje decyzję, jesteśmy e-commerce’em i przechodzimy na fulfillment, to dane musimy mieć, żeby to podjąć, czy to się nam będzie po prostu opłacało, ile będziemy, jak nam materiał rotuje, jak nam towar rotuje, tu mamy zespół zakupowy, czy wy dowieziecie to, czy jesteśmy w stanie rosnąć. Masę rzeczy takich, które musimy zebrać i wiedzieć, którymi danymi się posługiwać. To jest problem w zarządzaniu danymi, że tych danych jest za dużo.

Mariusz Michalczuk: To prawda. Zwłaszcza, że teraz – nawet swego czasu tak na Linkedinie napisałem – nie pamiętam tej liczby, ale że dzisiaj tworzymy, to była jakaś taka ogromna liczba, 2,5 eksabajta danych dziennie świat tworzy. Nie mówię już tylko digitalu, ale wszystkie Internet of things, samochody, po prostu wszystko ma dzisiaj czujniki. Tych danych jest niesamowicie dużo i w sumie to się zgadzam z tobą, że to chyba będzie też taka dobra kompetencja na przyszłość, żeby umieć wybierać te informacje z tego mnóstwa źródeł, które w praktyce dzisiaj mamy często po bardzo niskim koszcie dostęp do nich.

Patryk Szczepański: To jest to, o czym rozmawialiśmy jeszcze przed nagraniem, docieranie w tym, co się teraz dzieje. Wybór prawidłowej informacji będzie wyzwaniem dla ocenienienia tego, czy to jest prawidłowa dana, czy na podstawie tego mogę podjąć decyzję w świecie nieograniczonej ilości danych. Firmy, które potrafią te dane analizować, potrafią je modelować i później przekształcać na swoją przewagę USP, te będą wygrywać. Mamy Netflixa, który słynie z tego, że jak sobie zaznaczę łapkę, to wiem, że następne filmy, które mi poleci, ja będę siedział i będę dalej zaangażowany w to.

Mariusz Michalczuk: Albo Spotify’a.

Patryk Szczepański: Albo Spotify’a, tak. Ta lista dodatkowych utworów, to jest złoto. I to wszystko jest modelowane na podstawie tego, co przeglądamy, tego co ludzie przeglądają i tego, że oni potrafią to połączyć. To jest to wyzwanie, które stoi na tych osobach zajmujących się danymi i rozwijającymi te dane, więc to jest przyszłość i myślę, że coraz łatwiej będzie też to robić, właśnie te narzędzia, które to konsolidują, liczą, pokazują wykresy, pokazują jakieś trendy. AI też będzie fajnym rozwiązaniem, jeżeli byśmy wciągnęli te dane i on będzie potrafił to interpretować. Ja to zawsze mówię słowno-muzycznie trochę dane, czyli nam powie jakąś dokładną rzecz, to jak najbardziej myślę, że będzie to rozwojowo.

Kluczowe rady dla menedżerów e-commerce i marketingu

Mariusz Michalczuk: Tak, dokładnie tak. Zmierzając już ku końcowi, chciałbym trochę zmierzać w kierunku może jakichś rad, które dałbyś ze swojego doświadczenia. Bo widzę rzeczywiście, twoje przemyślenia one są mega zbieżne z tym moim doświadczeniem, gdzie w sumie moje 15 lat doświadczenia to poświęciłem tylko tym danym. Natomiast jest bardzo dużo tego styku z biznesem, to jakie rady byś tutaj zostawił słuchaczom, zwłaszcza menedżerom marketingu, e-commerce właśnie w kontekście tego wykorzystania tych danych, tych wyzwań, które mamy, od czego zacząć, co robić na co dzień, jakie są twoje tutaj zalecenia?

Patryk Szczepański: Przede wszystkim mierzyć i zbierać te dane. Dla mnie to jest absurdalne, że w niektórych organizacjach jak się wchodzi, to te dane nie są ustrukturyzowane, nie są mierzone i działamy sobie od miesiąca do miesiąca. Patrząc na biznes MŚP, jeżeli starcza takiemu founderowi, który ma sklepik od miesiąca do miesiąca, to jest okej, ale dużo wcześniej można zauważyć, że coś się dzieje, że ta tendencja zaczyna się rozmywać, czy nam zaczynają koszty rosnąć, jeżeli to mierzymy. Jeżeli nie mierzymy, to jest taka radosna twórczość, a nie biznes.

Analizować sobie dane, jeżeli nawet jest się managerem, to oczywiście te dane, które mamy kluczowe w KPI, czyli wyznaczyć sobie to nawet dla siebie wewnętrznie, żeby analizować to, co się dzieje. Ale jeżeli nawet jest się specjalistą czy juniorem, to też złapać sobie te dane, z których chciałbym się rozliczać, albo które świadczą o mojej pracy. Nawet później, jeżeli nie masz tych danych, to nie wyobrażam sobie rozmowy z juniorem, który przychodzi o podwyżkę rozmawiać ze mną i mówi, że on by chciał, ale co się udało zrobić? “Robię to wszystko, co robiłem”. To trochę gdzieś się rozmywamy. Jak ja rozumiem wpływ twój na organizację, a jak ty rozumiesz swój wkład w organizację, więc tutaj to sobie mierzyć na pewno i analizować to, co robimy. Jeżeli jesteś social media specjalistą czy juniorem, to jeżeli robisz rolki i dostarczasz content, to łap to, co działa. I powtarzaj te schematy, bo na podstawie tego możesz powtarzać schematy.

Ludzie naprawdę wchodzą. Patrzymy teraz na ruch, to głównie jest to perfo w większości e-comów, gdzieś tam jak się zaczyna na tej podstawowej pierwszej ścieżce, później gdzieś tam buduje świadomość, że mamy takie dobra, które kupujemy powtarzalnie, ale jeżeli mamy dobra, które są impulsywne i tam raz na jakiś czas, raz na 3-4-5 lat kupowane, to jest zawsze napływ nowych osób, więc one nawet nie przeskrolują tego, co było tydzień temu. Więc możesz dosłownie powtarzać schematy, w inny sposób do tego podchodzić, ale musisz wiedzieć, że to działa i że to chwyta. Więc tutaj na pewno w tym zakresie też wewnętrznie dla siebie i później idziesz i mówisz, “okej, urosłem, dzięki temu zasięgi po moim przejściu wzrosły o X%, dzięki temu mamy coś tam” i taka rozmowa już jest zdecydowanie fajniejsza pod warunkiem, że masz po drugiej stronie osobę świadomą tych danych i że ona to rozumie. Bo wiadomo jakie są style zarządzania, jak niektórzy zarządzają samymi organizacjami.

Dane zbierać i naprawdę one się potrafią przydać w najmniej oczekiwanym momencie i w najmniej oczekiwanym momencie może ich po prostu brakować, a zebranie ich może być już czasami po prostu niemożliwe. Zacznijmy od tego i już to jest duży krok, żeby się zastanowić nad tym, co zbieram, dlaczego to zbieram, co to robi i jak wpływa na mój biznes i zawsze sobie zadać to pytanie, jak to będzie wpływać na mój biznes i na którym etapie to może wpłynąć.

Mariusz Michalczuk: Mega Ci dziękuję Patryk i za te doświadczenia, którymi się podzieliłeś i za te rady, które zostawiłeś, one turbo też się zbiegają i z wcześniejszymi rozmowami i trochę z tym, co my staramy się mówić o tym, żeby zacząć, trochę tak jak z ubezpieczeniem, prawda? Autocasco nie kupujemy po to, żeby zawsze je wykorzystywać, tylko kupujemy po to, że w tym momencie, kiedy będzie potrzebne, a w biznesie takim momentem może być, że coś nie idzie, że nagle się okazuje, że zaczyna brakować gotówki na rachunku, to jest efekt jakiejś innej rzeczy i przy tej kaskadzie metryk rzeczywiście, jak będziemy mieli wypełnione danymi te metryki, to łatwo możemy po nitce do kłębka dojść do powodu jakiegoś tam niepowodzenia, tak bym to określił. Jeszcze raz mega dziękuję za Twoją obecność, za podzielenie się doświadczeniami. Mam nadzieję, że w przyszłości jeszcze przyjmiesz zaproszenie po to, żeby się już nowo nabytymi doświadczeniami podzielić. Dzięki.

Patryk Szczepański: Ja też dziękuję i mam nadzieję, że coś tam ktoś wyciągnie z tego, o czym dzisiaj rozmawialiśmy i do zobaczenia. Dziękuję jeszcze raz.

Mariusz Michalczuk: Dzięki, cześć.

Podsumowanie: Główne wnioski z rozmowy

Rozmowa z Patrykiem Szczepańskim podkreśla kluczową rolę danych na każdym etapie rozwoju e-commerce, od początków digital marketingu po strategiczne decyzje zarządcze. Patryk, z wykształcenia analityk biznesowy, pokazuje, jak jego wszechstronne doświadczenie w branży Home&Decor i FMCG ukształtowało podejście do wykorzystania danych.

Kluczowe wnioski obejmują ewolucję świadomości danych w biznesie – od początkowej trudności w ich pozyskaniu, po obecny nadmiar informacji i coraz większe zapotrzebowanie na umiejętność ich interpretacji przez decydentów. Wskazuje na znaczenie budowania kultury opartej na KPI i uczenia się na błędach, podkreślając, że dane historyczne i mierzenie wpływu każdego działania są fundamentem rozwoju.

Patryk dzieli się praktycznymi wskazówkami dotyczącymi zarządzania danymi, od wykorzystania arkuszy kalkulacyjnych do konsolidacji informacji z różnych systemów (Marketing Automation, Social Media, e-commerce) po budowanie struktury KPI Tree w organizacji. Podkreśla wartość analizy danych nie tylko w kontekście sukcesów, ale także jako narzędzia do wyciągania wniosków z projektów, które nie osiągnęły zamierzonych celów, jak w przypadku case study z „doradcą produktowym”, który mimo początkowej porażki, wygenerował cenne dane do segmentacji klientów.

Wyzwania, takie jak silosy danych i różnice w metrykach między systemami, wymagają świadomego podejścia i umiejętności wyboru wiarygodnych źródeł. Przyszłość analityki, według Patryka, należy do firm potrafiących skutecznie analizować, modelować i wykorzystywać dane do budowania przewagi konkurencyjnej. Jego rady dla menedżerów koncentrują się na konieczności systematycznego mierzenia i zbierania danych, analizowania KPI na wszystkich poziomach organizacji oraz wykorzystywania danych do konstruktywnej rozmowy o wynikach i ścieżkach rozwoju, przypominając, że dane są jak ubezpieczenie – niezbędne, gdy rzeczywiście zajdzie taka potrzeba.

The post Patryk Szczepański – Dane jakościowe w marketing automation – Date with Data Talks first appeared on Conversion.

Czego dowiesz się z tego wywiadu:
Droga Kamila Zawiślaka do analityki i CRO
Pierwsze kroki i inspiracje do pracy z danymi
Budowanie kultury CRO i testów A/B w organizacji
Framework efektywnego procesu optymalizacji konwersji
Najważniejsze praktyczne rady dla wdrożenia CRO
Zaskakujące przypadki testów A/B z praktyki
Podejście data-driven vs. data-informed
Podsumowanie: Najważniejsze wnioski z rozmowy

Droga Kamila Zawiślaka do analityki i CRO

Mariusz Michalczuk: Witam w kolejnym odcinku Date with Data Talks. Zanim przedstawię mojego gościa, zachęcam Cię do subskrypcji naszego kanału, aby nie ominęły Cię kolejne odcinki z ciekawymi gośćmi, którzy są specjalistami i zarządzają zespołami wykorzystania danych online w firmach w Polsce i za granicą. Moim gościem dzisiaj jest Kamil Zawiślak. Cześć Kamilu, dzięki, że przyjąłeś zaproszenie do naszego podcastu. Przedstaw się, powiedz kilka słów o sobie.

Kamil Zawiślak: Cześć Mariuszu, również dzięki za zaproszenie. Analityką internetową zajmuję się od przeszło siedmiu lat. Od ostatnich kilku lat, jakichś trzech-czterech, bardzo mocno jestem skupiony na temacie CRO i testów AB. Miałem okazję prowadzić zespół, który był na tym skupiony w ostatnim czasie i testy AB to dzisiaj mój główny temat.

Mariusz Michalczuk: Mówisz, że jesteś od tych kilku lat w temacie danych online. Jak ta twoja ścieżka wyglądała? Jak to się stało, że w ogóle zacząłeś w e-commerce, w online? I tu, gdzie teraz jesteś, czy jesteś odpowiedzialny za wykorzystanie tych danych? Bo chyba nie ma dzisiaj lepszej formy od aktywacji danych online niż procesy optymalizacji współczynnika konwersji. Jak to się po kolei działo? Czy to planowałeś? Czy to wyszło jakoś po drodze?

Kamil Zawiślak: Pewnie. Start w branży marketingu internetowego zacząłem jakieś 10 lat temu w agencji interaktywnej. Tam zacząłem być specjalistą od Google Ads i SEO. Pracowałem tam niespełna 5 lat. Pod koniec zauważyłem potencjał drzemiący w Google Analyticsie i w danych, które zbieraliśmy u klientów, ale nie było nikogo, kto by się tymi danymi zaopiekował i zrobił z nich użytek. Mam też krótki background UX-owy. Stwierdziłem, że fajnie byłoby zasilać dział UX-owy w te dane, żeby robić z nich użytek i wykorzystywać je na korzyść klientów i użytkowników serwisu. Mocno skupiłem się wówczas na Analyticsie, na insightowaniu, wyciąganiu wniosków i to był taki pierwszy początek większej przygody z danymi, która trwa do dzisiaj.

Później miałem okazję pracować przez ostatnie pięć lat w wakacje.pl, gdzie zacząłem pracę jako specjalista marketingu, a z czasem zająłem się właśnie analityką i po kilku latach udało się zbudować zespół skupiony tylko wokół analityki internetowej. Czyli, to mamy wtedy te 10 lat.

Mariusz Michalczuk: Szybko minęło. Czyli to taka ścieżka jest od tego, że faktycznie zaczęły się robić rzeczy związane z marketingiem online. Czy pamiętasz z tych czasów jakiś konkretny moment? No bo tak, ADS i SEO, ja to już wspominałem na tym kanale, że analityka, przynajmniej dane, na początku była domeną SEM-owców i SEO-owców. A czy jesteś w stanie przypomnieć sobie taki moment, że rzeczywiście te dane jakoś tak Ci turbo pomogły? Albo coś było dla Ciebie takie wow, bo ten UX rozumiem, że pojawił się później, po ADSach i SEO? Jak to wyglądało?

Kamil Zawiślak: Trochę w międzyczasie. Sama psychologia sprzedaży czy percepcja użytkowników, różne bajasy z tym związane zawsze były mi bliskie. W Google Ads jest dużo analizy danych: kliknięcia, współczynniki, miary, KPI. Moment, w którym najwięcej się zmieniło, to fakt, że same Google Adsy, kliknięcia i konwersje z tych reklam to było trochę za mało. Zacząłem widzieć potencjał w tym, jak wyglądają dane w Analyticsie. Pamiętam współczynnik odrzuceń i mniej trafne strony, mniej relewantne do nagłówków reklam. To był taki początek zagłębiania się w dane w Google Analyticsie.

Budowanie kultury CRO i testów A/B w organizacji

Mariusz Michalczuk: Czyli te dane były potrzebne, żeby poprawiać kampanie. Jedna strona to to, co poprawiamy off-site, żeby użytkownicy klikali w reklamy i zainteresowali się firmą. Później, jak trafią do serwisu, większą rolę odgrywał UX i stworzenie zespołu od CRO. Przeszedłeś tę drogę od pozyskiwania ruchu do optymalizacji tego ruchu. Co dla Ciebie było takim efektywnym, albo co uważasz za efektywny proces tej optymalizacji współczynnika konwersji? Mam wrażenie, że z tym CRO na rynku jest trochę tak, że wszyscy o tym mówią, a mało kto w praktyce robi, a tutaj nie mógłbym lepszej osoby wymarzyć do kanału – osoby, która rzeczywiście tworzyła te procesy i zespół, który w praktyce się tym zajmował.

Kamil Zawiślak: W perspektywie czasu pamiętam, jak kiedyś nie było na rynku zbyt wielu ogłoszeń na analityka internetowego. To były początki, gdzie analityka się rozwijała i wiele firm nie wiedziało wtedy, że potrzebuje analityka internetowego w zespole. To był taki pierwszy kamień milowy. Później podobnie było z testami A/B. W większości firm, z którymi współpracowałem, niestety do dzisiaj wygląda to często tak, że mamy pomysł i go wdrażamy. Excel często przyjmie wiele, więc post factum da się wyjaśnić sporo tych wdrożeń, ale w samych testach A/B nie chodzi o to, żeby podnosić metryki. To może trochę przewrotne, ale testy A/B są potrzebne, żebyśmy wiedzieli, czy idziemy w dobrym kierunku, czy mamy rację w swoich pomysłach, które chcemy wdrażać na serwisie.

Tworzenie tych procesów było bardzo trudne. Mamy zespół różnych specjalistów, którzy świetnie znają się na swojej robocie. Ale kiedy tworzymy osoby odpowiedzialne za optymalizację współczynnika konwersji czy testy A/B, to jest taka osoba, która na początku mówi „sprawdzam”. Te początki są trudne, bo jesteśmy osobą, która musi powiedzieć tym wszystkim ekspertom i product ownerom, że od dzisiaj będziemy walidować wdrożenia w nieco inny sposób. Na przestrzeni czasu to jest wyzwaniem, żeby tę kulturę zmienić, wprowadzać ją w firmie i starać się, żeby była głównym sposobem wdrażania. Wiele firm nie jest na to gotowych, bo wiąże się to z dużymi nakładami na narzędzia i na ekspertów. Same narzędzia, w zależności od skali ruchu serwisu, potrafią bardzo dużo kosztować licencyjnie, a wytworzenie i utrzymanie takiego narzędzia jest jeszcze większym wyzwaniem. Poza mechanizmem losującym musimy te dane później walidować i wizualizować. Skupienie się na kulturze testów A/B jest najtrudniejsze i taka osoba ma nielada wyzwanie, żeby przekonać innych w firmie, że nie chodzi o sprawdzanie każdego ich ruchu, tylko o odpowiedź na pytanie, czy to, co wymyśliliśmy, pomaga użytkownikom i w efekcie jesteśmy w stanie zarabiać więcej, bo o to chodzi.

Mariusz Michalczuk: To jest bardzo ciekawe, co mówisz i chyba bardzo prawdziwe. Testy A/B rzeczywiście są takim elementem sprawdzenia. Trochę zastanawiam się, z czego to może wynikać. Nie wiem, czy to jest społecznie u nas w Polsce, taka kultura nieomylności? No bo każdy chciałby swoją pracę wykonywać dobrze, a jak nie sprawdzi, czy robi to dobrze, to trochę to jest w jego głowie. Wydaje mu się, że robi to dobrze. Jak ci się wydaje, jak byłeś takim ewangelistą tej kultury testowania, to z czego to wynikało, że ludzie jednak się trochę temu przeciwstawiali?

Kamil Zawiślak: Lata pracy bez frameworku do testów A/B sprawiają, że podejście, wdrożenie, zmiany są trudne. Każdy chce wykonywać swoją pracę dobrze, ale jednocześnie wdrażać swoje pomysły. Fokus na wdrażanie swoich pomysłów nie pomaga w tym podejściu. Statystyki mówią, że średnio 10-15% testów A/B powodzi się, czyli finalnie mamy poprawę danej miary, którą chcieliśmy poprawić. To pokazuje, że bardzo dużo testów nie potwierdza się w danych. Czyli albo nie do końca mieliśmy rację, stawiając daną hipotezę, albo użytkownicy reagują w zupełnie inny sposób, a nasz pomysł nie do końca rozwiązuje ich problem. W samych testach A/B największym wyzwaniem jest wychodzenie od danych, fokus na użytkownika, na problemy.

Framework efektywnego procesu optymalizacji konwersji

Świetnym sposobem jest priorytetyzacja zebranych pomysłów czy powodów, z których użytkownicy mają problem. Przy priorytetyzacji idziemy od góry. Specjalista zawsze musi pilnować, żeby hipoteza była dobrze postawiona, by dało się ją zwalidować. Idealna hipoteza wychodzi od danych, mamy na to dowody, które mogą wynikać z ankiet, NPS-a, danych ilościowych, jakościowych czy CRM-owych. Mając dowody, stawiamy hipotezę, która ma banalny wzór: zmienimy na stronie X na Y, by wpłynąć na Z, i powinniśmy założyć, o ile procent wpłyniemy na daną metrykę. Większość testów nie jest po myśli inicjatora, ale z tej większości, która się nie powodzi, płynie nauka i nie ma lepszego sposobu w procesie optymalizacji niż robienie testów A/B na większą skalę. Jeżeli większość testów się nie powodzi, to rocznie musimy ich zrobić przynajmniej kilkadziesiąt, żeby efektywnie, trwale poprawić metrykę konwersji.

Niełatwo jest wielu firmom prowadzić tak wiele testów jednocześnie, czy realizować. Przyjęło się, że testy powinny trwać dwa tygodnie, ale to tylko założenie. Cały cykl powinien być zachowany. Często jakiś super pomysł wcale nie poprawia metryki. Wtedy jest masa pracy, bo KPI to jedno. Warto walidować też inne rzeczy. Kiedyś Airbnb robiło test, którym się chwalili. Airbnb nie miało mapki, która jest teraz nieodzownym elementem listingu. Specjaliści z Airbnb wpadli na to, że zrobią taką mapę, nowy listing, ale konwersja się nie poprawiła, bo na Internet Explorerze konwersja poleciała na łeb na szyję, bo mapa nie była kompatybilna z tą przeglądarką. Na wszystkich innych było in plus. Finalnie mieliśmy poprawę, ale była przykryta danymi z Internet Explorera. Diabeł tkwi w szczegółach i trzeba dane głębiej eksplorować. Hipotezy mogły się nie powieść też z powodu problemów z funkcjonalnością, które wychodzą, a normalnie byśmy tego nie zauważyli.

Mariusz Michalczuk: Chociaż Internet Explorer swego czasu był na tyle popularny. Pamiętam, jak zaczynaliśmy w latach 2010-2015, jak widzieliśmy Internet Explorera, to zwłaszcza w serwisach, gdzie dużo administracji korzystało z rzeczy państwowych. Cieszę się, że wspomniałeś o tym elemencie, że testy A/B są narzędziem do sprawdzania efektywności zmian. Ja podzielę się doświadczeniem: w toku projektów optymalizacji współczynnika konwersji, które teraz nazywamy optymalizacją doświadczeń użytkownika, na początku wdrażaliśmy czy testowaliśmy rzeczy, które były w naszej głowie, w heurystykach, dobrych praktykach. Mieliśmy taką księgę zmian, które zazwyczaj działały, ale do pewnego momentu. W pewnym momencie, tak jak mówiłeś o priorytetyzacji, dodaliśmy jedną kolumnę do scoringu, która oznaczała, czy rekomendacja płynie z dobrych praktyk, czy bezpośrednio z danych. Im bliżej danych ilościowych, tym miała większą wagę, bo dane ilościowe potwierdzały problem w większym stopniu. Wiadomo, badanie użyteczności to max 10 osób, a dane ilościowe to często setki tysięcy potwierdzające, że jakiś element nie działa. W przypadku Internet Explorera, to powinien być element Quality Assurance, ale często jest tak, że „u mnie działa”, a później w danych wynika, że coś przestaje działać.

Kamil Zawiślak: Jak najbardziej. A propos „u mnie działa”, dużo narzędzi do testów A/B ma mechanizm feature flaggingu. To jedna z dobrych praktyk a propos wypuszczania zmian na produkcję. Wiele firm zmiany oczywiście testuje, ale później trafia to na produkcję od razu na 100%. Często, jeżeli coś nie działa, gasimy światło oby tylko na chwilkę, ale czasami to trwa i kilka godzin. Awaria na serwisie spowodowana błahymi rzeczami potrafi trwać bardzo długo. Warto ten sposób na testowanie połączyć z takim podejściem, żeby nie wychodzić ze zmianami na 100%. Spotkałem się z rozwiązaniami, gdzie tak jest, ale jest sporo miejsc, gdzie nadal zmiany są wdrażane na 100%. To jest ciekawe i warte rozważenia.

A propos priorytetyzacji, o której wspomniałeś, jest ona szalenie istotna. Wyobraźmy sobie serwis z milionami użytkowników i konwersją 3-5%. W każdym teście A/B powinniśmy używać kalkulatora, który powie nam, jak duży ruch jest potrzebny, żeby stwierdzić istotność statystyczną. Sytuacje, kiedy mamy kilka zespołów produktowych, każdy z masą pomysłów, a ruch na serwisie nie jest z gumy, więc nie możemy odpalić Bóg wie ile testów. Musimy pamiętać, że część testów nie może działać jednocześnie z innym, np. kilka zmian na prezentacji oferty czy listingu. Przy kilku zespołach produktowych, framework z bazą, repozytorium i sensowną priorytetyzacją, popartą danymi ilościowymi, jakościowymi, a nie heurystykami, jest bardzo ważna. Często spotykałem się z tym, że ktoś miał super pomysł na test A/B i uważał, że zadziała, ale nie było przestrzeni w danym momencie, żeby to przeprowadzić i sprawdzić. Sposobów na priorytetyzację jest kilka. Można opierać się na frameworku ICE (ważność, łatwość wdrożenia), ale są one trudne. Idealnie, jeżeli w zespole mamy kompetencje i jesteśmy w stanie z deweloperem ocenić koszt wdrożenia. Wówczas mówimy o pełnym zakresie priorytetów. Najgorzej jest, jeżeli biznes sam ocenia łatwość wdrożenia, nie wiedząc, ile to potrwa.

Mariusz Michalczuk: Trochę za późno wtedy na priorytetyzację.

Najważniejsze praktyczne rady dla wdrożenia CRO

Mariusz Michalczuk: Zanotowałem sobie dwie rzeczy z dobrych praktyk: Quality Assurance i priorytetyzacja. Co jeszcze byś dodał do efektywnego procesu CRO? Jakieś wskazówki dla osób, które chciałyby odpalić ten proces, albo które już to robią, ale niekoniecznie im wychodzi.

Kamil Zawiślak: Zdecydowanie wprowadziłbym zasadę: nie patrzymy na konkurencję. To zasada, która ma duże poparcie w tym, co teraz powiem. Nie wiemy, czy konkurencja dany element ma dobrze zoptymalizowany, czy on działa w ogóle. Co gorsza, czy tam nie jest prowadzony jakiś test A/B. Skupimy się, skopiujemy, czyli poniesiemy koszt, a skopiujemy rozwiązanie, bo niestety nadal kopiujemy, często projektując interfejsy, rozwiązanie, które finalnie nie wejdzie w ogóle na produkcję. Patrzenie na konkurencję jest bardzo niebezpieczne z tego względu, że z jakiegoś powodu ci użytkownicy kupują tam, a nie u nas.

Drugi powód: nie powinniśmy pytać użytkowników, co zmieniliby w serwisie. To uwaga do osób projektujących, ale to też są ludzie, bez których proces CRO nie miałby miejsca. Najgorzej, jeżeli projektant pyta w badaniach czy na prototypowaniu „co, drogi użytkowniku, zmieniłbyś w ramach naszego serwisu?”. Taki użytkownik będzie mówił o zmianach przez pryzmat innych stron, z których korzysta. Mogą być konkurencyjne, ale mogą być zupełnie inne, więc będzie mówił o swoich doświadczeniach i będzie to tylko kilka głosów.

Mariusz Michalczuk: Pewnie się nie będzie różniło tym, co my sami, prawda? Tak jak jest podejmowanie decyzji o zmianach na podstawie jakiegoś swojego doświadczenia versus danych, tak jakbyśmy brali pod uwagę jednego użytkownika, to bierzemy jego, a nie nasze doświadczenie, czyli to praktycznie za dużo się nie różni, nie?

Kamil Zawiślak: Dokładnie. I w tej sytuacji skupiamy się na jakimś rozwiązaniu, nie rozumiejąc tak naprawdę problemów w danej części serwisu. Jeżeli w ten sposób będziemy podchodzić do CRO, to będziemy projektować gorsze rzeczy, w mojej ocenie, które później w testach bardzo często nie wychodzą. To co jeszcze mogę dodać to „testujmy” – to jest kontrowersyjne z punktu widzenia osób, które chcą zrobić coś dużego, dużą zmianę. Czasami nie da się inaczej z powodów technicznych czy infrastrukturalnych, kod jest przestarzały i musimy wprowadzić dużą zmianę. Ale to bardzo często wiąże się ze spadkiem konwersji na początku i odbudową, zaczęciem procesu od zera, bo na nowo musimy zrozumieć użytkowników. Na to często nie ma czasu, bo zaraz trzeba wdrażać nowe projekty, a my mamy masę pytań, dlaczego ta metryka poleciała, a my nie wiemy, bo wprowadzono bardzo dużo zmian na serwisie. Klienci mają swoje przyzwyczajenia i często redesign nawet testowany z użytkownikami to duża zmiana i użytkownicy muszą przyzwyczaić się od nowa. Część nawet odejdzie do konkurencji, bo zmiana może być drastyczna. Testujmy jak najmniejsze zmiany w serwisie, nawet subtelne, copywritingowe mogą poprawiać konwersję.

Nie trzeba od razu przewracać do góry nogami designu czy layoutu. Nawet jeżeli mamy za cel duży redesign, w mojej ocenie najlepszym podejściem jest zaprojektowanie layoutu, ale wdrożenie go w taki sposób, abyśmy mogli elementami podmieniać dzisiejszą stronę i w ten sposób testować i nie przywiązywać się do zaprojektowanego layoutu, bo dane powinny pokazywać, w którym kierunku powinniśmy pójść. Są w Polsce serwisy, które zmiany nawet w layoucie testują na 1% ruchu na konkretnej stronie produktu, bo totalnie nie wiedzą, przy skali użytkowników, co zrobi użytkownik. Warto pamiętać, że cały czas jesteśmy tylko ludźmi, którzy mogą się mylić, więc testy A/B są po to, żeby pomagać, a nie walidować. Jest współczynnik success rate testów i warto go optymalizować poprzez rozwój zespołów produktowych, czyli kompetencji do testów A/B. W ramach tej metryki możemy mówić, że dziś mamy 20% testów, które się powodzą, chcemy to poprawiać. Ale to potrafi być zwodnicze, bo można wtedy oczywiste rzeczy testować i iść w tym kierunku, że success rate mamy super, ale konwersja finalnie nie rośnie, bo skupiamy się nie na tych priorytetach. To jest rada w opozycji do potrzeb dużych firm, gdzie projekty muszą się dziać. Tu mówimy o kulturze testów A/B w firmie, żeby framework testowania był integralną częścią procesu wytworzeniowego. Przykład Amazonu, który w Polsce budzi kontrowersje jako serwis, pokazuje, że to najlepsza droga. Sam serwis Amazonu, jest taki timelaps na YouTubie, który pokazuje, jak zmieniał się na przestrzeni dziesięciu, może dwudziestu lat. Widać, że część rzeczy wycofywano, wracano do starego layoutu w niektórych miejscach i ten serwis nigdy nie przeszedł dużego redesignu, ale zawsze testowane są tam małe zmiany. To super podejście. Warto też wspomnieć o case study firmy Marks & Spencer, która w Wielkiej Brytanii przeprowadziła bardzo duży, kosztowny redesign. Po redesignie straty były ogromne i przyznano się, że proces przeprowadzono źle. To przykład tego, jak można stracić.

Mariusz Michalczuk: Ja też mam podobne doświadczenie. Komentarz do redesignu: nawet jakieś dwa czy trzy tygodnie temu pojawił się u nas odcinek o tym, jak wykorzystać dane do redesignu. Czasami to po prostu decyzja z góry, czasami konieczność ograniczona technologią, zmianą strategii. Jeżeli to nie jest konieczność, jestem fanem podejścia, o którym mówisz. Testujmy mniejsze rzeczy, sprawdzajmy, czy faktycznie działają. Redesigny są kosztowne, opóźniają się, przekraczają budżety. Z mojego doświadczenia, byłem przy kilkunastu redesignach, analizowałem dane. Może jeden, może dwa od razu po wdrożeniu nie miały mniejszego współczynnika konwersji niż wersja poprzednia. Najczęściej to był spadek, który potrafił wracać do poziomu zero przez pół roku. To zależało od grupy użytkowników. Pamiętam, testowaliśmy sklep zoologiczny, gdzie to charakter biznesu, który dokładnie wie, kiedy karma się kończy. Jak wyszedł newsletter przypominający „hej, kończy się karma, zamów nową”, ktoś wchodził, widział zmieniony serwis, był przerażony i wtedy nasza wersja od razu dostawała po performance’ie.

Kamil Zawiślak: Dokładnie tak. Tu fajny element: w ramach różnych testów A/B widziałem rozwiązania, które właśnie z konkretnego źródła ruchu miały dużą poprawę współczynnika, a ogólnie performowały słabiej. Myślę, że warto poza posiadaniem eksperta w firmie od A/B testingu czy CRO, który poza umiejętnościami analitycznymi łączy świat biznesowy i rozumie użytkowników, bo to posada związana z danymi tylko na poziomie narzędzi, ale experience użytkownika jest bardzo istotny i aspekt biznesowy, żeby te światy połączyć.

Zaskakujące przypadki testów A/B z praktyki

Mariusz Michalczuk: Z testów, pewnie w dziesiątkach, jeśli nie w setkach, które przeprowadziłeś, czy mógłbyś przytoczyć jakieś ciekawostki? Nie zachęcam do tego, żeby ktoś, kto słucha case study, brał w ciemno jakieś rzeczy, bo to zadziałało w jego serwisie, w jego grupie docelowej. Ale czy jakieś masz takie rzeczy, które Cię zaskoczyły z tych danych? Czy coś Ci przychodzi do głowy?

Kamil Zawiślak: Niestety dla hipotez czy ich pomysłodawców, ale często spotykałem się z tym, że na bazie przeprowadzonych testów, w ciemno nie do końca wierzyłem w jakąś zmianę. Dlatego, że często te hipotezy, w ich podwalinach, było troszeczkę kopiowanie konkurencji. A to kopiowanie konkurencji często ma krótkie nogi, bo to tam działa, u nas może w ogóle nie zadziałać. Bardziej zaskoczeni bywali ci, którzy przychodzili z tymi pomysłami, ale to była duża nauka dla nich. Pamiętam jeden test A/B, gdzie w czasach, w których w Bookingu wyświetlały się komunikaty, że „ten hotel kupiło już pięć osób”. Później jak mantra na rynku zaczęły pojawiać się takie rozszerzenia, które pokazywały to samo. Booking dostał sowitą karę, bodajże na Węgrzech, i mam wrażenie, że wtedy te rozszerzenia do e-commerce’ów zniknęły z rynku. Podobne rozwiązanie testowała jedna firma i tam okazało się, że to pushowanie klienta, bo to były drogie produkty, totalnie nie miało sensu, a lekki, dobry komunikat z punktu widzenia użytkownika, gdzie mówiono o zainteresowaniu, że „tym produktem interesuje się bardzo dużo osób”, miało zupełnie inny wydźwięk. Można to porównać do opinii, na których często bazujemy jako użytkownicy. Jeżeli firma mówi nam na bazie danych, że tym produktem interesuje się wiele osób, to mam jasną informację, że produkt jest popularny. Ale w sytuacji, kiedy dostaję twardy komunikat „ten hotel już kupiło pięć osób”, to oczywiście efekt ma być taki, że robimy ten efekt trochę, że zaraz tego nie będzie, dostępność jest bardzo niska, ale można sobie zrobić bardzo dużą krzywdę. I duża firma mogła sobie na rynku krzywdę dodać to rozszerzenie do e-commerce’u.

Mariusz Michalczuk: Tak, ja też widziałem, przypomniałeś mi o tym trendzie. Odnośnie popularności, to nie jest wyznacznik, ale myślę o sobie, jaki filtr najczęściej na Allegro wybieram – ja najczęściej wybieram popularność. Chociaż nie jestem przekonany, czy to rzeczywiście działa wobec liczby zakupów, ale widać wyżej te, które mają większą liczbę opinii, a liczba opinii jest jednak skorelowana z liczbą zakupów.

Kamil Zawiślak: W większości dużych e-commerce’ów już dzisiaj działa dużo algorytmów, które wiedzą, co wyświetlać wyżej użytkownikowi. Dopóki to jest dobre dla użytkownika, bo w danym świecie pewnie jest to zważone liczbą zwrotów. Czyli mamy element customer experience, gdzie nie promujemy produktów, które wracają do nas z oświadczeniem nietrafności. Popularność może często być też pomocna. Ja mam nieco inną technikę. Bardzo często sortuję po cenie, ale po to, żeby zobaczyć, jaki jest najdroższy produkt w danej kategorii. Żeby złapać taki punkt odniesienia, gdzie są widełki i sobie wtedy wypośrodkować. Nie chcę tego najtańszego za 300 złotych, ale i tego najdroższego za 800. Szukam wypośrodkowanego. Często się łapię na tym, że w ten sposób filtruję wyniki, jeżeli jest ich dużo. Ostatnio kupowałem pralkę i totalnie nie wiedziałem, a nie chciałem ufać popularności, jak na to patrzą sklepy. W ten sposób najczęściej działam.

Podejście data-driven vs. data-informed

Mariusz Michalczuk: Dziękuję Ci za wiele cennych wskazówek. Chciałbym jeszcze skorzystać z Twojego dziesięcioletniego doświadczenia, zaczynając od reklamy online przez zarządzanie i tworzenie działów analityki internetowej. Powiedz mi, na przestrzeni Twojego doświadczenia, jakie różnice widzisz w podejściu do danych bazując na firmach, w których pracowałeś? Tu bardziej zwracam na element, na metryki, analizy. Wiem, że w pewnym momencie przeszedłeś bardziej w kierunku optymalizacji współczynnika konwersji, ale zakładam, że zawsze inne dane online dotyczące marketingu i biznesu gdzieś tam się pojawiały.

Kamil Zawiślak: Jasne. Przypomina mi się ten moment, kiedy wszystkie firmy mówiły, że jest rok mobile i trzeba się optymalizować pod mobile. Ten rok trwał lata, a do dzisiaj trwa. Ale w pewnym momencie był taki buzzword w postaci data-driven. Wiele firm zaczęło twierdzić, że jest data-driven. Wychodziło to lepiej lub gorzej, ale w ramach testów A/B i tego, jak przez różne pryzmaty na te dane trzeba patrzeć, bo nie można ślepo zaufać, że mamy tę istotność lub nie mamy, bo to bywa różnie. Kiedyś miałem test, gdzie istotność była wysoka, a okazało się, że w wariancie A popsuto wyświetlanie danego elementu, dlatego wygrało. To był kontekst konkretnej rozdzielczości. Sesje wykosiły i to w wariancie A, to było zabawne.

Mariusz Michalczuk: Czyli jakby kodowano wariant alternatywny, ale przy okazji poszło coś nie tak w wariancie oryginalnym.

Kamil Zawiślak: Tak, tak. Jakieś globalne CSS-y zaktualizowano. Więc na te dane trzeba patrzeć bardzo mocno przez różne pryzmaty. To data-driven zamieniłbym bardziej na data-informed. Powinniśmy używać dalej tego, czego potrzebujemy od biznesu, czego potrzebują użytkownicy i korzystać z tych informacji, z danych. Z tym jest różnie. Część firm wykorzystuje dane, płynące z nich wnioski, insajty, które tworzą analitycy, a część ślepo ufa konkretnym metrykom i wdraża rozwiązania. Idziemy przez wdrażanie bez sanity checku poprzez data-driven, a pewnie skończymy za jakiś czas na trendzie, który jest już opisywany jako lepsze rozwiązanie, ale wymagające eksperckości, wiedzy domenowej, bo tak powinniśmy do tego podchodzić.

Mariusz Michalczuk: Czyli tak trochę podsumowując, żeby dawać refleksję osobom odpowiedzialnym za dziedziny, że nie wszystko musi być: wysyłamy mailing, to najpierw zróbmy test A/B, wdrażamy zmianę, zróbmy test A/B, prowadzimy kampanię, przeanalizujmy ją do cna, żeby poprawić wszystkie elementy… Tylko żeby udostępniać i dawać dane, najlepiej jeszcze z jakimiś hipotezami, żeby dać taki punkt zastanowienia użytkownikowi, tak? Dobrze to odczytuję?

Kamil Zawiślak: Tak, dobrze. Decyzja o wdrożeniu danej zmiany jest zawsze po stronie product ownera czy product managera, w zależności od firmy. W sytuacji, kiedy mamy test A/B lub po prostu bez testu mamy jakieś metryki, i one świadczą o tym, że jest lepiej lub gorzej, to jeżeli jest gorzej, to nie wdrażamy, a jak jest lepiej, to lecimy z tym na produkcję – to jest wtedy podejście data-driven. A data-informed, to mamy te dane i my decydujemy, czy wdrażamy, czy nie. Zdarza się, że jeżeli nie ma nawet istotności, ale jest to istotne z punktu widzenia strategii czy zmian, które przyjdą za chwilę, to i tak to wdrażamy. Dalej na bazie danych próbujemy sobie z tym radzić. Uważam, że to gdzieś za jakiś czas będzie kierunek. Dzisiaj większość firm mówi, że jest data-driven, zbieramy bardzo dużo danych. Pamiętam w wakacje.pl w sezonie zbieraliśmy nawet 600 milionów eventów sumarycznie, miesięcznie. To były ogromne wolumeny, które pozwalały na szeroką analizę. Tych danych było bardzo dużo, ale te decyzje nie zawsze jednoznacznie z danych powinny wynikać. Chociażby wracając do Airbnb: gdyby było tylko data-driven, to zerojedynkowo test nie do końca się powiódł, nie wdrażamy. Ale zagłębiając się dalej, mamy inne wnioski i decydujemy, poprawiamy tam, gdzie coś nie działało i finalnie też wychodzimy z tym na produkcję.

Podsumowanie: Najważniejsze wnioski z rozmowy

Mariusz Michalczuk: Super. Kamilu, zbliżamy się do końca, także chciałbym to podsumować, że, za twoją ostatnią myślą, nieważne, czy dane będą elementem decyzyjnym, ważne, żeby były w ogóle w jakimkolwiek procesie zmian, czy to po stronie akurat twojego doświadczenia więcej po stronie produktu niż marketingu. Może miałbyś jakąś jedną myśl, albo coś Ci takiego świta na podstawie tej rozmowy, biorąc pod uwagę, najwięcej o tym CRO rozmawialiśmy, czy chciałbyś jakąś taką jedną myślą zostawić naszych słuchaczy?

Kamil Zawiślak: Tak, faktycznie rozmawialiśmy najwięcej o samych testach A/B. Ten wątek jest naprawdę szeroki. Jeżeli chcemy zatrudnić kogoś od CRO, to w pojedynkę ta osoba nic nie zrobi w firmie. Potrzebuje zespołów, które muszą się rozwijać. Te kompetencje trzeba pielęgnować wśród pracowników na różnym szczeblu: od deweloperów, po UX-owców, po grafików, po osoby projektujące layouty. Dajmy przestrzeń ludziom od CRO, żeby mieli czas i mogli zasilać zespoły w efekty swoich analiz. I żeby te zespoły mogły się rozwijać z testów A/B, które się nie powodzą. Nie ma tutaj co się martwić i smucić. Powinniśmy z nich wyciągać wnioski po to, żeby nasze rozwiązania były lepsze. Nie wyobrażam sobie sytuacji, że ktoś, kto pracuje nawet w różnych firmach, ale bez tej kultury testowania A/B, będzie powielał rozwiązania, które działają gorzej. Z drugiej strony mamy osobę, która pracowała krócej, ale w tym podejściu i się rozwija i wie, że coś nie działa tak, jak by sobie tego życzyła. Rozwijajmy te kompetencje, nie skupiajmy ich wokół jednej osoby, ale rozwijajmy je w całych teamach produktowych.

Mariusz Michalczuk: Super. Ja jeszcze taką klamrą bym to domknął. Bardzo lubię cytat Nelsona Mandeli, też w kontekście testów A/B, który mówi „Ja nigdy nie przegrywam. Ja albo wygrywam, albo się uczę”. Myślę, że to może być dobre podsumowanie tej rozmowy. Kamilu, dziękuję Ci bardzo za czas i za mega doświadczenie i podzielenie się tym doświadczeniem i wiedzą. Do następnego razu. Myślę, że ten temat jest tak szeroki, że jeszcze chętnie za jakiś czas powtórzymy i go pogłębimy. Dzięki wielkie za rozmowę i za czas.

Kamil Zawiślak: Super. Ja również dziękuję. Mam nadzieję, że ktoś z tego skorzysta, co powiedziałem.

Mariusz Michalczuk: Zdecydowanie. Do zobaczenia. Cześć.

Kamil Zawiślak: Dzięki. Cześć.

Rozmowa z Kamilem Zawiślakiem to praktyczny przewodnik po wdrażaniu testów A/B i kultury optymalizacji konwersji w nowoczesnej organizacji. Kluczowe wnioski:

• CRO i testy A/B wymagają zmiany mentalności firmy, współpracy różnych działów i otwartości na uczenie się z porażek.
• Efektywność optymalizacji konwersji opiera się na dobrze postawionych, opartych na danych hipotezach oraz priorytetyzacji wdrożeń zgodnie z rzeczywistymi problemami użytkowników.
• Nie kopiujmy konkurencji – każde rozwiązanie trzeba sprawdzić na własnej grupie odbiorców.
• Małe, iteracyjne zmiany przynoszą stabilniejszy i większy wzrost niż ogromne, ryzykowne redesigny.
• Podejście data-informed, łączące liczby z wiedzą zespołu i kontekstem biznesowym, daje najtrwalsze efekty.
• Kultura testów A/B rozwija kompetencje całego zespołu produktowego – nie polegajmy tylko na jednostkach!

The post Jak zorganizować proces optymalizacji współczynnika konwersji (CRO) – rozmowa z Kamilem Zawiślakiem – Date with Data Talks first appeared on Conversion.