O ból głowy w pierwszej kolejności przyprawia zwykle trud skoordynowania wszystkich etapów procesu testowania: od burzy mózgów przez wybór oprogramowania aż po analizę wyników.
I choć przeprowadzanie testów A/B nie jest tak łatwe, jak uważa większość ludzi, nie jest też przerażająco trudne. Warto poświęcić trochę czasu na wdrożenie dobrze skonstruowanych, sprawdzonych schematów przeprowadzania testów A/B. Każdemu w branży e-commerce wyjdzie to zdecydowanie na dobre.
W tym przewodniku dajemy Wam prosty przepis, jak przeprowadzać testy A/B.
Będziecie mogli także przeczytać o typowych błędach, obejrzeć niektóre z życia wzięte studia przypadków i poznać praktyczne, konkretne wskazówki, które elementy witryny (i poza witryną!) należy przetestować.
Oto, co znajdziesz w tym artykule:
Co to są testy A/B?
Jak przeprowadzać testy A/B: przegląd informacji
1. Analiza
2. Pomysły na poprawę (formowanie hipotez)
3. Prototypowanie i design
4. Kodowanie i test
5. Wyniki
Jak obliczyć wielkość próby dla testu A/B?
Które elementy karty produktu warto przetestować?
11 najczęstszych błędów przy testach A/B
Przegląd najlepszych narzędzi wspomagających testy A/B w e-commerce
Testy A/B w e-commerce – studia przypadków (case studies)
1. Budapester
2. Reserved
3. 4F
Wnioski
Zaczynajmy!
Testy A/B polegają na przedstawianiu użytkownikom dwóch (lub więcej) różnych wersji określonych treści – reklam, e-maili, stron internetowych etc. – w celu identyfikacji najlepiej działającego wariantu. Często jedyną różnicą pomiędzy obiektami testowymi jest pojedynczy element, taki jak nagłówek, CTA (ang. Call-to-Action, dosł. wezwanie do działania), obraz, tekst etc. Testy A/B można przeprowadzać jednak nawet między dwoma zupełnie różnymi rodzajami treści, takimi jak reklamy na Facebooku, e-maile marketingowe, a nawet całe procesy sprzedaży.
Co więc zwykle reprezentują warianty „A” i „B” w testach A/B? Przy każdym teście potrzebna jest próba kontrolna. Wariant „A” stanowi zatem zazwyczaj wersję oryginalną lub bieżące wyniki. „B” to wariant, którego wyniki porównasz z opcją „A”.
Powiedzmy na przykład, że na kartę produktu zagląda dziennie kilkaset osób. Decydujesz się na uruchomienie testu A/B, w którym dodasz powiadomienie o tym, że dostawa zostanie zrealizowana już następnego dnia tuż obok przycisku „Dodaj do koszyka”. Korzystając z oprogramowania do testów A/B tworzysz niemal identycznie wyglądającą stronę z tą jedną drobną zmianą, dzielisz ruch równo między obie strony i mierzysz wyniki. Bieżąca strona to obiekt testowy „A”. Jej nowy wariant to obiekt testowy „B”.
Możesz też przygotować promocyjną kampanię e-mailową, w której przekierujesz swoich subskrybentów na stronę docelową, aby otrzymać darmowy prezent. Zbudowałeś dwie strony docelowe – „A” i „B” – ale chcesz zobaczyć, która z nich przyciąga więcej uczestników. Ponownie korzystając z oprogramowania do testów A/B przekierujesz połowę ruchu na stronę „A”, a połowę na stronę „B”. Nawet jeśli nie dysponujesz żadnymi wcześniejszymi wynikami, „A” zostaje wówczas Twoją wersją kontrolną, a „B” jej konkurentem.
„Testowanie wielowymiarowe” działa na tej samej zasadzie, ale obejmuje testowanie wariantów zawierających wiele zmian. Celem jest określenie, która kombinacja zmiennych działa najlepiej. Dla przykładu: za pomocą testu A/B możesz określić, czy przycisk CTA działa lepiej w wariancie zielonym czy czerwonym. W teście wielowymiarowym możesz zmienić jednocześnie kolor i tekst CTA. Wprowadzenie dwóch zmiennych spowoduje utworzenie czterech wariantów:
Zaletą testów wielowymiarowych jest to, że eliminują potrzebę przeprowadzania wielu testów A/B jeden po drugim. Minusem jest to, że warunkiem koniecznym jest bardzo duży ruch na stronie (o który szczerze powiedziawszy trudno w polskich realiach).
Przyjrzyjmy się podstawowej formule przeprowadzania testów A/B. Na tym etapie nie przejmuj się zbytnio technicznym aspektem testów. Istnieje szeroka gama narzędzi usprawniających i automatyzujących wszystkie ich etapy, od tworzenia strony po interpretację wyników. W dalszej części przedstawimy pokrótce najlepsze aplikacje i rozwiązania.
Testy A/B są zwykle wykonywane „on-site” (w obrębie witryny) lub „off-site” (poza nią). Testy w obrębie witryny obejmują takie jej elementy jak karty produktów, strony docelowe, formularze płatności etc. Mogą być one również przeprowadzane dla aplikacji – jeżeli masz aplikację mobilną pozwalającą robić zakupy czy dającą dostęp do programów lojalnościowych. Zasadniczo testy on-site dotyczą każdej strony w witrynie, która ma pojedynczy cel i odpowiadający mu podstawowy CTA.
Testy off-site obejmują różne typy reklam (zwłaszcza tych płatnych), e-maile, posty w mediach społecznościowych, powiadomienia etc.
Niezbędne jest przeprowadzenie testów w tym samym czasie na takiej samej wielkości próby. Wielkość próby i długość okresu testów to dwie najważniejsze zmienne, które mogą zniekształcać wyniki. Nie można wysnuć żadnych logicznych wniosków porównując wyniki dwóch wariantów, jeśli jeden z nich był testowany – na przykład – w Halloween, a drugi w Dzień Matki.
Wykonaj opisane poniżej kroki, aby uporządkować strukturę testów A/B:
Na tym etapie powinieneś zdefiniować swoje cele i określić, które elementy strony chcesz przetestować.
Cele będą kręcić się wokół zwiększania kluczowych wskaźników konwersji, przy czym pod słowem „konwersje” należy rozumieć kliknięcia, rejestracje lub transakcje. Możesz wybrać jeszcze „szersze” mierniki sukcesu, jakimi są zaangażowanie użytkowników lub zasięg, szczególnie podczas testowania reklam. Bez względu na specyfikę przypadku potrzebny jest jednak jasno określony wskaźnik, za pomocą którego będzie można zmierzyć względny sukces lub niepowodzenie badanych wariantów.
Gdy obierzesz już cel, powinieneś zbadać i ustalić priorytet testów, jakie zamierzasz przeprowadzić. Sprawdź, które elementy witryny (karty produktów, strony kategorii, formularze płatności etc.), są kluczowe dla osiągnięcia Twoich celów, a następnie określ, które z nich odznaczają się największym potencjałem poprawy. Zidentyfikuj strony mające wysoki wskaźniki odrzuceń (ang. bounce rate) lub porzuceń (ang. abandonment rate) oraz te odznaczające się niezwykle niskimi konwersjami czy zaangażowaniem użytkowników.
Po zidentyfikowaniu stron, które są jednocześnie istotne i mają potencjał, powinieneś uszeregować je według łatwości, z jaką możesz przeprowadzić testy. Najlepiej – zwłaszcza przy wdrażaniu zupełnie nowej strategii – zacząć od najprostszych zadań, przechodząc do coraz bardziej złożonych testów w miarę zdobywania większej ilości danych. Ta metoda pozwala zazwyczaj osiągnąć największe zyski w najkrótszym czasie.
Jako element testów możesz wybrać CTA (ang. Call-to-Action, dosł. wezwanie do działania), nagłówek tekstu reklamowego, obraz na stronie docelowej (ang. landing page), temat wiadomości e-mail lub post w serwisie społecznościowym informujący o aktualnej promocji. Najważniejsze, aby pamiętać, że przedmiotem testów powinien zostać jeden element, z pozostałą częścią niezmienioną. Wyjątkiem od tej reguły jest testowanie dwóch niezależnych wariantów, np. strony docelowej lub całej ścieżki sprzedaży, na które składają się unikalne wiadomości czy podstrony.
Gdy podejmiesz już decyzję, które elementy serwisu nie działają poprawnie, powinieneś przeprowadzić burzę mózgów i stworzyć hipotezy.
Zadaj pytanie: „Jakie zmiany mogą zaowocować lepszymi wynikami stron i dlaczego?”
Hipoteza polega na ocenie, dlaczego strona lub element nie działają tak dobrze, jak mogą i w jaki sposób można to poprawić. Test A/B to zasadniczo weryfikacja tak postawionej hipotezy.
Można na przykład stwierdzić, że obecne CTA karty produktu nie wyróżnia się wystarczająco, a odwiedzający mogą mieć problem z jego odnalezieniem. Sposobem rozwiązania tego problemu mogłoby być użycie bardziej jaskrawego koloru przycisku CTA.
Najlepszym sposobem formułowania hipotez jest użycie następującego, prostego szablonu:
Jeśli…, to…, ponieważ….
Zerknijmy na przykład:
Jeśli informacje o niskim stanie zapasów zostaną dodane do kart produktów obok CTA, to wskaźnik konwersji do koszyka (ang. add-to-cart rate) (a tym samym współczynnik konwersji) wzrośnie, ponieważ elementy budowania pilnej potrzeby skłaniają użytkowników do podjęcia działań.
Po sformułowaniu hipotez wiele osób od razu zabiera się za organizację testów. Ważne jest jednak, aby prawidłowo przeprowadzić burzę mózgów i zweryfikować różne opcje designu, upewniając się, że zaangażowany został cały zespół, a każdy pomysł wzięto pod uwagę.
Najlepiej rozpocząć od stworzenia luźnych ram proponowanych zmian, starając się wykreować tak wiele propozycji, jak to możliwe. Po rozstrzygnięciu, które z nich wydają się najbardziej obiecujące, możesz utworzyć ostateczne prototypy do celów wdrożeniowych.
Zacznij od obliczenia wielkości próby. „Wielkość próby” to liczba wejść na stronę, który musisz wygenerować, aby móc jednoznacznie stwierdzić, że różnice pomiędzy wynikami nie są przypadkowe. Omówimy ten temat bardziej szczegółowo w następnym podpunkcie. Jeżeli na ten moment na określoną stronę spływa dosyć niewielki ruch lub jest ona dopiero w fazie rozwoju, zawsze możesz sprowadzić więcej ruchu.
Następnie, mając przyszykowane niezbędne podstawy, możesz wybrać odpowiedni zestaw narzędzi i rozpocząć testy. Narzędzia powinny zostać dopasowane do potrzeb. Do testowania pojedynczych elementów strony zazwyczaj wystarczy prosty edytor WWW. W przypadku bardziej złożonych testów A/B, jak na przykład przy porównaniu zupełnie różnych ścieżek sprzedaży, potrzebne mogą okazać się bardziej zaawansowane narzędzia. Istnieje także specjalne oprogramowanie do e-mail marketingu i przeprowadzania kampanii reklamowych, które umożliwiają prowadzenie testów A/B.
Jeżeli dysponujesz zespołem programistów do implementacji kodu na stronie, projekty stworzone w poprzednim kroku okażą się w tym momencie nieocenione.
Po zakończeniu testu możesz ocenić wyniki i sformułować nowe hipotezy dla następnych testów A/B. Analiza wyników ma dwa główne cele: poznanie zwycięskiej opcji oraz wygenerowanie nowych pomysłów na testy. Czasem wyniki mogą okazać się niejednoznaczne i prowadzić do zmiany czy nawet porzucenia oryginalnych hipotez. Zdarzają się też jednak wyniki na tyle znaczące, że w ich rezultacie zdecydujesz się przeprowadzić podobne testy także na innych, powiązanych stronach, lub wypróbujesz jeszcze bardziej zaawansowane zmiany w oparciu o pierwotny projekt.
Testy A/B warto traktować jako element strategii długoterminowej. Najlepiej dążyć do wprowadzenia licznych drobnych zmian w przeciągu wielu tygodni czy nawet miesięcy. Zapewni to nieustanny i znaczący wzrost ogólnego współczynnika konwersji.
Obliczenie minimalnej wielkości próby będzie stosunkowo łatwe, kiedy zrozumiesz podstawowe pojęcia.
Oto kilka terminów, które musisz znać:
Aby obliczyć minimalną wielkość próby możesz skorzystać z kalkulatora od Evan Miller. Ważne, abyś test prowadził tak długo, aż minimalna wielkość próby zostanie osiągnięta (nawet jeśli narzędzie do przeprowadzania testów, które używasz pokazuje istotność statystyczną przy mniejszej próbie).
Karty produktów to świetny materiał do przeprowadzania testów. To jedne z najważniejszych stron całego sklepu internetowego, które zwykle odznaczają się jednocześnie największym natężeniem ruchu w całej witrynie. A do tego ich testowanie jest naprawdę proste.
Oto niektóre elementy karty produktu, które mogą mieć największy wpływ na konwersje:
Niepoprawnie przeprowadzone testy A/B mogą okazać się ogromną stratą czasu i pieniędzy.
Unikaj zatem następujących błędów:
Testy A/B powinny towarzyszyć większości aspektów działań marketingowych i sprzedażowych Twojej firmy. Nie powinno ograniczać się ich jedynie do witryny. Większość dedykowanych aplikacji, takich jak aplikacje do e-mail marketingu, reklamy na Facebooku czy media społecznościowe zapewniają własne narzędzia do przeprowadzania testów A/B.
Ta lista zawiera najlepsze narzędzia do przeprowadzania testów A/B w e-commerce. Co więcej, nie istnieje wszechstronne, „najlepsze” narzędzie do testów A/B. Różne rozwiązania są przeznaczone dla różnych typów sklepów internetowych. Najlepszy wybór w zakresie oprogramowania zależy od wielu czynników, w tym wielkości sklepu, branży, preferowanych metod marketingowych etc.
Oto nasze zestawienie pięciu najlepszych narzędzi do przeprowadzania testów A/B w e-commerce:
Jak zatem wyglądają testy A/B w praktyce?
Oto trzy przykłady na podstawie przypadków, z jakimi zmagaliśmy się w Conversion:
Budapester to duży sklep internetowy, który sprzedaje designerskie torby, obuwie i akcesoria. Firma chciała wdrożyć efektywny kosztowo długoterminowy plan testów. Analiza wykazała, że największy potencjał poprawy wykazują karty produktów oraz koszyk zakupowy.
Wynik: współczynnik konwersji wzrósł o 12,5%.
Sformułowano i przetestowano następujące hipotezy:E
Hipoteza pierwsza: wyraźniejsza komunikacja USP na wszystkich kartach zwiększyłaby konwersje.
Przed: USP obejmujący bezpłatną wysyłkę i natychmiastową dostępność produktu nie był pokazywany na kartach produktów.
Po: USP został umieszczony pod opisem produktu oraz w nagłówku.
Hipoteza druga: nagłówek zajmował zbyt dużo miejsca i rozpraszał odwiedzających niepotrzebnymi linkami i informacjami.
Przed: nagłówek był nieczytelny, z dużą ilością małych przycisków i niepotrzebnymi linkami.
Po: Nagłówek został uproszczony, a główne przyciski stały się wyraźniejsze.
Hipoteza trzecia: uproszczony wygląd koszyka zakupowego zmniejszy częstotliwość porzucania koszyka przez klientów.
Przed: Na stronie potwierdzenia zakupu nie wyświetlała się informacja o bezpłatnej dostawie, a obniżka ceny nie została wyraźnie podkreślona.
Po: Darmowa dostawa, dostępność i rabaty zostały przedstawione jasnym kolorem, tak aby rzucały się w oczy.
Reserved to największy sklep z branży mody w regionie Europy Środkowo-Wschodniej. Ich sklep internetowy uruchomiony został w 2013 roku.
Wynik: wzrost współczynnika konwersji o 4,6%.
Kliknij tutaj, aby przeczytać pełne case study.
Sformułowano i przetestowano następujące hipotezy:
Hipoteza pierwsza: dodanie USP do najważniejszych stron – strony głównej, kart produktów i stron kategorii – pomogłoby przekonać odwiedzających o wyjątkowych korzyściach płynących z zakupów w Reserved.
Przed: Brak wyraźnych USP na stronie głównej.
Po: USP wyświetlane są na stronie głównej tuż pod nagłówkiem.
Hipoteza druga: eksponowanie USP na stronie koszyka zakupowego ograniczyłoby częstotliwość porzucenia koszyka przez klientów.
Przed: niektóre USP były pokazywane, ale przedstawione zostały niejasno. Informacje o bezpłatnej dostawie oraz bezpłatnej dostawie kurierskiej przy zakupach powyżej 50 $ nie zostały pokazane.
Po: Sekcja wyświetlająca informacje o USP została umieszczona po prawej stronie.
4F sprzedaje odzież sportową i akcesoria sportowe. Firma cieszy się reputacją produktów o dobrej jakości – dzięki połączeniu tradycyjnych procesów produkcyjnych z nowoczesnymi wzorami.
Wynik: wzrost globalnego współczynnika konwersji o 8%.
Kliknij tutaj, aby przeczytać pełne case study.
Sformułowano i przetestowano następujące hipotezy:
Hipoteza pierwsza: szczegółowe opisy na kartach produktów złagodzą wątpliwości klientów i zachęcą więcej odwiedzających do dodawania produktów do koszyka.
Przed: Informacje o produkcie były rozproszone, trudne do przeskanowania wzrokiem i umieszczone w dużej odległości od CTA.
Po: Szczegółowe informacje o produkcie, w tym informacje o dostawie, zostały napisane tak, aby łatwo było przeskanować je wzrokiem, i umieszczone obok CTA.
Hipoteza druga: wyświetlanie procentowej wartości rabatów spowoduje, że więcej klientów doda produkty do koszyka.
Przed: obniżona cena została przekreślona i wyświetlona obok bieżącej ceny, bez dalszych informacji.

Po: liczba przedstawiająca obniżoną cenę w procentach została uwzględniona obok bieżącej ceny.
Hipoteza trzecia: wyświetlanie informacji o dostawach do sklepów zwiększyłoby konwersję, ponieważ jest to bardzo istotna dla klientów informacja, a 4F dysponuje rozległą siecią sklepów stacjonarnych.
Przed: Informacje o możliwej dostawie do sklepu znajdowały się dość daleko na stronie.

Po: Szczegółowe warunki zarówno bezpośredniej wysyłki jak i odbioru w sklepie stacjonarnym wyświetlone są obok siebie nad CTA.

Jak widać, większość przetestowanych elementów strony to dość ogólne przykłady testów A/B. Choć wydają się dosyć „bezpieczne”, nadal mogą znacznie zwiększyć współczynniki konwersji.
Dzięki informacjom przedstawionym w tym artykule możesz zacząć przeprowadzać testy, które przyniosą realne wyniki i przybliżą Cię do upragnionych wartości współczynnika konwersji oraz wielkości przychodów.
Należy jednak pamiętać o ważnej kwestii.
Nie zapominaj, jak istotna przy przeprowadzaniu testów A/B jest ich ciągłość oraz spójność.
Wdrożenie kampanii optymalizacyjnej polegającej na wprowadzaniu wielu drobnych zmian z biegiem czasu pozwoli Ci znacznie prześcignąć konkurencję. Z tej strategii korzystają wielcy gracze tacy jak Amazon, co pozwala im osiągnąć współczynniki konwersji znacznie wyższe od średniej w branży.
Jeśli chcesz, aby doświadczony zespół przygotował za Ciebie strategię optymalizacji, skontaktuj się z Conversion. Mamy wieloletnie doświadczenie w przeprowadzaniu testów A/B i możemy wdrożyć długoterminową strategię za ułamek kosztów, jakie poniósłbyś przy samodzielnych próbach. Do tego zyskujesz gwarancję dowiezienia wyników. Jeśli nie uda nam się ich dostarczyć, oferujemy pełny zwrot pieniędzy. Przeczytaj więcej o optymalizacji konwersji w ecommerce.
Historie sukcesów
Ostatnie wpisy na blogu