Jaki model współpracy wybrać: co jeśli nie możemy przeprowadzać testów?

Optymalizacja konwersji łączy się z przeprowadzaniem testów. Niestety mają one swoje ograniczenia. A głównie jedno – potrzebny jest wystarczająco duży ruch, aby testy A/B lub wielowymiarowe przyniosły wyniki w rozsądnym czasie. Czy jeżeli nasz serwis nie przekroczył tej granicy powinniśmy siedzieć z założonymi rękoma? Jak rozliczyć się z firmą, która ma ten serwis poprawiać?

Często spotykamy się z tego typu pytaniami w trakcie rozpoczynania pracy z częścią naszym Klientów. Niestety Polska to nie USA i liczba użytkowników odwiedzających serwisy w niektórych niszach jest nie tak duża.

Ten artykuł stanowi część drugą Buyers’ Guide by Conversion. Tutaj zapoznanie się z poprzednią częścią: Jaki model współpracy wybrać w ramach projektu optymalizacji konwersji? – warto to zrobić przed lekturą poniższego artykułu.

Magiczna granica wielkości ruchu

zdjęcie od FHgitarre

Zaczęliście się pewnie zastanawiać czy istnieje coś takiego jak magiczna granica ruchu, który pozwoli na testy?

Niestety muszę Was rozczarować, ponieważ takiej granicy nie ma. Dlaczego? Ponieważ możliwość testowania zależy nie tylko od wielkości ruchu, ale też od jego specyfiki, czyli obecnego współczynnika konwersji. Zależy również od tego jaki wzrost współczynnika konwersji oczekujemy. Dlatego, mówiąc o granicy wielkości ruchu, myślimy bardziej o jego parametrach (dowiedz się na czym dokładnie polega statystyka w testach A/B i jakie elementy ruchy brane są pod uwagę).

Sklep internetowy może mieć współczynnik konwersji poniżej 1%, a strona docelowa kampanii ubezpieczyciela ponad 8%. Jeżeli w obu przypadkach będziemy planowali wzrosty o 30%, granice liczby odwiedzin będą się znacząco różniły. Do ich wyliczenia możemy wykorzystać kalkulator długości trwania testu.

Jeżeli miałbym polecić niepisaną zasadę, która rozdziela serwisy na których uda Wam się przeprowadzić testy w rozsądnym okresie czasu (10-14 dni) to powiedziałbym, że potrzebujecie ok. 100 konwersji na każdą testowaną kombinację na tydzień.

Czyli, jeżeli planujecie test A/B w którym będzie tylko wersja oryginalna i jedna wersja testowa, to będziecie potrzebowali do tego około 200 konwersji w dwa tygodnie. Można powiedzieć, że to 200 konwersji w 2 tygodnie jest absolutnym minimum do przeprowadzania testów (bo nie możemy testować mniejszej liczby różnych rzeczy niż 2 – sprawdźcie o czym jeszcze trzeba pamiętać przed rozpoczęciem testów A/B i wielowymiarowych.

Co jeśli takiego ruchu nie posiadamy?

Na pewno nie wszyscy z Was opiekują się stronami, które spełniają warunek 200 konwersji w dwa tygodnie. W takim przypadku przeprowadzanie testów jest zazwyczaj niemożliwe.

Mateusz pisał, że istnieją dwa modele rozliczania się za współprace z firmą w zakresie projektu optymalizacji konwersji:

• rozliczanie za efekt końcowy projektu – gdy wynagrodzenie firmy doradczej uzależnione jest od ostatecznego wyniku potwierdzonego testami A/B lub wielowymiarowymi (a nie porównaniem dwóch okresów!)
• rozliczanie za wkład pracy – gdy wcześniej ustalone wynagrodzenie jest wypłacane po zakończeniu projektu za godziwie wykonaną pracę

Jeżeli testy w obrębie witryny można przeprowadzać, to wtedy pierwsza z wymienionych wyżej opcji jest znacznie lepsza. Dlaczego? Ponieważ daje gwarancje uzyskanych wyników. Niestety, nigdy gdy nie jest tak, że 100% rekomendacji jest trafionych. Właśnie dzięki testowaniu, rozliczenie za efekt pozwala zminimalizować ryzyko „wdepnięcia” w te nietrafione rekomendacje.

Z drugiej strony, jeżeli testów nie możemy przeprowadzać, możemy:

1. postarać się zwiększyć ruch na czas trwania testów – ważne jest, aby pozyskać ruch analogiczny do tego, który na co dzień odwiedza nasz serwis
2. rozliczyć się za wkład pracy

W przypadku braku możliwości przeprowadzania testów, często pojawia się trzecie rozwiązanie. Jest to pokusa, aby rozliczyć się za „efekt końcowy” projektu optymalizacji konwersji. Albo agencje, albo klienci proponują, aby sukces był liczony w inny sposób – za pomocą porównania dwóch okresów czasu – przed wdrożeniem poprawek i po ich wdrożeniu.

W artykule o modelu współpracy przy projektach optymalizacji konwersji przeczytacie, dlaczego to podejście jest niepoprawne, a jego wyniki są wypaczane przez czynniki zewnętrzne.

Dlaczego więc, pojawia się czasem pokusa wśród firm, aby podsunąć potencjalnemu Klientowi model współpracy w modelu opartym o sukces gdy testów przeprowadzać się nie da?

Zazwyczaj model ten daje wyższe wynagrodzenie za przeprowadzone prace. Jeżeli dzięki pracy udowodniony jest wzrost sprzedaży o kilka tysięcy złotych to łatwiej jest uzasadnić Klientowi wysoką zapłatę za projekt.

Jednak tak jak pisaliśmy, przy porównaniu dwóch okresów czasu istnieje bardzo wiele innych czynników, które mogły wpłynąć na wzrost współczynnika konwersji. Jeżeli poprawa strony miała na to mały wpływ, to będąc klientem możemy płacić agencji za sukces, na który miała znikomy wpływ.

Dość powiedzieć, że pewnego razu w trakcie spotkania z Klientem dowiedzieliśmy się o agencji, która gwarantowała podniesienie współczynnika konwersji w jego sklepie internetowym bez przeprowadzania testów. Sposób liczenia wzrostu z porównaniem dwóch okresów był niepoprawny, ale najzabawniejszy był fakt, że agencja planowała wdrożyć zmiany w połowie listopada. Jest to okres kiedy w branży w której działał ten sklep internetowy współczynnik konwersji z okazji przedświątecznej gorączki rokrocznie wzrastał o kilkadziesiąt procent. Prawda, że był to bezpieczny ruch ze strony firmy doradczej? 🙂

Kliknij na zdjęcie, aby powiększyć

Jaki jest przebieg projektu w obu modelach: rozliczenia za efekt oraz rozliczenia za włożoną pracę

W obu modelach, działania, które są podejmowane są niemal identyczne. W przypadku rozliczenia za efekt kroki są następujące:

1. zebranie danych i wnikliwa analiza (analiza danych ilościowych – Google Analytics, jakościowych – ankiety, testy użyteczności, analiza ekspercka)
2. zaplanowanie usprawnień użyteczności i przekazu marketingowego (ustalenie priorytetów i wybór niektórych z nich do testów)
3. przygotowanie szkiców proponowanych zmian
4. przygotowanie projektów graficznych (po stronie Klienta lub firmy doradczej)
5. wybór narzędzia do testów, ich zaprogramowanie i przeprowadzenie
6. analiza wyników testu i powrót do kroku pierwszego

Kroki przy optymalizacji konwersji rozliczanej za wkład pracy różnią się niewiele. Dokładnie różnią się dwoma elementami:

• w kroku drugim w przypadku rozliczenia za czas projektowy nie wybiera się jedynie kilku zmian do wdrożenia, lecz wdraża się wszystkie, które wynikły w trakcie badań z kroku pierwszego
• z racji braku przeprowadzania testów krok piąty i szósty nie są realizowane

Oznacza to, że w projektach rozliczanych za przepracowany czas, efektem końcowym są szkice zmian lub gotowy, poprawiony projekt graficzny serwisu. Są w nim wdrożone wszystkie rekomendacje, które poprawiają problemy użytkowników wykryte na podstawie badań i analiz przeprowadzonych w kroku pierwszym.

Niemal na pewno ich wdrożenie przyniesie wzrost współczynnika konwersji. Niewątpliwym plusem jest szybkość realizacji takiego projektu.

Niestety, nikt, nigdy nie może być w 100% pewny czy zaproponowane na podstawie takiego badania zmiany rzeczywiście podniosą współczynnik konwersji (ani tym bardziej o ile). Rodzi to niepewność, która może być zlikwidowana tylko za pomocą testów a/b albo wielowymiarowych. Dzięki nim wiemy czy i o ile wzrósł współczynnik konwersji w wyniku zmian zaproponowanych w efekcie pracy.

Podsumowując: co nam pozostaje?

1. Jeżeli mamy wystarczająco duży ruch – 200 konwersji w dwa tygodnie – przy optymalizacji konwersji powinniśmy rozliczać się z agencjami w modelu opartymi o sukces potwierdzony poprzez testy A/B lub wielowymiarowe. Tutaj znajdziecie więcej wskazówek na ten temat
2. Jeżeli nie mamy wystarczająco dużego ruchu – rozliczajmy się w wynagrodzeniu za wykonaną pracę, której efektem najlepiej, żeby były rekomendacje w postaci szkiców i tekstów na Twojej witrynie, a nie suchy raport wypisujący same wnioski z badania (lub zgrubnie wskazujący błędy)

Pamiętajmy przy tym: optymalizacja konwersji to nie (tylko) poprawa użyteczności!