Statystyka w biznesie i marketingu – opowiada Janina Bąk

Statystyka umożliwia lepiej i trafniej podejmować decyzje. To bardzo ważna dziedzina nauki. Uczenie maszynowe też wykorzystuje sporo elementów ze statystyki. Dzisiaj chciałbym ten temat rozszerzyć, dlatego zaprosiłem do rozmowy Janinę Bąk, znaną i lubianą specjalistkę tej dziedziny. Janinę bardzo wyróżnia to, że potrafi mówić o tych trudnych rzeczach w sposób zrozumiały, który można łatwo przyswoić i zastosować. 

Z tej rozmowy dowiesz się:

✅ czym jest statystyka,
✅ czy statystyka kłamie,
✅ jak może wykorzystać statystykę w biznesie,
✅ jak dobrze przeprowadzić test A/B,
✅ na co zwrócić uwagę przygotowując ankietę,
✅ czy źródła naukowe zawsze mówią prawdę.

 

Cześć Janina. Przedstaw się: jak się nazywasz, gdzie mieszkasz, czym się zajmujesz i skąd się przeprowadziłaś ostatnio?

Nazywam się Janina Bąk. Robię w życiu głównie trzy rzeczy, tzn. prowadzę bloga janinadaily.com, gdzie trochę piszę o swoim życiu, a trochę staram się popularyzować naukę, bo przez bardzo długi czas byłam wykładowczynią akademicką i uczyłam studentów statystyki oraz metodologii badań. Teraz staram się uczyć tego wszystkich, głównie ludzi w marketingu, ale nie tylko.

Co ostatnio fajnego przeczytałaś, o czym warto wspomnieć? Jaka była wartość tej książki?

Moją własną książkę.

O Twojej książce jeszcze osobno porozmawiamy, a może coś jeszcze warto polecić?

Przeczytałam książkę Adama Kucharskiego „Czas epidemii”. Bardzo często o niej teraz mówię i słyszę: „No dobra, ale pandemia za oknem i jeszcze o tym czytać, to już trochę za dużo”, ale to nie jest prawda. Adam Kucharski jest matematykiem i epidemiologiem. Już wiele epidemii w swoim życiu widział i badał. Bardzo fajnie w tej książce tłumaczy nam, w jaki sposób rozwijają się epidemie, jak się wygaszają. W gruncie rzeczy dużo jest w tej książce optymizmu i po lekturze można nabrać poczucia, że damy radę – już nie z takimi rzeczami sobie radziliśmy. 

Brzmi optymistycznie. Rozmawiamy w maju 2020 r., zobaczymy, jak to będzie wyglądało za kilka lat, na przestrzeni czasu. 

Czy statystyka jest dla Ciebie narzędziem?

Nie tylko dla mnie. Dla każdego jest narzędziem i zawsze to powtarzam. Nie jest to jej wada. Mówię, że ona jest narzędziem dlatego, że bardzo często spotykam się z takimi stwierdzeniami, że np. statystyka kłamie. Statystyka nie kłamie, tylko ludzie kłamią na temat statystyk. Statystyka jest tylko narzędziem, żeby znaleźć odpowiedź na jakieś pytania. Jeśli użyjemy jej źle, to jasne jest to, że dostaniemy błędne wnioski, ale to nie jest wina statystyki czy metod badawczych. Jest to wina tego, że nie potrafimy z nich poprawnie korzystać.

Czy statystyka jest pomocna dla biznesu? Na czym polega ta pomocność? Na jakie pytania, statystyka może pomóc odpowiedzieć lepiej?

Na wszystkie. Wiem, że to jest odpowiedź, która teoretycznie może nie satysfakcjonować, ale tak naprawdę statystyka czy jakiekolwiek badania konsumenckie, marketingowe czy efektywności, dają nam odpowiedź na pytanie np. czy wprowadzenie jakiegoś nowego produktu ma sens? Równie dobrze da nam odpowiedź na pytanie, czy nasze działania marketingowe przynoszą odpowiednie skutki? Pozwoli nam wyodrębnić jakieś czynniki, które są kluczowe dla sprzedaży. Mamy też w statystyce modele predykcyjne, więc jesteśmy w stanie również wymodelować w pewnym sensie, jak nasza firma będzie się dalej rozwijać. Jeśli mamy dobrych ludzi od analityki, to oni są w stanie znaleźć odpowiedź na niemal każde pytanie, jeśli tylko mają odpowiednie dane. 

Na które pytania biznesowe, nie wykorzystując statystyki, ciężko będzie sobie odpowiedzieć we właściwy sposób?

Załóżmy, że mamy stronę www, bo zakładam, że teraz ciężko o biznes, który takiej strony nie ma i nie prowadzi jakiejś formy działalności w ten sposób. Jeśli np. nie analizujemy ruchu użytkowników na stronie, to w sumie nie wiemy, czy ta nasza strona działa, czy ludzie przez nią kupują, czy ona działa w prawidłowy sposób, jeśli chodzi o UX, czyli użyteczność. Jeśli dodamy do tego analitykę (zarówno jakościową jak i ilościową), to już bardzo łatwo i szybko możemy np. znaleźć punkty zapalne, miejsca, w których nasza strona nie działa albo gdzie nasi klienci się gubią.

Możemy sprawdzić, że pewien procent naszych klientów dodaje produkty do koszyka, ale nigdy nie finalizuje tej sprzedaży. Dzięki analityce możemy znaleźć odpowiedź na pytanie: dlaczego te osoby nie kończą procesu zakupowego? Jeśli tego nie mierzymy i nie sprawdzamy, to strona gdzieś tam sobie wisi. Teoretycznie nie kosztuje nas to dużo pieniędzy, bo hosting to nie jest majątek, jeśli chodzi o roczne wydatki.

Ja myślę o tym inaczej – jeśli tego nie mierzymy, to tracimy pieniądze, które moglibyśmy zarabiać. Jeśli zoptymalizujemy swoje działania marketingu online, strony www czy sprzedażowe, to zarobimy więcej, niż jeśli nie będziemy tego robić.

Posiadając informacje na jakiś temat (np. ktoś wchodzi na stronę, coś tam robi), wyciąganie wniosków na podstawie tych informacji też nie jest takie łatwe. Jeżeli tych wejść było dosłownie dwa, to powiedzenie czegokolwiek sensownego w tym momencie byłoby trudne.

Statystyka pomaga dołożyć warstwę albo wymiar pewności. Na ile możemy zaufać posiadanej informacji?

Zauważ, że jeśli na naszą stronę wchodzą dwie osoby, to też jest jakaś informacja, której powinniśmy się przyjrzeć. Na podstawie ruchu czy zachowań tych dwóch użytkowników możemy wyciągnąć jakieś wnioski, ale ta niepewność jest dość spora. Jeśli wiemy, że faktycznie nikt naszej strony nie odwiedza, to to też jest informacja, z którą należy się zmierzyć i zastanowić się dlaczego.

Te dwie osoby to może być mama albo mąż, żona, ale to już inna historia.

Zacząłem od tego, jak statystyka może być pomocna przy odpowiadaniu na pytania, a tak naprawdę warto zrobić krok wstecz. Odpowiedź na pytania to jest fajna rzecz, ale zadawać właściwe pytania to jest sztuka.

Czy statystyka również może być pomocna przy znalezieniu właściwych pytań i co to oznacza w praktyce?

Tak, to jest cudowne, co powiedziałeś. Oprócz tego, że statystyka pozwala nam znaleźć odpowiedź, to jest również sztuką zadawania trafnych pytań. Jeśli chodzi o przykłady, to miałam kiedyś taki case z jednoosobowym biznesem, który wdrożył zupełnie nowy produkt i to był e-book, który był ściśle dedykowany do grupy docelowej tej dziewczyny. Był promowany głównie na jej grupach tematycznych.

Miało to bardzo duży sens, ponieważ tam były kobiety, do których ten produkt był targetowany i które były mocno związane z autorką. Można było założyć, że tamta sprzedaż rzeczywiście pójdzie nieźle. No i poszła nieźle, ale tak im się tylko wydawało (bo ja znalazłam się w tym projekcie, wtedy, gdy miałam wyjaśnić, co poszło nie tak). Okazało się, że było bardzo dużo kliknięć w link, który kierował na landing page produktowy. Tych kliknięć było 13 000, czyli mamy 13 000 potencjalnie kupionych egzemplarzy.

Tylko one się ucieszyły, ucieszył się Facebook, bo za każde kliknięcie pobiera odpowiednią opłatę, ale nikt nie sprawdził, ile z tych przejść skończyło się konwersją, czyli ile osób z tych 13 000 “kliknięć” produkt kupiło. Okazało się, że ten wskaźnik był bliski zeru. W momencie, kiedy porównaliśmy te dwa wskaźniki, to pierwsze pytanie, które się nasuwa, to dlaczego?

Gdybyśmy ich nie porównali to możemy się cieszyć, że wygenerowaliśmy 13 000 kliknięć i założyć, że najpewniej jakaś konwersja była, ale dopiero gdy spojrzeliśmy na te wskaźniki, to okazało się, że tam rzeczywiście jest jakiś problem i trzeba mu się przyjrzeć.

Dużo botów z krajów azjatyckich pewnie zawitało.

Nie, było to znacznie ciekawsze, bo to, co się tam stało to to, że do linka przyczepiła się emotikonka i absolutnie każdy, kto klikał w link, był przenoszony na stronę błędu. Czyli coś, co bardzo łatwo można rozwiązać poprzez ustawienie sobie w Google Analytics – 404 alerts. Tam tego nie było. Prosty ludzki błąd, który absolutnie każdemu może się zdarzyć, ale który kosztował bardzo dużo potencjalnej sprzedaży. 

Czy mogłabyś powiedzieć coś więcej o alertach 404 w Google Analytics? 

To jest bardzo prosta funkcja do ustawienia w Google Analytics, która polega na tym, że jeśli rzeczywiście na Twojej stronie będzie znacząca liczba wyświetleń 404 (czyli użytkownik nie jest w stanie wejść na stronę), to dostaniesz powiadomienie mailowe.

To jest proste, bo odbierasz maila i widzisz, że coś jest nie tak z Twoją stroną i trzeba się tym zająć. Jest to coś co każdy powinien uruchomić, zwłaszcza jeśli ma stronę bezpośrednio sprzedażową, bo zakładam, że nawet blogi sprzedają czy wszelkie treści content marketingowe. Głównie jeśli mamy stronę z produktami czy sklepy online, to to jest bardzo ważne.

Jak przygotowywałem się do tej rozmowy to zastanawiałem się, w których obszarach jesteś, jeżeli chodzi o zastosowanie statystyki. Wcześniej pracowałaś na uczelni, gdzie byłaś wykładowcą i uczyłaś studentów, jak używać statystykę.

Teraz głównie koncentrujesz się na biznesach, ale z branży marketingowej. Dlaczego akurat branża marketingowa? Czy to przypadek?

Chciałabym, żeby to wybrzmiało, że ja rzeczywiście zawodowo najczęściej uczę, szkołę, wykładam dla firm i korporacji. Niekoniecznie dla działów marketingowych, również działów sprzedaży, analizy danych. Ten zakres jest dość szeroki, bo właśnie na to pozwala statystyka, żeby używać jej w wielu różnych celach, ale jeśli ktoś nas czyta, kto nie ma do czynienia z marketingiem, to chciałabym, żeby wciąż czytał, bo drugą częścią mojej działalności jest faktycznie to, żeby przekonać absolutnie wszystkich (nieważne, czym się zawodowo zajmują), że z analizą danych, statystyką można i należy się zaprzyjaźnić.

Ma to znaczenie dla każdego, nawet jeśli nie potrzebujemy analizować danych swojej strony internetowej, to np. potrzebujemy wiedzieć, jak się nie dać oszukać gazetowym nagłówkom czy raportom branżowym. Tym też się bardzo chętnie zajmuję, żeby ludzie byli bardziej świadomi tego, jak wyciągać wnioski z otaczającego nas świata.

Spróbuj wymienić 5 branż, gdzie statystyka aż krzyczy, żeby ją zastosować, ale z jakiegoś powodu tak się nie dzieje albo dzieje się to powoli. 

Nie mam danych, żeby móc powiedzieć, gdzie się nie dzieje. Wiem, że jest przydatna absolutnie wszędzie. Podaj mi jakąkolwiek branżę, a ja Ci powiem, jak można tam wykorzystać statystykę. Wiem, że poziom świadomości czy np. to, jak zaawansowane są te analizy, różni się pomiędzy branżami, większymi a mniejszymi firmami, bo budżety tu mają znaczenie, ale każdy może skorzystać na nawet najbardziej podstawowej analizie danych.

Uważam, że absolutnie każdy powinien się z tym zaprzyjaźnić. Z takich dobrych obserwacji to widzę, że coraz częściej jestem zapraszana do bardzo różnych firm (nie tylko marketingowych, ale też np. PR-owych) i bardzo często tam jest taki brief, że chcielibyśmy być bardziej data-driven. Jest to trend, żeby teraz zwrócić się ku danym i to jest bardzo pozytywne. Myślę, że tyle się o tym mówi, tyle na konferencjach można zobaczyć fajnych przykładów tego, w jaki sposób analityka rzeczywiście przyniosła efekty, że coraz więcej firm zwraca się właśnie ku liczbom, danym i systematycznym analizom. 

---

O data-driven nagrywaliśmy 25. odcinek. Wracając do pytania, które zadałem wcześniej, spróbujmy go rozwinąć na przykładach. Myślę, że w tym przypadku skupimy się na marketingu, bo myślę, że będzie Ci łatwiej podać przykłady. 

---

Istnieje taki jeden z dużych problemów z marketingu – modelowanie atrybucji, czyli skąd wiemy, który kanał jest najbardziej efektywny, za co płacimy, czy płacimy na Facebooku czy Google. Czy mogłabyś przybliżyć najpierw kontekst modelowania atrybucji? Czy istnieją jakieś praktyczne wskazówki od Janiny, jak sobie najlepiej na dzień dzisiejszy poradzić z tym problemem?

Na początek to, co może zrobić absolutnie każdy, czyli odpalamy Google Analytics i statystyki opisowe. Sprawdzamy, który kanał przyniósł nam najwięcej wyświetleń czy konwersji. Nie musimy tutaj stawiać kropki. Zastosujmy najprostsze modelowanie regresyjne, gdzie zmienną zależną będzie np. sprzedaż.

Wtedy to będzie regresja logistyczna, czyli 0 – nie doszło do sprzedaży, 1 – doszło do sprzedaży. Ewentualnie regresja liniowa, gdzie zmienną zależną będzie kwota, za którą dokonała się sprzedaż. Wtedy możemy wrzucić te wszystkie kanały atrybucji w pakiet zmiennych niezależnych i sprawdzić, który z nich działa najlepiej, ma największe znaczenie dla tej sprzedaży i jak to się kształtuje. 

Zosia zobaczyła po raz pierwszy reklamę o produkcie, wymarzonej książce, najpierw na Facebooku, kliknęła i przeszła na blog autora tej książki. Poczytała sobie artykuł, zobaczyła i zaczęła się zastanawiać nad zakupem.

Następnie zapomniała o tym, bo musiała zająć się innymi rzeczami. Minęło trochę czasu i na Google pojawiła się reklama książki, w którą Zosi też kliknęła. Później jeszcze w różnych innych miejscach. Na samym końcu pojawia się newsletter. Ostatecznie Zosia po przemyśleniach, postanowiła kupić książkę. Ostatni link prowadził z newslettera, gdzie zakup został dokonany.

Co powinniśmy przekazać do tego modelu, żeby stwierdzić, co tak naprawdę wpłynęło na decyzję Zosi o zakupie książki?

Są narzędzia, które potrafią budować bardziej szczegółowe ścieżki użytkowników. Oczywiście, jeśli patrzymy tylko na ten końcowy efekt, czyli np. w tym wypadku – przejście z newslettera, to liczymy się z tym, że mierzymy tylko te bezpośrednie drogi do zakupu. Musimy być świadomi, że jest tam pewna niepewność.

Szacuje się, że takie pośrednie drogi do zakupu (czyli np. że ktoś widział reklamę online, ale nie kupił, później zobaczył znajome logo na ulicy i kupił) mogą stanowić nawet 40% zakupów, które nie pojawią nam się w bezpośrednich danych, ale i na to są sposoby. Jest to metodologia badania Brand Lift, gdzie mierzymy, czy osoby, które np. widziały naszą reklamę albo kojarzą naszą markę, częściej niż grupa kontrolna dokonywały zakupu albo mają intencje zakupowe, czyli rozważają nasz produkt.

To wszystko da się mierzyć. Nie jest ważnym, czy używamy modeli regresyjnych, najbardziej rozpowszechnionej analizy danych zastanych czy projektujemy bardziej wyszukane badania typu Brand Lift – zawsze tam będzie ta niepewność. Tylko ja zawsze mówię ludziom: „Ok, ale co mamy w zamian?”. Albo bierzemy te wyniki badań czy wyniki liczbowe, staramy się znaleźć tam jak najwięcej i oczywiście mamy z tyłu głowy, że może coś przegapiliśmy, albo że są obszary, których po prostu nie da się zmierzyć, ale to nie jest słabość tej metody.

To jest zaleta, bo my możemy o tym cały czas myśleć i wiedzieć, że takie są wyniki naszych analiz, ale jeszcze nie stawiamy kropki, dalej trzeba się temu przyglądać. Trzeba jeszcze eksperymentować i sprawdzać, bo pamiętajmy, że marketing, jak i każda działka działka biznesu, jest dynamicznym procesem. To nie jest tak, że ja sobie coś wymodeluję i wyjdzie mi, że ten, ten i ten czynnik mają największe znaczenie dla moich zasięgów organicznych na Facebooku i przez kolejne 3 lata, będę trzaskać według tego swoje strategie social media.

Nie, wszystko się zmienia, więc wszystko musimy co jakiś czas aktualizować i to jest zupełnie ok. Jak ktoś mi mówi, że statystyka się myli, mówię: „Tak, a co mamy w zamian? Mamy zdrowy rozsądek? No nie”. Człowiek jest bardzo omylny. Zawsze podaję tu taki przykład:

„Jeśli Twój zdrowy rozsądek mówi coś, a mój mówi coś innego, to kto ma rację?”.

Najgorsze co możemy powiedzieć, to to, że: „Ja czuję, mam intuicję, mój zdrowy rozsądek mówi mi coś”. No nie, jeśli my, używając statystyki, się czasem mylimy, to jeszcze bardziej mylimy się, gdy wierzymy tej mitycznej intuicji.

“Co mamy w zamian?” – to brzmi bardzo ciekawie. Sam czasem tak mówię, co prawda w innym kontekście, ale to jest ciekawa rzecz. Przypomniała mi się jedna rozmowa z człowiekiem, który m.in. zajmuje się reklamą billboardów, czyli pracuje w dziale, który decyduje, ile pieniędzy wydać na taką reklamę.

Dla mnie zawsze było ciekawe, jak to w ogóle jest zarządzane? Skąd wiemy, ile trzeba wydać? Zapytałem go, w jaki sposób mierzy efektywność. Dostałem odpowiedź, że to jest proste, są jakieś tabelki, na których widzisz, że tyle osób tę reklamę zobaczyło. Kto te tabelki przygotowuje? Jest w nich informacja że, np. 100 tys. osób zobaczyło tę reklamę.

Czy faktycznie ją widziało? W jakim stanie tę reklamę zobaczyli? W mojej głowie pojawił się od razu szereg pytań, co z tą informacją zrobić. Zastanawiam się, jak często w tej branży pada pytanie: wybrać opcję A czy B? Czy może bardziej pytanie jest takie: czy wybrać opcję A, czy w ogóle nic nie wybierać? Jeżeli nie jesteśmy pewni, to może w ogóle lepiej tego nie robić? Zapytałem tę osobę, czy nie próbował takiej reklamy w ogóle nie tworzyć i zobaczyć, co się stanie. Odpowiedział, że nie, bo nikt by na to nie zezwolił. 

Odpowiedź na Twoje pytanie jest dość prosta – to zależy od naszego celu. Jeśli chcemy wiedzieć, które copy sprzedażowe konwertuje najlepiej, to przeprowadzamy testy A/B i sprawdzamy, czy rzeczywiście lepsza jest wersja A czy B. Jeśli mamy jakieś działania marketingowe, np. nagle zaczęliśmy organizować live na fejsie, bo wszyscy mówili, że tak trzeba robić, to rzeczywiście możemy analizować te dane albo pod kątem, czy lepiej robić te live’y czy nie robić, bo jest to strata czasu, albo możemy to analizować, czy lepiej robić live’y czy jednak inwestować w webinary. To zależy od tego, co chcemy osiągnąć.

Fajnie opowiedziałeś o tych billboardach, bo istnieją takie działania marketingowe, gdzie musimy się opierać na jakiś podstawowych korelacjach, ale ten poziom niepewności jest dość wysoki. Zawsze lubię mówić, że niewykorzystywanie analityki w marketingu czy w działaniach online jest niewykorzystywaniem ogromnego potencjału, bo tak naprawdę właśnie działania online, w porównaniu do takich tradycyjnych form marketingu, możemy zmierzyć. Z tego naprawdę żal nie skorzystać.

Rozwińmy ten obszar, który możemy mierzyć, bo ja się tam czuję zdecydowanie bardziej komfortowo. Powiedz troszkę więcej, czym są A/B testy, do czego służą? Jakie najbardziej popularne błędy zwykle się popełnia przy robieniu A/B testów?

A/B testy to jest bardzo rozpowszechniona forma testu i praktycznie każde narzędzie analityczne pozwala to dość łatwo zaimplementować. Testami A/B sprawdzamy np. dwie różne wersje kolorystyczne strony albo copy sprzedażowego. Użytkownicy są kierowani do każdej z wersji losowo, bo tak działają wszelkie badania eksperymentalne, że ta losowość musi tam istnieć.

Sprawdzamy, czy np. użytkownicy, którzy widzieli copy, częściej konwertowali, jakkolwiek sobie zdefiniujemy konwersję, czy to będzie wypełnienie formularza, czy sprzedaż, czy np. czerwony przycisk zadziałał lepiej niż zielony. Czyli możemy sprawdzać różne wersje tego samego, np. różne wersje kolorystyczne strony, różne wielkości przycisków na stronie, różne grafiki reklamowe i sprawdzić po prostu, co działa lepiej.

Największym błędem w testach A/B jest kończenie ich przed czasem. Mamy jakieś założenia, że np. test A/B będzie trwał 30 dni i z wzoru na liczebność próby policzyliśmy, że musi przez niego przejść tyle i tyle osób, ale kończymy go wcześniej, bo w sumie widzimy, że zdecydowanie ta druga wersja działa lepiej, więc nie ma co dalej czekać.

Jest to duży błąd, bo wtedy popełniamy błąd pierwszego rodzaju, czyli taki podstawowy błąd we wnioskowaniu statystycznym, kiedy to pojawia nam się w danych coś, co tak naprawdę nie ma miejsca. Czyli w tym wypadku wyciągamy wniosek, że wersja B konwertuje lepiej, ale tak naprawdę one działają dokładnie tak samo. 

Myślę, że warto tu wspomnieć, że z jednej strony jest wyliczanie tych liczb, stosowanie pewnych wzorów statystycznych, ale żyjemy w czasach, kiedy ludzie przygotowali przepiękne kalkulatory i te rzeczy się dzieją bardzo łatwo. Nie ma co się przerażać, bo żeby dobrać te liczby, nie trzeba kończyć doktoratu. Wystarczy kliknąć w link.

Oprócz tego, że mamy kalkulatory, to większość programów i tak to wyliczy za nas. Nie musimy się tym martwić. 

W kontekście A/B testu, pamiętam jak jakiś czas temu, jak dopiero zaczynałem to robić, to dla mnie było odkryciem robienie na początek A/A testów. Wtedy okazało się, że dobranie tych grup spójnie, nie jest aż takie trywialne.

Czyli tak naprawdę dzieliłem te grupy na dwie części i pokazywałem im dokładnie to samo. Spodziewałem się, że statystyka musi mi udowodnić (załóżmy, że liczby dobrze dobrałem), że owe grupy są identyczne. Wbrew pozorom to na początek zwykle nie wychodzi.

Ale robiłeś ten test na całej populacji czy na jakiejś próbie?

Na większej grupie. Problem polegał na tym, że sposób, w jaki dzielimy te osoby, nie jest tak łatwo zaprogramować, bo np. Zośka, która wchodzi przez tablet, iPhone, komputer, za każdym razem może dostawać różne informacje.

Ostatecznie to się sprowadza do tego, że ta grupa jest podzielona w sposób zły (tzn. nie jest jednorodna). Musi być tak, że do jednej i drugiej grupy muszą trafić spójne obiekty czy osoby, w pewien sposób nie wyróżniające się. Nie może być tak, że do jednej grupy trafili emeryci, a do drugiej nastolatki. 

Wiadomo, ale właśnie dlatego przydzielamy ludzi losowo. My jako badacze (bo tak naprawdę, jeśli implementujemy taki test, to jest to forma badania), nie mamy żadnego wpływu na to, kto zobaczy wersję A, a kto wersję B. Jest to taka forma kontroli statycznej, czyli właśnie próba okiełznania tych innych zmiennych i czynników, które mogą mieć znaczenie dla zmiennej zależnej (w naszym wypadku – dla konwersji).

Toteż tutaj ta losowość jest kluczowa i dlatego Cię zapytałam, czy przeprowadzałeś ten test na całej populacji (czyli absolutnie wszystkich, którzy np. weszli na tę stronę) czy np. tylko przez 3 dni. Wtedy to również nie jest losowa próba, bo może przez te 3 dni coś się działo, np. były matury, a Ty akurat sprzedajesz e-booki, jak się szybciej uczyć i zdecydowanie więcej maturzystów niż zwykle weszło na Twoją stronę.

Absolutnie żaden test A/B i żadna analiza danych nie jest prosta. Jest zawsze mnóstwo czynników, o których musimy pomyśleć, ale to też jest zupełnie ok, jeśli sobie eksperymentujemy, próbujemy znaleźć odpowiedź na jakieś pytania i nam to nie wychodzi. Największą zaletą takiej podstawowej analityki jest to, że dostęp do tych wszystkich danych jest darmowy.

Jedyne co tracimy, to czas, który może być i jest szalenie cenny. Jednakże to nie jest tak, że podejmujemy jakieś podstawowe próby analizy i żeby ich dokonać, musimy od razu zapłacić kilkaset dolarów. Absolutnie w każdej wersji, nie ważne po co my używamy takiej analizy danych czy wnioskowania, dajmy sobie przestrzeń na to, żeby się czasem mylić. Ja też się czasem mylę, wyciągam pochopne wnioski, też daję się czasem wpuścić w maliny.

To nie jest tak, że jak coś tam nam nie wyjdzie to powinniśmy rzucić to na zawsze i już nigdy w życiu na to nie spojrzeć, bo jesteśmy głąbami matematycznymi. Tylko dajmy sobie przestrzeń na to, żeby właśnie eksplorować, sprawdzać i uczyć się na własnych błędach.

To popieram, popełnianie błędów jest najlepszym rozwojem pod warunkiem, że wyciągamy wnioski. Jak słyszę o testach A/B, to od razu czuję taki wewnętrzny szacunek do tego, bo żeby to zrobić dobrze, to trzeba to robić nie dorywczo.

Nie da się tego zrobić szybko. Szybki test A/A podnosi trochę szacunek do tego, żeby nauczyć się robić to dobrze, ale jak już złapiesz, o co chodzi, to wtedy naprawdę daje to bardzo fajne odpowiedzi. Nagle się okazuje, że pewne rzeczy, które firma robiła przez pół roku, tak naprawdę w ogóle nie wpływają na sprzedaż. W sposób logiczny nasuwa się pytanie, czy mogliśmy tego nie robić? 

Jeszcze jest taki jeden obszar, o który chciałem Cię zapytać. Na Twoich prezentacjach często opowiadasz o ankietach. W jaki sposób takie ankiety konstruować? Jak zadawać pytania? Czy sposób sformułowania pytania wpłynie na wynik? Ostrzegasz też, że jeżeli zachęcisz swojego słuchacza, uczestnika, klienta, żeby ankietę wypełnił, bo dajesz mu jakiś bonus, to zwiększasz szansę na bzdurne wyniki i też trzeba być na to wyczulonym. Jak zrobić to dobrze?

Byłabym ostrożna, z mówieniem „na pewno”, że np. na pewno źle wypełni, jak damy mu jakiś gratis albo wypełni na “odwal się”. To nie jest tak. W niektórych sytuacjach danie osobie czegoś za wypełnienie ankiety, zadziała bardzo dobrze. W innych nie będzie to najlepszym pomysłem. Podawałam ten przykład dlatego, że musimy pamiętać, że choćbyśmy zaoferowali ludziom coś najlepszego na świecie za wypełnienie ankiety, to jeśli ta ankieta jest źle skonstruowana, to oni jej nie wypełnią.

Nie będzie to wynikało z ich złej woli, tylko jeśli nadwyrężymy trochę ich cierpliwość (np. poprzez zadawanie pytań, których nie da się zrozumieć albo poprzez zadawanie 300 pytań i liczenie na to, że ktoś spędzi 2 godziny swojego życia, odpowiadając na naszą ankietę) to nic nam nie pomoże. Wiem, że to nie zabrzmi zbyt dobrze, ale w mojej książce “Statycznie rzecz biorąc” są 3 rozdziały dotyczące badań ankietowych.

Jestem trochę dumna z tego, jak je skonstruowałam dlatego, że jestem absolutną psychofanką badań ankietowych. To jest moje ulubione zlecenie, gdy dostaje od firmy briefing, że chcą przeprowadzić badania ankietowe i jak to zrobić dobrze. Dlaczego aż 3 rozdziały? Większość ludzi myśli: „Dobra, biorę kartkę papieru, szkicuję pytania i rozdaję”. No nie, w badaniach ankietowych najpierw musimy pomyśleć o dobraniu odpowiedniej próby, czyli kto naszą ankietę dostanie.

Później powinniśmy pomyśleć, jak prawidłowo skonstruować te pytania i tu czyha na nas bardzo dużo pułapek, które są bardzo dobrze zbadane. Mamy np. efekt kolejności pytań, czyli to, które pytanie pojawi się po którym, może w jakiś sposób wpłynąć na odpowiedź. Oczywiście na to też mamy remedium. Możemy np. wyświetlać pytania losowo, gdy jest taka możliwość.

Jest mnóstwo błędów poznawczych, na które nasi respondenci są narażeni, np. efekt społecznych oczekiwań, czyli że odpowiadają nie tak jak jest zgodnie z prawdą, tylko tak jak myślą, że jest pożądane społecznie. Mówię o tym wszystkim, bo to jest naprawdę bardzo szeroki temat. Ja np. na Infoshare miałam wystąpienie dotyczące badań ankietowych i ono przybliżyło te wszystkie niebezpieczeństwa, związane z projektowaniem złych kwestionariuszu – ale te 20 minut to zdecydowanie za mało. Są całe podręczniki, jak przeprowadzać takie badania.

Warto to robić trochę skuteczniej i trochę lepiej niż: „Mam 5 minut to naszkicuję sobie na kartce 5 pytań, rozdam rodzinie i na tej podstawie będę wiedzieć, czy wprowadzić nowy produkt na rynek”. Można się zdziwić i stracić bardzo dużo pieniędzy.

A propos prezentacji o ankietach przypomnę pewne slajdy. Na jednym pojawiło się zadanie: „Opisz siebie” i to zwykle wypełniało 85% osób i 2-4 słowa średnio się pojawiały w opisie. Jak pytanie brzmiało: „Opisz siebie dokładnie w 7 słowach” to wzrosła ilość słów z 2-4 do 4,5 i 98% osób to wypełniło.

Inny przykład miał jeszcze lepsze wyniki. Tam pytanie brzmiało: „Wymień Twoje ulubione potrawy” i wtedy padała średnia 6 słów, a przy pytaniu: „Wymień Twoje ulubione potrawy dokładnie w 2 minuty”, średnia słów wyniosła 35. To robi efekt wow, więc polecam obejrzenie tej prezentacji. Jest bardzo ciekawa, można się wiele nauczyć i zastosować.

Nawiązując nieco do prezentacji, spróbujmy powiedzieć, czym jest tzw. psychografia. Dlaczego ona może być pomocna? Później nawiążmy do raportu Deloitte. Chciałbym rozwinąć ten temat o rozjazd wyników w ankietach. Później jak sprawdzisz de facto, to jest nieco inna rzeczywistość, niż nam mogła się wydawać.

Psychografia to jest bardzo bliska kuzynka demografii. Jest to taki trochę rys psychologiczny i behawioralny naszych odbiorców, czyli np. czym się interesują. Częścią psychografii jest to, jakich wyborów dokonujemy, czym jesteśmy zainteresowani.

Marketing online daje nam wspaniałe możliwości, by to sprawdzać. Możemy to sprawdzić na Facebooku, w Google Analytics. Możemy, jeżeli przeprowadzamy badania ankietowe, również o to zapytać i stworzyć profil psychograficzny osoby. Problem polega na tym, że zawsze musimy mieć z tyłu głowy, że nie zawsze wiemy, jaka jest jakość tych danych zastanych.

Mówiłam o tym w kontekście raportu Deloitte, który to rynku w Wielkiej Brytanii postanowił sprawdzić. Zwyczajnie wziął jakąś grupę danych zastanych o swoich klientach i następnie każdego z tych klientów spytał: „Ok, to jest to, co wie o Tobie Internet. Czy to prawda?”. Tam okazało się, że istnieje bardzo wiele zmiennych, które są kluczowe dla naszych analiz i wniosków, które bardzo często są nieaktualne albo nieprawidłowe, np. „czy masz dzieci, czy nie?” Kluczowa zmienna dla naszych produktów. Tam, o ile pamiętam było jedynie 50% trafności.

Ja mam tu pod ręką. Tam było dla 2/3 – maksymalnie 50%, a dla 1/3 – maksymalnie 25%.

Patrz, ile danych było nieaktualnych lub nietrafnych. Wiemy, że coś takiego istnieje, bierzemy pod uwagę, że zwłaszcza te dane psychograficzne, które dostarcza nam Facebook czy Google Analytics, mogą być niedoskonałe. Mamy to z tyłu głowy, ale to nie znaczy, że musimy je wyrzucić do kosza. Musimy starać się wyłuskać z tego całego jeziorka danych te najwyższej jakości.

To, co udowodniło nam Deloitte, to nazywa się signal to noise ratio, też o tym mówię w prezentacjach. Czyli to jest właśnie taki stosunek danych, które są nieprawidłowe, są pewnym szumem (np. ktoś się zapisał do naszego newslettera 5 lat temu i wciąż tam jest, ale tak naprawdę w ogóle naszych maili nie czyta) do danych, które rzeczywiście coś sygnalizują, czyli niosą nam jakieś informacje.

Czasem nic z tym nie zrobimy, jeśli Facebook nam mówi, że nasi użytkownicy mają takie i takie zainteresowanie, to możemy się starać to zweryfikować np. badaniem ankietowym (to też będzie niedoskonałe, ale zawsze coś), ale czasem możemy to sprawdzać, np. czyśćmy co jakiś czas swojego newslettera i usuwajmy ludzi, którzy od 5 lat nie otworzyli żadnego maila, bo tracimy na nich pieniądze.

Nie potrzebujemy mieć takich ludzi w bazie, z pożytkiem również dla tych ludzi, ponieważ nie będziemy im zaśmiecać skrzynki. Co jakiś czas, sprawdzajmy jakość swoich danych. Sprawdzajmy, na ile mamy aktualne dane o klientach. Na ile to, w jaki sposób dane urządzenie pobiera te dane, jest prawidłowe i na ile możemy temu ufać.

Wszystko, o czym dzisiaj mówimy, sprowadza się tak naprawdę do tego, jakby mówić, że kochamy te komórki Excela, ale od tych komórek Excela znacznie ważniejsze są nasze szare komórki i żeby o wszystkim co robimy, mierzymy – pomyśleć. Wracamy do Twojego pierwszego pytania, że statystyka jest narzędziem, ale jeśli nie używamy jej mądrze i nie będziemy myśleć o tym, co robimy, co analizujemy, jakie wnioski wyciągamy, to możemy się przejechać na tym.

W sprzedaży, w zespołach marketingu ostatnio dość popularne się stało robienie person, czyli stwierdzenie, jak wygląda potencjalna grupa klientów. Zwykle to działa tak, że otwieramy sobie Facebooka, patrzymy np. jakie tam są zainteresowania.

Twoja prezentacja również była na ten temat, kiedy browar był targetowany do złej grupy (obok był akademik). Jak oceniasz na dzień dzisiejszy, na ile sensowne jest tworzenie person w sposób manualny? Co możemy zrobić, żeby podnieść jakość tych person?

Tak, jest zasadne. Wiem, że ja korzystam dużo z osiągnięć techniki i różnych narzędzi analityki danych, ale jeśli chodzi o marketing to absolutnie nie neguję takich bazowych rzeczy, o których musimy myśleć, czyli np. tworzenia person czy strategii marki. Nigdy nie powinniśmy z tego rezygnować, bo żeby mieć co mierzyć, to musimy mieć jakąś sensowną jakość danych.

Dobrze by było, żeby mieć jeszcze jakiś sensowny, przemyślany biznes, bo pamiętajmy, że to nie jest też tak, że bierzemy wszystkie dane i mierzymy co popadnie, tylko to musi być zgodne z celem naszej marki i z naszą strategią. Tak, tworzenie manualne person, tworzenie szczegółowej strategii marki, zastanowienie się nad całą filozofią – jak najbardziej tak. To nie jest tak, że powinniśmy teraz wyrzucić za okno wszystkie podręczniki Kotlera.

Nie, wręcz przeciwnie, przyjrzyjmy im się z dużą dozą miłości. Czytajmy bloga Pawła Tkaczyka. Musimy zacząć od rzeczy bazowych w tworzeniu i budowaniu swojego biznesu, a potem przejść do zaawansowanych analiz.

Czyli pewnie tak jak to zwykle bywa, wygrywa pewien miks. Mistrz musi poznać wszystkie dziedziny i wybrać te najlepsze, które działają w tym konkretnym kontekście.

Często mówisz o tym, aby sprawdzać informacje w źródłach. Zwykle to wynika z tego, że faktycznie sporo osób pomija ten krok. Mnie martwi to, że jest pewien problem z tymi źródłami. Problem jest taki, że świat w tej chwili funkcjonuje w dość ciekawy sposób. Mam teraz na myśli to, że jest inna metryka sukcesu, tzn. naukowcom tak naprawdę zależy na tym, żeby dostać granty. To się stawia na pozycję numer jeden. 

No nie, to nie jest prawda. Nam nie chodzi o to, żeby dostać grant. My potrzebujemy dostać grant, by móc badać to, co chcemy.

W teorii jest właśnie tak jak powiedziałaś, ale de facto jak to badam, to zauważyłem, że jest pewne uzależnienie od tego, że dąży to w takim kierunku, że nie opłaca się, żeby te badania skończyły się porażką, bo jak się skończą porażką to ciężej będzie się obronić z tymi grantami.

Nie chcę teraz dyskutować, czy to, co powiedziałem jest prawdą, czy nie. Bardziej chcę zapytać – jak to działa u Ciebie? Jeżeli chcesz zbadać jakiś wątek i znajdujesz informację, np. ta informacja jest publikacją naukową, czy to już wystarczy, żeby Janina zaufała tej informacji, czy jeszcze są jakieś kryteria, dzięki którym to weryfikujesz i są takie przypadki, kiedy odrzucasz?

Czyli to, że jest taka publikacja, to nie jest wystarczające, żebyś zaufała i posługiwała się tą informacją w przyszłości?

Tu są dwie rzeczy. Po pierwsze – nie, nie jest tak, że potrzebujemy jakiegoś konkretnego wyniku, żeby dostać grant, bo grant dostaje się na przeprowadzenie badania. To jaki to będzie wynik, w żaden sposób sposób nie wpływa na to, czy dostanę te pieniądze czy nie. Dostaję je przed badaniem.

Druga rzecz jest taka, że zawsze powtarzam, że nawet jeśli coś nam w badaniu nie wyjdzie, to to nie jest porażka. Myślmy o tym w ten sposób, że np. wychodzi mi, że moje live’y w żaden sposób nie przekładają się na konwersję.

Teoretycznie jest to porażka, ale tak naprawdę nie, bo to też jest informacja, która pozwoli zoptymalizować moje działania w taki sposób, aby przynosiły zyski. Tutaj też zawsze podaję taki przykład, że jeśli mamy próbę kliniczną nowego leku i wychodzi nam, że on nie działa, to to nie jest porażka.

Informacja, że on nie działa, również jest informacją, że nie musimy tracić np. pieniędzy czy czasu pacjentów na podawaniu im leku, który nie przyniesie żadnych skutków tylko, że musimy szukać dalej. To nie jest tak, że szukamy tylko dobrych wiadomości. Jasne jest to, że chcielibyśmy, jak analizujemy dane dotyczące swoich działań marketingowych, zawsze widzieć, że wszystko się udaje i wszystko jest super. Ale nawet jeśli nie, to to jest informacja i potrafimy sobie z tym poradzić.

Jeśli chodzi o źródła, to jest to coś, o czym mówię bardzo często w świecie marketingu i nie tylko. Sprawdzajmy, kto wykonał dane badanie oraz na kim zostało przeprowadzone, w jaki sposób. Dlatego ja Cię zapytałam, w jaki sposób sprawdziłeś to, że ci badacze i granty funkcjonują, tak jak funkcjonują.

Sprawdzajmy, jeśli to był kwestionariusz np. ankiety, jakie pytania zostały zadane. Pamiętajmy, że wnioski to nie paprotki, więc nie można ich przesadzać z miejsca na miejsce. Istotne jest na jakim rynku, w jakim kraju i kiedy zostało przeprowadzone dane badanie. Jest cała checklista rzeczy, które musimy sprawdzić, żeby móc ocenić, czy ten wniosek jest rzetelny czy niekoniecznie, czy to teoria spiskowa czy badanie naukowe.

Myślę, że powinniśmy wyrobić w sobie taki nawyk. Obojętnie czy czytamy jakiś raport branżowy, czy jakiś artykuł na jakimkolwiek portalu. Niekoniecznie nawet branżowy, ale dotyczący świata czy jakiejś tam rzeczywistości społecznej. Miejmy taką checklistę w głowie i zawsze zadawajmy sobie te kilka podstawowych pytań.

Z tego co rozumiem, domyślnie stopień zaufania u Ciebie do publikacji naukowych jest dość wysoki, ale też trzeba to sprawdzać. Dla mnie to jest ważne, bo szczerze mówiąc, czasem czuję mocną samotność polegającą na tym, że jak czytam coś, zadaję sobie pytanie – czemu mam temu ufać?

Ten kontekst, zwykle pomijany, jest mega istotny. Teraz nawet nie chodzi o marketing, a o wszystkie tematy – chociażby pandemia, która się rozwija. W jaki sposób czerpać informacje i w jaki sposób mieć pewność, że mają one sens? Nie wszystko możesz zweryfikować. Nie masz laboratorium, w którym możesz powtórzyć ten sam wynik, więc stąd ta wątpliwość. Jestem ciekaw, jak Ty do tego podchodzisz.

To nie jest tak, że jeśli widzę, że artykuł jest naukowy, to w ciemno myślę sobie, że musiał być rzetelny. Niestety, już samo posiadanie tytułu naukowego nie oznacza, że ktoś jest rzetelny. Mamy też w nauce kilka spektakularnych przykładów przekłamań. Uważam, że zawsze możemy to zweryfikować, bo nawet jeśli jakaś gazeta nie podaje szczegółowej metodologii, to podaje skąd zaczerpnęła jakieś informację (np. z danego badania).

Wtedy wchodzimy na Google Scholar i szukamy artykułu źródłowego. To jest coś, o czym zawsze mówię. Możemy starać się wyciągnąć wniosek na podstawie czegoś, co pojawiło się na jakimś generycznym portalu i fajnie, że się pojawia, bo naukę też trzeba popularyzować. Nie jest to tak, że wszyscy muszą do śniadania robić przegląd artykułów naukowych. Ale jak coś nas wyjątkowo zainteresuje to zachęcam, byśmy sprawdzili to źródło w Google Scholar.

W sumie nawet nie, jak nas zainteresuje, ale nawet jeśli coś nas zdziwi i stwierdzimy, że to nie jest możliwe. Wtedy zajrzyjmy do raportu źródłowego i sprawdźmy to.

Jaki najpiękniejszy wykres widziałaś w swoim życiu? 

Nie wiem, ja lubię wszystkie wykresy. Zależy, co chcę z nich wyczytać. Raczej na odwrót jakbyś mnie zapytał, to ja mam cały folder złych wykresów takich, które manipulują i wprowadzają w błąd. Jeśli chodzi o mój ulubiony, to nie mam ulubionego. Zawsze sprawia mi dużo przyjemności patrzeć na dobre przykłady wizualizacji danych.

Dobrze, dziękuję bardzo za udzielone odpowiedzi. Powiedz jeszcze coś więcej na temat, nad którym ostatnio dłużej pracowałaś, czyli Twoją książkę. Komu ją polecasz? Co tam można znaleźć? 

Książka ma tytuł „Statystycznie rzecz biorąc”, co trochę naprowadza, o czym jest. Ma też podtytuł, który naprowadza jak jest napisana – „Ile trzeba zjeść czekolady, żeby zdobyć Nobla”. Tak sobie wymyśliłam jej strukturę, że rzeczywiście tłumaczę tam takie podstawowe zagadnienia tego, jak przeprowadzać badania naukowe, jak myśleć i wnioskować statystycznie. Od zupełnych podstaw do regresji.

Jest to książka popularnonaukowa dla absolutnie każdego. Moim celem było nauczyć ludzi, w jaki sposób weryfikować informacje. Jeśli chcą przeprowadzać badania, to jak przeprowadzać je prawidłowo. Również wykształcić taki nawyk, taką checklistę w głowie, jeśli gdziekolwiek o czymś czytamy, to w jaki sposób zweryfikować, czy to ma sens czy nie.

Z drugiej strony, głównie zależało mi na tym, żeby to rzeczywiście była książka dla każdego. Po pierwsze, żeby napisana była takim językiem, że absolutnie każdy zrozumie i z tego co dostaję feedback, czytają ją nawet nastolatki i bardzo im się podoba i jest dla nich zrozumiałe. Z drugiej strony, dla każdego w sensie, że nie ważne, czym się zajmujemy w życiu myślę, że każdy znajdzie tam coś przydatnego, co albo mu ułatwi życie prywatne, albo mu ułatwi życie zawodowe, albo i to i to.

Bardzo dziękuję za poszerzenie tej informacji, dla kogo jest ta książka i to, że osoby młode są zainteresowane, bo to jest bardzo ważne. Mam takie wrażenie, że jest taka trochę skrzywiona społeczność pod kątem nauk ścisłych.

Oczywiście, nie robiłem badań i mogę się mylić, ale jakoś matematyka i nauki ścisłe stają się mniej popularne w moim odczuciu. Podejrzewam, że takie książki popularnonaukowe zwiększą popularność tej dziedziny.

Dzięki wielki Janina za rozmowę i życzę Ci wszystkiego dobrego.

Dziękuję pięknie.

---

Tematy związane ze statystyką i tematy powiązane, czyli to, co już wędruje w uczenie maszynowe, to jest tak naprawdę już nasza rzeczywistość. Osoby, które wcześniej robiły zupełnie coś innego i są z zupełnie innej branży, też potrzebują mieć pewne narzędzia, aby podejmować decyzje.

Narzędzia te pojawiają się w różnych momentach naszego życia, np. posługujemy się samochodem albo autobusem, żeby dojechać do pracy i to już nikogo nie dziwi. Podobnie, elementy związane ze statystyką albo wszystkie modele, które już powstały w uczeniu maszynowym, bo uczenie maszynowe mocno się inspirowało na statystyce i to czasem się też przecina.

To jest ta rzecz, która będzie konieczna, żeby wyciągać wartościowe informacje i podejmować trafne decyzje. Oczywiście, tutaj zawsze jest obarczona błędem. Nie można liczyć na to, że to jest takie narzędzie, które mówi w sposób prosty 0 czy 1, kupi czy nie kupi. To jest praca z prawdopodobieństwem i wymaga dużego szacunku. Trzeba ostrożnie do tego podchodzić, ale ten kto próbuje, zaczyna rozumieć, jak tego używać.

Później już ciężko wyobrazić sobie życie bez takich narzędzi jak statystyka. Polecam sprawdzić, spróbować i rozwijać swoje umiejętności w tym kierunku, bo może się okazać, że wiele decyzji, które podejmujesz, podniesie swoją jakość, jeżeli będziesz robić to, wykorzystując statystykę.