Sztuczna inteligencja w sprzedaży

W tym odcinku dowiesz się:

• Jak działa oraz czym zajmuje się firma Schneider Electric?
• Jaka jest rola Michała w firmie?
• W jaki sposób sztuczna inteligencja może usprawnić proces sprzedażowy?
• Jak sprawnie przeprowadzić segmentację rynku na podstawie określonych danych?
• W jaki sposób rozmawiać z osobami decyzyjnymi w firmach oraz biznesach, aby przekonać ich do swojego rozwiązania?
• Czym jest „Joseph” oraz jaką pełni funkcję?
• Jak uczyć się na własnych błędach na przykładzie przeprowadzonych iteracji?
• Czy uczenie maszynowe zrewolucjonizuje proces sprzedaży w najbliższej przyszłości?

Otrzymałem bardzo dużo pozytywnych opinii o poprzednim odcinku z Januszem, za co Ci bardzo dziękuję. Wiele osób mnie pytało, czy mam konto na Patronite, czy na innych tego typu serwisach. Jak na razie, to nie mam i nie jestem pewien, czy gotów jestem je założyć z powodu poczucia takiej odpowiedzialności, że będę musiał starać się bardziej względem osób, które płaciłyby miesięczną kwotę. Może to nie są wielkie sumy, ale wiąże się to z dodatkową odpowiedzialnością. Cały czas się waham, a to co robię sprawia mi dużą przyjemność.

Jeszcze jedno ogłoszenie. Jeżeli używasz Spotify i akurat brakowało Ci tam BiznesMyśli, to podcast jest już tam dostępny! Wystarczy wpisać w wyszukiwarce BiznesMyśli i możesz posłuchać odcinków na Spotify.

Bardzo gorąco zapraszam do subskrybcji tego podcastu. Podzielenia się nim z przynajmniej jednym znajomym i dziękuję wszystkim osobom, które udzielają swoich opinii, oraz zostawiają “gwiazdki”. To jest właśnie moją motywacją do działania.

Z takich ciekawostek, które miały miejsce ostatnio. Ministerstwo Cyfryzacji opublikowało raport “Założenia do strategii AI w Polsce”. Ten raport zapowiada się bardzo ciekawie. Jest on troszkę obszerniejszy. Jeżeli nie miałeś okazji go przeczytać, to w notatkach znajdziesz link. Jeżeli chciałbyś abym go streścił, to daj znać. Postaram się to zrobić.

Mówi się, że uczenie maszynowe, albo tak zwana sztuczna inteligencja przyczynia się do zmian wielu zawodów. To jest raczej prawda. Myślę, że z tym się zgodzisz. Oczywiście to też dotknie obszaru sprzedaży. Sprzedaż stanie się bardziej efektywna.

Dzisiejszym gościem jest Michał Korzycki, który pracuje jako Head of Data Science w Schneider Electric. Opowie bardzo ciekawe i inspirujące historie oparte na własnym doświadczeniu, kiedy to prawdziwy lider bierze całe ryzyko na siebie, aby ostatecznie zostać zwycięzcą. Czasami podejście do sprawy od całkiem innej strony jest kluczem do sukcesu.  

---

Cześć Michał, przedstaw się: kim jesteś, czym się zajmujesz, gdzie mieszkasz?

Dzień dobry. Nazywam się Michał Korzycki. Mieszkam w Krakowie, ale dużą część swojego czasu spędzam oraz pracuję w Warszawie. Jestem Head of Data Science w dziale Global Analytics firmy Schneider Electric.

Co ostatnio czytałeś?

Z branżowych tematów, to dwie książki w ciągu ostatniego miesiąca mnie bardzo zainteresowały. Jedna z nich jest mocno techniczna. Wszystkim zainteresowanym algorytmami mogę polecić książkę: “Introduction to Algorithmic Marketing”, autorstwa Ilya Katsova, która moim zdaniem jest jednym z lepszych zbiorów wszystkich dostępnych algorytmów używanych najczęściej w marketingu oraz w przetwarzaniu danych w biznesie. Uważam, że dla każdego Data Scientista to doskonała lektura po która warto sięgnąć.

A druga książka która mnie zainteresowała, to “Exponential Organizations” autorstwa Samila Ismaila. Książka ta mówi o tym, w jaki sposób nowoczesne organizacje rosną i są budowane z mocnym nastawieniem na wzrost. Jest to bardzo odświeżająca lektura dla wszystkich, którzy spotykają się z tarciami w życiu codziennym w organizacjach w których uczestniczą. Wiele rzeczy można robić w zupełnie nowy sposób, także gorąco polecam.

Bardzo dziękuję za rekomendacje. Tą pierwszą książkę czytałem i według mnie to jest taka cegiełka, która zawiera dużo niezbędnych informacji. Z początku może nie wydaje się trywialnie prosta, ale faktycznie zawiera dużo praktycznej wiedzy. Pracujesz jako Head of Data Science w Schneider Electric. Zdradź nam coś więcej o tej firmie. Czym się zajmuje? Wiem, że ma ona dłuższą historię. Jakie problemy próbujecie rozwiązać oraz na jak dużą skalę?

https://www.youtube.com/watch?v=IXGp0zMioJ4

Schneider Electric jest globalną korporacją, która zajmuje się urządzeniami związanymi z energią elektryczną. Pewnie większość z was wszystkich spotkała się z produktami Schneidera w sklepach ze sprzętem elektrycznym. Gniazdka, przełączniki, tego typu rzeczy. Ale Schneider Electric dostarcza także produkty nie tylko na rynek konsumencki, ale przede wszystkim dla użytkowników przemysłowych. Więc mamy też gniazdka i przełączniki. Są one stosowane w fabrykach na liniach produkcyjnych, czy wreszcie są to urządzenia do sterowania systemami energetycznymi. Jeśli chodzi o wielkoskalowe problemy z jakimi się spotykamy, to są one przede wszystkim związane z olbrzymią złożonością rynku.

Sama firma też jest niezwykle skomplikowana wewnętrznie, ze względu na to, że ma ona już przeszło 150 lat historii przez które nieustannie się zmieniała, ewoluowała. Mamy bardzo wiele osobnych jednostek, które funkcjonują niemalże jak osobne biznesy. Mamy także bardzo wiele rynków docelowych. Działamy na 150 rynkach krajowych z 88 przedstawicielstwami krajowymi. To jest naprawdę globalna organizacja, z globalnymi problemami i przy takiej masie danych które tak naprawdę stanowią, można powiedzieć krew tej organizacji, skuteczne zarządzanie tymi danymi stanowi poważny problem. Ja staram się dołożyć tutaj swoją cegiełkę, aby pomóc tej organizacji w tym, aby zapanować nad złożonością danych i problemów z którymi się spotykamy.

Ten temat chciałbym teraz poruszyć. Jaka jest Twoja rola w tej organizacji? Czym dokładnie się zajmujesz?

Moja rola w organizacji jest o tyle ciekawa, że nasz cały dział Global Analytics podpięty jest bezpośrednio pod dział marketingu i sprzedaży, co powoduje, że projekty są niezwykle blisko biznesu. Mają one charakter dużo bardziej związany z rynkiem, niż takie długotrwałe, duże, ciężkie projekty IT. Tutaj, ze względu na to, że mamy bezpośredni kontakt z ludźmi którzy są na rynku, bardzo szybko oczekiwane są rezultaty, ale tym samym otrzymują bardzo szybki feedback ze wszystkich naszych prac i dostarczonych analiz. Czasem są one pozytywne, czasem negatywne, ale na pewno szybkie. I ta dynamika oraz tempo jest jednym z tych rzeczy, która mnie tutaj naprawdę interesuje. Jak wspomniałem, z tego względu że zajmujemy się projektami, które mają relatywnie krótki czas życia, mówimy tutaj bardziej o skali miesięcy, niż kwartałów lub lat. Poruszamy się w bardzo szerokim zakresie problemu, począwszy od optymalizacji pricingu, optymalizacji kampanii marketingowych, aż wreszcie po takie rzeczy jak budowanie automatycznych systemów do prospectingu, czy poszukiwania nowych klientów na rynku.

Bardzo interesujące. Dzisiejszym tematem głównym będzie: jak tak zwana sztuczna inteligencja, albo uczenie maszynowe może zmienić proces sprzedażowy. Warto na początku wspomnieć, że nie chodzi tylko i wyłącznie o samą technologię czy algorytmy. Chodzi tutaj o coś więcej, aby uzyskać tę wartość dodaną. Może zacznijmy od początku. Pytanie: Jakie, oraz dla kogo są przeznaczone produkty waszej firmy?

Firma Schneider Electric dostarcza produktów szeroko powiązanych z energią elektryczną. Są to zarówno produkty przeznaczone na rynek konsumencki, typu gniazdka i przełączniki. Są to też produkty skierowane bezpośrednio dla elektryków i osób realizujących instalacje elektryczne, zarówno w domach mieszkalnych, jak i również w halach fabrycznych, galeriach handlowych, szpitalach, aż wreszcie skończywszy na producentach sprzętu oraz producentów wyposażenia elektrycznego.

Każdy z tych segmentów rządzi się swoimi własnymi prawami i wymaga zupełnie innego rodzaju wyposażenia. Najczęściej zatem większość problemów które rozpatrujemy są ściśle ograniczone do określonego segmentu rynkowego, określonego typu klienta, jak i bardzo często są też skierowane na konkretny rynek krajowy, w innym regionie świata.

Chciałbym też zapytać o segmentację, a w szczególności o podejście które stosowaliście wcześniej. W jaki sposób przeprowadzaliście segmentacje rynku na podstawie danych, które posiadaliście? Jak to przebiegało przed tą zmianą, o której wspomnimy za chwilę?

Wiadomo, że nie da się prowadzić biznesu bez posiadania dobrych baz opisujących klientów. W przypadku tak złożonego rynku, jaki obsługuje Schneider Electric te dane są absolutnie kluczowe po to, aby móc skutecznie skierować naszą ofertę do danego klienta. Problem jednak z którym się dość szybko zetknęliśmy był taki, że klienci często byli klasyfikowani do jednego segmentu rynkowego i oferta odpowiadająca danemu segmentowi była na nich kierowana, kiedy tak naprawdę we współczesnej sytuacji rynkowej wszyscy muszą być niezwykle elastyczni i zajmują się często innymi aspektami, niż tylko jednym rodzajem działalności.

Zaniżając naszą ofertę tylko i wyłącznie do jednego profilu klienta, traciliśmy olbrzymie możliwości dokonania czegoś, co nazywamy cross-selling, czyli dołożenia dodatkowych elementów do naszej oferty, które znacznie wykraczają poza podstawową klasyfikację tego klienta, ale jednocześnie zaspokajają jego potrzeby. Ta segmentacja przykładowo, jeżeli mamy firmę która jest zaklasyfikowana jako integrator systemów, mamy specyficzną ofertę kierowaną bezpośrednio do nich. Są to często inteligentne systemy, które mają mikrokontrolery, moduły programowalne, które pomagają integratorom systemów stworzyć odpowiednie rozwiązania z kolei dla ich klientów.

Jak się okazało dzięki naszym analizom, bardzo wielu integratorów systemów zajmuje się także produkcją tak zwanych szaf rozdzielczych, albo szaf elektrycznych. Większość z nas zna tego typu rozwiązania, na przykład z własnego mieszkania. Jest to po prostu to “pudełko”, w którym mieszczą się bezpieczniki. Jak możecie sobie wyobrazić, tego typu szafa rozdzielcza w przypadku galerii handlowej staje się dość dużym i skomplikowanym urządzeniem. Wytworzenie tego typu urządzenia jest procesem nietrywialnym i wymaga odpowiednich narzędzi w które dany klient musiał zainwestować. Na przykład wykrycie tego, że ktoś ma potencjał tworzenia tego typu szaf rozdzielczych można określić z teorii lub przynajmniej z danych które posiadamy. Nie identyfikujemy tego, jako jego podstawowej działalności. Oznacza to, że może on być doskonałym odbiorcą dla produktów Schneidera, które nadają się do włożenia do takiej szafy rozdzielczej. Możemy też uzyskać odpowiedź na pytania typu, czy istnieją dodatkowe elementy w naszej ofercie, którymi klienci byli potencjalni zainteresowani. Taki był cel tego systemu i tego projektu.

Myślę, że teraz nadszedł odpowiedni moment, aby przejść do liczb. Mamy proces, który nie jest idealny. Każdy proces może zawierać wady. Jaka była skuteczność sprzedaży, która była promowana właśnie przy pomocy tego procesu który opisałeś?

Oczywiście, pierwszym wyzwaniem w kwestii biznesowej jest zbudowanie odpowiednich metryk i zmierzenie tej skuteczności. Często jest to tak naprawdę pierwsze zadanie wszelkiego działu analiz, czy data science. W momencie, jak rozpoczęliśmy badanie klientów i potencjalne wyszukiwanie możliwości rozszerzenia tej oferty, kiedy robiliśmy to w oparciu o wiedzę dostarczoną przez nasz dział handlowy, jak naprawdę powinien wyglądać idealny proces zakupowy, idealny koszyk potencjalnego, na przykład konstruktora tablic rozdzielczych, to skuteczność tego systemu była na poziomie 13%. Czyli 13% spośród stu firm które identyfikowaliśmy jako potencjalnych konstruktorów paneli. To oczywiście było całkowicie niezadowalającym wynikiem i wymagało poprawy, ale przynajmniej mieliśmy jakąś podstawową metrykę od której moglibyśmy zacząć, i przyznam się szczerze, że przy tak niskim pułapie startowym jakakolwiek poprawa może być odebrana jako coś pozytywnego..

I co było pierwszym krokiem? W jaki sposób poprawiliście tę metrykę?

Pierwszym krokiem w celu poprawy metryki nie było od razu rzucenie się na dane, na algorytmy, na rozwiązania, które byśmy nazywali rozwiązaniami czysto technicznymi. Musieliśmy tutaj wprowadzić zupełnie inny sposób myślenia o rozwiązywaniu problemów biznesowych. Musiał być to przynajmniej inny sposób od tego, który stosowaliśmy przez wiele poprzedzających miesięcy. To zadanie segmentacyjne trwało już ładnych kilka miesięcy i tak naprawdę zarówno my, jako analitycy, jak i dział Data Science, jak i bezpośredni dział sprzedaży z którym współpracowaliśmy widział, że tak naprawdę nie jesteśmy w stanie do niczego dojść. Robiliśmy coraz bardziej pogłębione analizy na podstawie danych które mieliśmy, ale tej skuteczności w żaden sposób nie byliśmy w stanie poprawić. Był to moment w którym frustracja obydwu stron osiągnęła ten punkt, że wiedzieliśmy, że coś musimy zmienić, albo po prostu zamknąć projekt.

Ja zaproponowałem wtedy zmianę podejścia. Zamiast dostarczać nieustannie analizy na zamówienie działu biznesowego, zaproponowałem podejście, które można by w pewnym stopniu nazwać podejściem “zwinnym”, gdzie przede wszystkim zobowiązaliśmy się do pracy w cyklach dwutygodniowych. I chociaż nie wiadomo co by się działo, mieliśmy co dwa tygodnie dostarczać nowe wyniki, ale w zamian za to nasze zobowiązanie oczekiwaliśmy, że strona biznesowa każde nowo przedstawione wyniki również zwaliduje w dwutygodniowym terminie. Oznacza to, że po dostarczeniu wyników nigdy nie czekaliśmy dłużej niż dwa tygodnie na odpowiedź. Czy to podejście było prawidłowe? Można na to spojrzeć jako działanie bardzo podobne do czegoś, co na rynku konsumenckim nazywane jest testami AB.

Czy jesteśmy w stanie pokazać, przypuśćmy dwóch wersji tej samej strony www. Jedna wersja jest pokazywana jednej grupie konsumentów, druga wersja drugiej. Mierzymy jakąś metrykę typu click-through rate, albo poziom konwersji. Na podstawie tego, która wersja strony lepiej się sprawdza, taką wybieramy jako tą, którą używamy. Ze względu na to, że my jesteśmy firmą typu brick and mortar, gdzie ten portal sprzedażowy ze względu na złożoność produktów i projektów jest rozciągnięty często na miesiące, tego typu walidacja w takim trybie nie jest możliwa. Zatem, zaproponowanie pracy w trybie “zwinnym”, w krótkich cyklach pracy dwutygodniowych, było tak naprawdę przeniesieniem pomysłu z rynku konsumenckiego do rynku B2B, na którym Schneider tak naprawdę się znajduje. Pozwoliło nam to walidować kolejne hipotezy na temat tego, gdzie i jak możesz szukać klientów i w jaki sposób weryfikować dane.

Wymagało to też olbrzymiej ilości wyrozumiałości ze strony biznesu, ponieważ zapowiedzieliśmy im, że będziemy walidować kolejne hipotezy i jedyną rzeczą, jaką byliśmy w stanie zagwarantować było to, że wiele z tych hipotez będzie nieudanych. Więc na pewno w ciągu pierwszej, drugiej, trzeciej, czwartej i może nawet piątej iteracji nie zobaczą poprawy tych metryk które sobie założyliśmy. Dopiero jak sprawdzimy wszystkie pomysły, które mieliśmy i żaden z nich się nie uda, to mieliśmy nadzieję że ten jeden pozostały pomysł jest tym, który zadziała.

Często tutaj przytaczana jest pewna historia o Edisonie, który miał wypróbować 10000 różnych materiałów na włókno żarówki. Nie jestem pewien czy ta historia jest prawdziwa, ale ona dość dobrze ilustruje tego typu podejście. Na pytanie do Edisona, czy uważa to za porażkę, że musiał sprawdzić 10000 materiałów powiedział: “oczywiście że nie, bo sprawdziłem 9999 materiałów, które nie działały po to, żeby odkryć ten jeden który działa.” Dokładnie to jest ten sposób rozumowania i podejście które zastosowaliśmy. Wymagało ono olbrzymiej wyrozumiałości ze strony biznesu, za co mam do nich pełne uznanie.

Z jednej strony, bardzo logicznym jest popełnianie błędów w celu zrozumienia czegoś. Jeżeli chodzi o struktury, to wasza organizacja jest bardzo duża. Jak udało się przekonać biznes żeby zaczęli współpracę na takich warunkach. Jeśli poszedłbyś do prezesa, czy przełożonego, to prawdopodobnie nie przystanie na takie rozwiązanie. Czy jest na to jakiś sposób, aby przekonać biznes do wdrożenia takiego rozwiązania?

Przede wszystkim, decyzja o tym żeby przejść na pracę w tym trybie wiązała się z bardzo dużą frustracją z obydwu stron. Kiedy widzieliśmy, że w żadną stronę nie idziemy i jeżeli nie zmienimy w ogóle sposobu myślenia i działania, to i tak donikąd nie dojdziemy. Byliśmy już wtedy w sytuacji, w której mieliśmy niewiele do stracenia. Z drugiej strony, przedstawiliśmy bardzo silne zobowiązanie. Raz, że dyscyplinujemy się i bezwzględnie co dwa tygodnie są dostarczone nowe wyniki. Warto tu wspomnieć, że ten cykl projektowy przynajmniej w korporacjach ze względu na tarcia procesowe często jest dużo dłuższy, więc to już było pewnego rodzaju innowacją. W organizacjach które są lżejsze, będą sugerowane jeszcze krótsze cykle, nawet tygodniowe, przy czym rytm i bezwzględna dyscyplina jest tutaj jedną z rzeczy która posiada najbardziej przekonywujący czynnik.

A druga rzecz, zobowiązaliśmy się, że dostarczymy te wyniki w ciągu dziesięciu iteracji, przy czym powiedzieliśmy, że pierwsze dziewięć iteracji było nieudanych. Prawdopodobnie ta ilość iteracji jest oczywiście też do dobrania w zależności od poziomu cierpliwości oraz budżetu którym dysponujemy do realizacji danego projektu. Pierwsze u nas obiecujące wyniki pojawiły się w okolicach ósmej iteracji, więc tak naprawdę przez siedem iteracji musieli znosić absolutne porażki z naszej strony. Było to pewnego rodzaju ryzyko, które obydwie strony muszą być gotowe podjąć. Przyznaję, że o ile z naszej strony rzeczywiście był to pewnego rodzaju blef i zagrywka pokerowa, o tyle z drugiej strony biznesu wymagało to z ich strony dość dużo odwagi i wyrozumiałości.

Brzmi to bardzo ciekawie, zwłaszcza kiedy jesteśmy przy siódmej iteracji, a wynik jakoś szczególnie się nie poprawia. Z jednej strony, na pewno ciśnienie całego zespołu się podniosło, ale z drugiej zaangażowanie było proporcjonalnie większe. Ale przejdźmy teraz do liczb. Zaczęliście iterować, i jakie wyniki otrzymaliście na początku?

Początkowy wynik na poziomie 13% to było wyszukanie klientów, którzy mieli przedstawiony ten perfekcyjny koszyk zakupowy przez biznes. Okazało się to oczywiście zupełnie nietrafione. Już nie wchodząc głębiej w analizę, dlaczego to było nietrafione, nasza interpretacja była taka, że to nie koszyk był źle opisany, tylko klienci kupują z danej puli produktów, która ich interesuje u różnych dostawców, więc my widzimy tylko ten drobny wycinek ich zakupów. Na podstawie drobnego wycinka nie jesteśmy w stanie prawidłowo zidentyfikować ich zachowań. To było pierwsze podejście. W kolejny podejściu użyliśmy typowego Data Science.

Powiedzieliśmy: “nie, prawdopodobnie ekspercka wiedza, którą tutaj mamy jest niewystarczająca, zbudujmy typowo machine learningowy system. Dajcie nam idealnych klientów, a my zbadamy jakie mają naprawdę koszyki, wytrenujemy na tej podstawie model i przełożymy ten model do dużej bazy danych sprzedażowych, którą posiadamy”. I rzeczywiście, tutaj skuteczność wzrosła do 15%.

Testowaliśmy bazy danych, które wzbogaciliśmy różnymi źródłami. Zarówno z różnych naszych systemów korporacyjnych których mamy całkiem sporo, jak i z zakupionych baz zewnętrznych. Niestety, ta skuteczność nadal oscylowała wokół kilkunastu procent. Przełomowy moment nastąpił w okolicach piątej, szóstej iteracji. Zaprosiliśmy doświadczonego sprzedawcę, który usiadł z nami przy stole i zaczął opowiadać o swojej pracy, o swoich klientach. To był człowiek który “zjadł zęby” na tym biznesie. Wiedział nawet co jego klienci jedzą na śniadanie. Zaczął nam opisywać, jak wygląda warsztat. Skupiliśmy się wtedy tylko na jednym, bardzo wąskim wycinku, aby otrzymać doskonały obraz oraz pomiar. Skupiliśmy się też na poszukiwaniu tych idealnych, potencjalnych konstruktorów tablic rozdzielczych. Zaczął on nam opisywać na czym polega proces tworzenia takiej tablicy.

Opowiadał również o elementach z których się taka tablica składa. I w tym momencie nas olśniło. Przecież klient, który posiada tego typu możliwość tworzenia takich tablic rozdzielczych, musi posiadać do tego cały warsztat. Skoro on w niego zainwestował, to prawdopodobnie jest również zainteresowany pochwaleniem się swoim potencjalnym klientom, że on nie tylko ma jakąś działalność, ale także tworzy tablice rozdzielcze. A skoro chce się tym pochwalić, to prawdopodobnie umieścił wszelakie informacje na ten temat na swoich stronach głównych. I to jest moment, w którym wyszliśmy poza typowe dane sprzedażowe, dane w bazach zewnętrznych i zbudowaliśmy “pająka”, który chodził po sieci i wchodził na strony potencjalnych klientów.

On odczytywał te strony i wyszukiwał fraz, które by wskazywały na to, że rzeczywiście ktoś ma możliwość tworzenia tablic rozdzielczych. To był moment, w którym skuteczność wyszukiwania gwałtownie wzrosła do 50%. Nastąpiło to w okolicach siódmej, ósmej iteracji. Mieliśmy wrażenie, że tym sposobem znaleźliśmy wreszcie brakujący element. Przez kolejne dwie iteracje szlifowaliśmy model statystyczny na naszej bazie treningowej. Doszliśmy do skuteczności na poziomie 85%. Ale jak można zaobserwować, musiało to zająć aż 5, 6 iteracji, abyśmy wreszcie doszli do sedna sprawy i zorientowali się na czym polegało odkrycie tego, że ktoś jest w stanie konstruować tablice rozdzielcze.

To podejście okazało się całkiem skalowalne. Możliwość wyszukiwania tylko i wyłącznie budowniczych tablic rozdzielczych i do tego w Polsce, w skali w firmie Schneider Electric. Po tym wszystkim udało się nam przenieść dokładnie ten software, tylko z trenowaniem go oczywiście na innych danych, na rynek hiszpański. Swoją drogą dowiedziałem się wtedy, że budowniczych tablic rozdzielczych po hiszpańsku nazywa się “quadrista”. Właśnie tego musieliśmy nauczyć nasz system, (który operuje oczywiście różnymi językami). Czytać strony w  językach lokalnych. Aktualnie, posiadamy ten system działający w języku hiszpańskim. System działa również na rynkach francuskojęzycznych, gdzie wyszukuje potencjalnych klientów do systemów zarządzania inteligentnymi budynkami.

Do “Josepha”, czyli o to jak nazywa się to rozwiązanie przejdziemy za chwilę, ale pozwolę się troszkę cofnąć do tego momentu kiedy zaprosiliście osobę, która rozumie ten proces. Warto zapraszać osoby, które posiadają taką wiedzę i chcą się z nią podzielić, natomiast pozyskanie wiedzy od takiej osoby nie jest aż tak proste jak się wydaje. To jest w pewnym sensie nawet sztuka.

Chodzi też o odpowiednie zmotywowanie takiej osoby, gdyż może ona sobie pomyśleć, po co im ta wiedza, itp. Oczywiście, wiele zależy od osobowości takiej osoby. I tutaj rodzi się kilka innych wyzwań oraz pytanie. Czy mieliście jakiś konkretny scenariusz, czy po prostu rozmawialiście z tą osobą przez kilka godzin? W jaki sposób przygotować się do takiej rozmowy?

Cofnę się do momentu, jak w ogóle do tej rozmowy doszło. Sprzedawcy są ludźmi, którzy są niezwykle zapracowani, mają ciasny kalendarz, mają cele do realizacji. Tak naprawdę nie mają czasu do rozmowy z analitykami, którzy zajmują się jakimiś dziwnymi systemami, kiedy tak naprawdę oni mają realną pracę do wykonania. To, że udało się go zaprosić wiązało się z tym, że doszliśmy do punktu, po pięciu, sześciu iteracjach gdzie wydawało nam się że widzieliśmy, i to zarówno cały dział sprzedaży, który z nami współpracował jak i my, że brakuje nam jakiegoś kluczowego elementu wiedzy. I to jest coś na czym ja często się przyłapuję. Mamy bazy danych, mamy liczby i możemy się w nich doskonale poruszać, ale rzeczywistość to nie są te liczby.

Rzeczywistość jest zawsze dużo bardziej bogata i złożona, niż to co jesteśmy kiedykolwiek w stanie wychwycić w jakichkolwiek liczbach. I my skupiwszy się tylko i wyłącznie na danych transakcyjnych i na korporacyjnych bazach danych, zrozumieliśmy, że po pięciu, sześciu iteracjach, my tak naprawdę nie rozumiemy co się dzieje na tym rynku, i dlatego cała rozmowa była skupiona na tym, że zaprosiliśmy eksperta dziedzinowego, poprosiliśmy go: “dobrze, my jesteśmy tutaj zupełnie zieloni, nie rozumiemy tak naprawdę tego rynku, przyznajemy się do tego otwarcie. Siedzimy w tych danych już pół roku, ale nadal nie rozumiemy zachowań rynkowych, więc bardzo Cię proszę (imię tego eksperta było właśnie Józef i na jego cześć nazwaliśmy nasz system “Józef”) o powiedzenie, kim jest twój typowy klient? Czym się zajmuje? Jakie są jego codzienne problemy? Czego używa w pracy? Jakich on z kolei szuka klientów?”

To było zupełnym przełomem, i dzięki temu powstał automatyczny system “Józef”, który jest z jednej strony oparty na silniku machine learningowym, opartym o typowy mechanizm przetwarzania języka naturalnego i trenowany na różnych zestawach dokumentów ze stron www, jak i jest także oparty o zestaw mini ontologii opisujących charakterystykę danego klienta. Systemy machine learningowe oparte o statystykę mają także ograniczoną widoczność. Widzą tylko to, co im dostarczono jako dane treningowe. Mogą z tych danych treningowych wyciągnąć najprzeróżniejsze, ciekawe wnioski, które nie do końca muszą być przydatne. Jednym z pierwszych wniosków tego systemu, który miał skuteczność 50% było to, że na przykład w Kielcach nigdy nie będzie żadnego budowniczego tablic rozdzielczych. Dlaczego? Gdyż oczywiście nie podaliśmy ani jednej przykładowej firmy, która buduje tablice rozdzielcze z Kielc.

Zatem on nauczył się, że Kielce są miastem w którym nigdy nie występują tablice rozdzielcze. To są właśnie typowe wnioski, do których prowadzi takie ślepe używanie systemu machine learning. Musieliśmy oczywiście powiedzieć systemowi, żeby nie brał pod uwagę danych lokalizacyjnych nazw własnych do trenowania, bo to prowadzi do tego typu absurdalnych błędów. Ale jak już tego typu system wytrenowaliśmy, to znowu wróciliśmy do pana “Józefa” i porozmawialiśmy z nim o terminologii jakiej używają jego klienci. Okazało się, że jest bardzo wiele synonimów których nasz system machine learningowy nie wychwycił, bo skąd? Nie ma do tego danych treningowych, o które musieliśmy wzbogacić system. Zatem taka ciasna współpraca z biznesem jest absolutnie kluczowa, ponieważ w rzeczywistości jest zawsze dużo bardziej złożona, niż dane które posiada.

Ta historia jest bardzo inspirująca. Ja jeszcze pozwolę sobie podsumować to, co powiedziałeś. Na początku zakładaliście, że mieliście odpowiednie podejście. Że ta wiedza o segmentacji jest wewnątrz firmy. Jeżeli chodzi o dane historyczne, jeśli ten klient kupuje produkt “A” albo rodzinę produktów “A”, to wtedy zostanie przypisany do tego segmentu. Chociaż ten sam klient może być i w “A” i w “B”. To co wy zrobiliście po tej zmianie, to spojrzenie na zewnątrz, czym ten klient się chwali na swojej stronie. I okazało się że przez to, że się chwali, może to korelować z konkretnym produktem i w ten sposób ta sprzedaż nagle wzrosła.

Na początku może wydawać się, że nie było to do przeoczenia, ale z drugiej strony wiele firm ma właśnie takie rozwiązanie na wyciągnięcie ręki, które jest jednocześnie najprostsze jak i najskuteczniejsze. Wam zajęło to kilka dobrych miesięcy, aby je przetestować i wprowadzić. Wyniki są naprawde imponujące. Skuteczność zwiększyła się o 13%, czyli do ponad 80%. Drugą rzeczą jest, że wasze podejście z “Józefem” można stosować również na innych rynkach. Wspomniałeś o rynkach hiszpańskim, jak i również francuskim, tak?

Tak jest. Mamy już modele działające na rynku hiszpańskim, wyszukujących konstruktorów maszyn. Czyli, na przykład producentów dźwigów, wind, schodów ruchomych. Wszystkie tego typu urządzenia gdzie występują elementy elektryczne i wszelkiego rodzaju automatyka. W tym momencie skuteczność tego systemu jest na etapie 70%, więc nadal staramy się go udoskonalać, ale wydaje mi się że jesteśmy na dobrej drodze. W tej chwili rozpoczęliśmy poszukiwania zainteresowanych inteligentnymi budynkami na rynkach francuskojęzycznych (Francja, Belgia, Szwajcaria). Ich skuteczność w tej chwili oscyluje na poziomie 50%.

Czy początkowo te kraje też miały podobną skuteczność na poziomie 13-15%?

My zaczęliśmy od razu od zastosowania rozwiązania “Józef”. Zmieniamy jego nazwę w zależności od modelu języka jaki stosujemy. Więc mamy “Joseph” we Francji, “José” w Hiszpanii. Pierwszy kontakt z danymi rynkowymi miał “José”, czyli już korzystał ze stron www, tym samym startujemy zazwyczaj z pułapu 50%. Dane transakcyjne okazały się obarczone na tyle dużymi błędami z punktu widzenia tego konkretnego zadania, że w tej chwili głównie skupiamy się na analizie stron www, także wzbogaconym o dodatkowe informacje na temat klienta typu: jego wielkość, obroty itd., ale nadal treści tego, o czym klient pisze o samym sobie są podstawą.

Spróbujmy jeszcze lepiej zrozumieć metrykę sukcesu. Jeśli chodzi o procenty, jak dokładnie były one liczone? Pamiętam, że mieliście iterację w której próbowaliście dostarczyć listę bodajże 50 klientów i z drugiej strony biznes ma w ciągu tego sprintu wszystko zweryfikować. Czyli zadzwonić do tych 50 firm, zapytać czy oni potrzebują określonego produktu, i jeżeli tak, to kupują, a jeżeli nie, to nie kupują. I to jest właśnie kluczowe. Jaka jest definicja słowa “kupili”? Czy wyrazili zgodę na kupowanie? Czy wystawili już faktury? W jaki sposób to liczycie?

Jak już wspominałem, odpowiednia konstrukcja metryki jest zawsze kluczowa. Przy wszelkiego rodzaju analizach metryka była relatywnie prosta. Dostarczaliśmy dla pięciu regionów sprzedażowych w Polsce, co dwa tygodnie na każdy region, dziesięciu potencjalnych klientów i oczekiwaliśmy, że po kolejnych dwóch tygodniach otrzymamy feedback, ilu z tych 50 klientów byłoby potencjalnie zainteresowanych ofertą, czy w ogóle zajmuje się tym segmentem rynku. Jeżeli nawet odpowiedzią dla sprzedawcy było: Tak owszem, zajmuje się konstrukcją paneli rozdzielczych, ale już mam produkty firm konkurencyjnych, to i tak traktowaliśmy to jako sukces, ponieważ znaleźliśmy budowniczego tablic rozdzielczych, który może nie jest zainteresowany naszą ofertą, ale jest budowniczym tablic rozdzielczych o którym wcześniej nie wiedzieliśmy. Tak naprawdę ta metryka była oparta na tym, czy prawidłowo zidentyfikowaliśmy obszar działalności danego klienta.

Pozwolę sobie teraz troszkę zmienić temat. Podaj kilka wskazówek dla decydentów, co należy zmienić w swojej organizacji, żeby uczenie maszynowe zaczęło przynosić wymierne korzyści.

Pierwszą rzeczą jest przede wszystkim zaoferowanie się do tego, iż wyniki będą dostarczane w regularnych, krótkich odstępach czasu. Jedna z opinii którą usłyszałem ostatnio mówiła, (nie przy tym konkretnym projekcie, ale bardzo podobnym procesie) uzyskałem taką informację, że jak po raz pierwszy od was usłyszałem, że chcecie nam dostarczyć rezultaty to sobie pomyślałem: “dobra, wrócą do mnie za pół roku i to już będzie musztarda po obiedzie. Teraz, po czterech iteracjach czuję podniecenie przed podróżą”. Czyli tak naprawdę, to stały rytm, dyscyplina i zobowiązanie się do tego, że regularnie będą dostarczane wyniki jest także dla drugiej strony, która została ostrzeżona na samym początku, że nie wszystkie wyniki będą udane, bo na tym ten cały proces polega. Jest niesłychanie motywujące dla drugiej strony, kiedy widzisz, że mimo wszystko wkładamy duży wysiłek, dostarczamy jakieś nowe rzeczy i staramy się zmienić sytuację.

To powoduje, że rzeczywiście biznes zaczyna wierzyć, że może nie przy trzeciej, może nie piątej, ale wreszcie przy którejś iteracji to musi zadziałać. To nie jest tak, że my dostarczamy rezultaty, w postaci tylko “listy” i nic więcej. My dokładnie tłumaczymy czego teraz użyliśmy, dlaczego zmieniliśmy sposób patrzenia na koszyk klienta, dlaczego teraz patrzymy na strony www, co tam jest, jakie są dane. Staramy się to tłumaczyć prostym, zrozumiałym językiem.

Wszyscy widzą, że cały czas odkrywamy nowe rzeczy i nawet ponoszenie porażek w takim rozumieniu tych metryk, które przejęliśmy sprawia z drugiej strony wrażenie, że mimo wszystko idziemy do przodu. Ja jestem głęboko przekonany, że taki proces musi wcześniej czy później doprowadzić do pozytywnych rezultatów, a to jeżeli jesteś w stanie przy każdej iteracji, przy każdym sprincie przedstawić nowy rezultat, sprawdziliśmy tę hipotezę oraz rozpatrzyliśmy wszelkie możliwości. Rzeczywiście, dla odbiorców to sprawia wrażenie, że jednak postęp następuje i oni są gotowi nadal uczestniczyć w tym procesie. Pierwszy ważnym punktem są sztywne ramy czasowe i dużo dyscypliny. Drugi ważny element to wyznaczenie sobie jasnych, precyzyjnych celów, które chcemy osiągnąć. Jeżeli spróbujemy od razu ugryźć zbyt duży kawałek, szansa że w ograniczonej ilości iteracji dojdziemy do sukcesu jest znikoma.

Dlatego ten proces iteracyjny zawsze rozpoczynamy na maksymalnie precyzyjnym, określonym celu. Zobowiązaliśmy się, że znajdziemy konkretnych budowniczych tablic rozdzielczych w ciągu dziesięciu iteracji na polskim rynku. Są to precyzyjnie mierzalne kryteria do których się zobowiązujemy. Jeżeli się nie uda, cała wina leży wtedy po naszej stronie, gdyż obiecaliśmy sobie, że coś zrobimy i nie zrobiliśmy. I wreszcie chyba najważniejsza rzecz, to jest przekonanie po obydwu stronach, że celem kolejnego sprintu jest eliminowanie błędnych hipotez. Czyli nie może się to przerodzić w szukanie winnych, w oskarżanie, obwinianie dlaczego znowu wam nie wyszło. Jeżeli uda się przekonać na samym początku, że celem jest odnoszenie porażek po to, żeby wreszcie odnieść sukces, tego typu proces walidacyjny musi wcześniej czy później się udać.

Swego czasu wspomniałeś także o zasadzie 5%, którą tutaj chętnie bym rozwinął. Jest to zasada na którą się często powołuje i spotkałem się z nią w kilku miejscach. Mówi o tym, że efektywność biznesowa danego systemu, powiedzmy inteligentnego  wynosi często 5% skuteczności. Odpowiada za to jakość algorytmu, czyli rzeczy takie jak: podejście techniczne, skupianie się na tym żeby “kręcić” te algorytmy, i walka z każdym dniem o nawet najmniejszy procent. Tak naprawdę nie jest to najlepszym wyjściem. Moim zdaniem, można spędzić nad tym naprawdę olbrzymią ilość wysiłku, kiedy tak naprawdę te kilka procent nie przekłada się bezpośrednio na efekty biznesowe. Skuteczność algorytmu wpływa tylko na 5% całości. Na 20% skuteczności wpływają decyzje biznesowe, które za tym stoją.

Czyli mamy już w tej chwili 25%. Pozostałe 25% jest to jakość danych, które posiadamy. Jeżeli dane są w złej jakości, jeżeli są zaszumione, jeżeli są niepełne, pracując wtedy nad bazą danych, dużo szybciej uzyskamy efekty końcowe niż przez optymalizację algorytmu. I wreszcie coś, co może się wydać na pierwszy rzut oka trochę nieintuicyjne. Jest to coś, co byśmy ogólnie określili jako “user interface”. Czyli to w jaki sposób te dane są przedstawione dla naszego biznesowego klienta odpowiada za 50% skuteczności. Można mieć najlepszą z możliwych analizę, ale jeżeli jest ona niezrozumiała dla odbiorcy, wtedy będzie bezużyteczna. Jeżeli przedstawimy je w miejscu, które nie jest dostępne, kiedy te dane są potrzebne, to jest to całkowicie bezużyteczne. W tej chwili jednym z elementów wdrożenia jednego z naszych algorytmów jest aplikacja mobilna, która ma za zadanie dostarczyć naszym sprzedawcom w terenie informacji o kliencie, i o powiązanych rekomendacjach dla tego klienta dokładnie w czasie, i w miejscu gdzie ta informacja jest potrzebna.

Jakość oraz skuteczność procentowa tych rekomendacji nie jest tak istotna, jak to że sprzedawca ma dostęp w ogóle do tej informacji pod ręką. Może tam zobaczyć nie tylko informacje na temat tego, co dany algorytm dostarcza, ale także pełną metryczkę danego klienta i jego historię zakupów. Jest to dla niego narzędzie o wiele bardziej przydatne niż kolejny Excel leżący gdzieś na skrzynce mailowej do której potrzebujemy komputera podpiętego do sieci, prądu i odłożonego do przeczytania wieczorem. Nawet częściowo dostarczone dane, dokładnie w czasie i w miejscu tam, gdzie są potrzebne, są o wiele bardziej skuteczne, niż takie które zajmowałyby dziesiątki slajdów w PowerPoint.

Jeśli chodzi o trzeci punkt, który brzmiał: “celem jest popełniać błędy żeby ostatecznie wygrać”. Wiem z własnego doświadczenia, że popełnianie błędów może być interpretowane źle. Widziałem, jak po którejś iteracji popełnia się błędy tylko po to, żeby je popełniać i jak zaczynasz pytać ludzi: ale słuchajcie, co wy teraz robicie? -Popełniamy błędy jak najszybciej. Czy nie o to chodziło?”

Właśnie nie tylko o to. Sęk w tym, żeby na popełnionych błędach się uczyć. I tutaj nasuwa się pytanie: jak popełniać błędy mądrze? Czy masz jakąś check listę albo test, który mógłby nam powiedzieć, że to co robimy ma sens? Że to nie jest tylko popełnianie błędów? Popełnianie błędów kosztuje. Nie jest to tylko marnowanie pieniędzy, ale również czasu. Chodzi o to, aby mieć pewność, że idziemy w dobrym kierunku. Czy mógłbyś przedstawić jakieś wymierne czynniki? A może wszystko dzieje się z poziomu intuicji?

Wydaje mi się, że Ty już na to pytanie częściowo odpowiedziałeś opisując tą drobną sytuację. Na pytanie “co wy tutaj robicie”, odpowiedzią nie może być “popełniamy błędy”. Jeżeli klient – odbiorca Twoich analiz przychodzi i pyta: “co wy robicie”? To już ponieśliśmy porażkę. My z taką sytuacją się nigdy nie spotkaliśmy dlatego, że na każdym spotkaniu co dwa tygodnie bardzo jasno przedstawialiśmy jaki jest nasz plan działań na te najbliższe dwa tygodnie. Na każdą kolejną iterację wybieraliśmy jeden, czy dwa pomysły do sprawdzenia po konsultacji z biznesem. Mieli oni poczucie, że także uczestniczą w tym procesie poprawiania algorytmu, i przede wszystkim: pełna przeźroczystość. Nigdy nie było sytuacji, ani pytania typu: “co wy robicie?”

Podsumowując, pełna przezroczystość jest kluczowa. Nie może się zdarzyć tak, że ktoś Cię zapyta, co Ty robisz. Musisz jasno przedstawić co będziesz robił i to uzasadnić. Dlaczego uważasz, że to jest najlepsza droga do zweryfikowania kolejnej hipotezy, i przede wszystkim trzeba stanąć przed swoim klientem przy kolejnej iteracji i jasno, bez kręcenia, bez owijania w bawełnę określić i przedstawić: “tak ponieśliśmy porażkę”. Więc przeźroczystość, otwartość i przede wszystkim duża doza odwagi. To jest coś co mimo wszystko buduje zaufanie, bo tego typu procesu nie da się skonstruować bez olbrzymiej dozy zaufania obydwu stron do siebie nawzajem, a nad zaufaniem trzeba nieustannie pracować.

Pytanie podsumowujące: Czy uważasz, że uczenie maszynowe zrewolucjonizuje proces sprzedaży w bliskiej przyszłości, i czy ta przyszłość już właściwie się rozpoczęła?

Odpowiem na to pytanie cytując Steve’a Jobsa, który twierdził, że “komputer jest rowerem dla umysłu”. Jest to ciekawa metafora wynikająca z tego, że rower jest urządzeniem które nie posiada własnego napędu. Napędem dla niego jest człowiek, który na nim siedzi. Człowiek na rowerze porusza się dużo szybciej i jest w stanie pojechać dużo dalej, niż jakiekolwiek inne zwierzę na ziemi, ponieważ jego własna energia jest zwielokrotniona 15-20 razy. Ja widzę komputery, cały machine learning
i systemy sztucznej inteligencji jako tego typu rowery dla naszych umysłów oraz pracy. Nie sądzę żeby tego typu systemy zastąpiły ludzi całkowicie, ale będą pozwalały nam pracować niezwykle wydajniej i efektywniej, szybciej, sprawniej, mądrzej. Według mnie: tak, jest to absolutna przyszłość.

Jak można znaleźć Ciebie w sieci?

Jestem na LinkedIn, także zapraszam do dyskusji.

Dziękuję Michale za Twój poświęcony czas i za podzielenie się historiami wziętymi z życia, które nie tylko pokazują, że wszystkie opisane powyżej procesy mają zastosowanie, ale także przedstawiają wachlarz emocji: Był strach, napięcie wewnętrzne, czy na pewno się uda. Ale ta dyscyplina w dążeniu do celu, ta przezroczystość oraz wszystko to, co opisałeś pozwoliło osiągnąć ten cel. Mało tego, ten cel zaczął skalować się na inne kraje, co jest niesamowite. Gratuluję!

Dziękuję bardzo.

---

I co o tym myślisz? Czy zamierzasz wdrożyć do swojej firmy metodę popełniana błędów jak najszybciej (oczywiście z wyciąganiem odpowiednich wniosków) po to, żeby znaleźć tą właściwą drogę? To tyle na dzisiaj. Życzę Ci wszystkiego dobrego. Na razie, cześć!