• Czym jest prognozowanie na szeregach czasowych (time series forecasting)?
• Jakie zastosowanie mają szeregi czasowe w biznesie?
• Jaka jest różnica pomiędzy statystyką a uczeniem maszynowym?
• Które podejście sprawdza się najlepiej w stosunku do prognozowania szeregów czasowych?
• Na co należy zwracać szczególną uwagę przy wykorzystywaniu uczenia maszynowego do prognozowania szeregów czasowych?
• Czy odbywają się konkursy związane z prognozowaniem szeregów czasowych?
• Jak konkursy wpływają na rozwój technologii?
• Czym jest M4 Competition?
• Jak działa model hybrydowy który łączy uczenie maszynowe ze statystyką?

Prognozowanie szeregów czasowych jest prawdopodobnie jedną z tych dziedzin, która przy minimalnym wysiłku daje namacalne korzyści. Mało tego – okazuje się, że wiele firm dotychczas robiło to w tak prymitywny sposób, że wystarczy minimalna zmiana podejścia, aby uzyskać pozytywną różnicę.

Tak się złożyło, że słuchałem wiele podcastów o różnych tematykach, na przykład biznesowej i był jeden odcinek, który mówił o poradach dla przedsiębiorców. W tym odcinku był poruszony temat mówiący o tym, że wiele przedsiębiorstw nie wie, ile pieniędzy spodziewać się pod koniec miesiąca.

Wystarczy obliczyć, ile średnio zarabiasz w dni robocze, i następnie jeżeli już wiesz ile zarabiasz średnio w ciągu dnia, a do końca miesiąca pozostało Ci, na przykład siedem dni roboczych, to wystarczy przemnożyć tą wartość średnią razy siedem i tyle jeszcze zarobisz do końca miesiąca. Kiedy tego słuchałem z zaciekawieniem, ponieważ sam zajmuję się tego typu tematami i chciałem dowiedzieć się czegoś nowego, aby zyskać nowe spojrzenie oraz doświadczenie, to dało mi to do myślenia, bo skoro takie proste podejście jest w stanie pomóc, to tym samym prostsze modele uczenia maszynowego radzą sobie z tym jeszcze lepiej ze względu na większą jakość prognozy oraz predykcji.

Jeżeli, na przykład wyliczymy sobie taką średnią, i ta średnia przypada akurat na czarny piątek w listopadzie, który był niedawno, to wtedy całkowicie sobie zaburzysz cały system. Więc nie możesz sobie wziąć jakiejkolwiek średniej z dowolnego dnia roboczego. Prawdopodobnie wymagane jest uwzględnienie sezonów. Dodatkowo, trzeba brać pod uwagę cykle, przesunięcia. Biznes ciągle się rozwija. Coś dodaje, coś usuwa. W grę wchodzą również większe koszty, i tak dalej. Tych dodatkowych rzeczy trochę jest. Warto wtedy zastosować pewne narzędzie, które pozwoli na uwzględnienie tego wszystkiego.

O znaczeniu szeregów czasowych powiedziałem więcej w odcinku 39. Tytuł tego odcinka to: “10 przykładów jak uczenie maszynowe może pomóc Twojemu biznesowi”. Tam powiedziałem więcej o sposobach mapowania oraz innych tematach, które pomagają rozwiązać wyżej wymienione problemy.

Prawdopodobnie wiesz też, że prowadzę kurs, który nazywa się: “Praktyczne prognozowanie szeregów czasowych”. Właśnie trwa pierwsza edycja. Muszę przyznać, że naprawdę włożyłem w to wiele wysiłku i zawsze kiedy mam zamiar wystartować z kolejną edycją, to mówię sobie: nigdy więcej, ponieważ przerasta to troszkę moje możliwości. Jestem już na tyle zmęczony, że gdybym zobaczył dinozaura przebiegającego obok mnie, to nawet nie zwróciłbym na niego uwagi, bo po prostu nie miałbym już kompletnie siły o tym myśleć i analizować tego zadziwiającego zjawiska :). Z drugiej strony, kiedy już kończę taki kurs i obserwuję, jak ludzie się uczyli i potem relacjonują, że mogą to zastosować na różnych obszarach, to jest to bardzo satysfakcjonujące.

Też między innymi, są do wyboru dwa pakiety. Pakiet indywidualny oraz wspólny, gdzie wdrażamy rozwiązania na konkretnych danych, i natychmiast otrzymujemy spodziewane wyniki. To jest bardzo pocieszające i motywujące. Wtedy czujesz, że wszystko co robisz ma jakiś sens.

Dlatego, jeżeli na poważnie rozważasz robienie prognoz sprzedaży, popytu oraz innych rzeczy związanych z tym tematem, to zapraszam Cię bardzo gorąco do udziału w drugiej edycji, która odbędzie się w marcu i będzie trwała sześć tygodni. Więcej o  tym powiem kolejnym razem. Mam zamiar zaprosić kilku absolwentów do kolejnych rozmów, prawdopodobnie w styczniu, może w lutym.

W pewnym momencie, kiedy bardziej skupiłem swoją uwagę na kursach oraz konferencjach to stwierdziłem, że to bardzo fajne uczucie pomagać ludziom oraz dzielić się z nimi posiadaną wiedzą. Z drugiej strony, nie da się odciąć od robienia rzeczy samodzielnie, wprost, wdrażania ich na produkcję. Nagle może się okazać, że wiedza którą posiadam i którą zdobyłem w sposób praktyczny, po czym przestałem się tym zajmować, staje się trochę mniej aktualna. Wtedy podjąłem decyzję, że nadal muszę osobiście zajmować się rzeczami związanymi z biznesem, z konkretnymi danymi. Wcześniej to bardziej wyglądało jak consulting z jedną osobą, teraz to zaczyna nabierać wyższych obrotów. Jestem współzałożycielem firmy Intelligene. Aktualnie mamy wiele projektów, niektóre z nich związane są właśnie z szeregami czasowymi. Uzyskanie zgody na powiedzenie o tych tematach to dość trudna sprawa, ale mam nadzieję, że niedługo uda mi się wszystko załatwić i będę w stanie zdradzić więcej.

Na razie trochę upraszczając, załóżmy że to jest taka prognoza popytu. Kiedy obserwowałem ten problem i powiedzmy, że uda się poprawić prognozę o jeden procent przy obecnych obrotach, to nagle się okazuje, że już w pierwszym roku wszystkie koszty związane z tym projektem się pokrywają i kolejnym krokiem są tylko oszczędności.

W ogóle, trochę mnie dziwi to, że większe firmy podchodzą do tego tak późno. Częściowo wynika to z biurokracji, z zamieszania, z polityki wewnętrznej. I aby rozwiązać ten problem, to więcej czasu spędzamy na aspektach prawnych, formalnych, zamiast na rozwiązywaniu konkretnych problemów. Ale ja to wszystko przyjmuję z pokorą. Po prostu uznałem, że tak funkcjonuje ten świat.

Podsumowując, postaram się przekazać więcej informacji o firmie którą współtworzę. O tych wszystkich planach, które zapowiadają się bardzo ciekawie. Aktualnie rozpoczynamy współpracę z czterema większymi firmami, które na pewno znasz. Ale to na razie sekret.

Teraz przechodzimy do sedna tematu. Potrzebowałem osoby, która powie więcej o szeregach czasowych. Chodzi o prawdziwego weterana który, jak to się mówi “zjadł zęby” w tym obszarze i taką osobę znalazłem. Jest nią Sławomir Smyl. Sławek pracuje w Uberze. Jest on bardzo otwarty na świat oraz na nowoczesne metody, które potrafi adaptować. Moim głównym celem było zapytać wprost, czy metody statystyczne radzą sobie lepiej od uczenia maszynowego. Wbrew pozorom, oczekiwałem, że metody statystyczne w przypadku konkursu M4 poradzą sobie lepiej. Było tam 100 000 szeregów czasowych. Problem z tymi szeregami był taki, że one nie posiadały żadnego kontekstu, tylko samą wartość zmieniająca się w czasie.

Załóżmy, że mamy na przykład kurs waluty (złotówka – dolar), to mamy tych szeregów czasowych powiedzmy 10 000, ale nie mamy żadnych informacji ani kontekstu. Wiemy tylko, że ta wartość zmienia się w czasie. Zwykle w takich zastosowaniach metody statystyczne działają lepiej, ale tutaj dzięki jednej sztuczce, która zastosował Sławek, udało się usprawnić wynik i tym samym wygrać ten konkurs. Zajął on pierwsze miejsce, i to po raz kolejny potwierdza jego talent oraz zdolności w tej dziedzinie. Jest on bardzo fajnym człowiekiem.

Serdecznie zapraszam!             

Cześć Sławek, przedstaw się: kim jesteś, czym się zajmujesz, gdzie mieszkasz?

Dzień dobry. Nazywam się Sławek Smyl. Jestem Data Scientist, czyli tak zwanym naukowcem od danych. Mieszkam w okolicach San Francisco i pracuję w Uberze. Moją specjalnością jest prognozowanie szeregów czasowych. Zajmuję się tym od 4-5 lat. Poprzednio pracowałem przy Windows Azure, gdzie zajmowałem się symulowaniem tego systemu. Zajmowałem się również walką ze zorganizowaną przestępczością, co było związane z nielegalnym użyciem Azure. Poprzednio miałem do czynienia z komputerami, a już w bardzo zamierzchłej przeszłości byłem fizykiem medycyny. Studiowałem w Krakowie.

Co ostatnio czytałeś?

Jak byłem w Polsce, w sierpniu to czytałem “The Money Formula” autorstwa Paula Wilmotta i Davida Orrella. Paull Wilmott jest to taka legenda matematyki finansowej. David Orrell też jest matematykiem z Oxfordu. Jest to książka, która opisuje historię finansów i matematyki finansowej, zaczynając od Newtona, a kończąc na skomplikowanych instrumentach finansowych. Jest to ciekawa ekspozycja, która mówi o tym, jak ekonomiści kopiowali metody i modele fizyczne. W fizyce dziewiętnastowiecznej mieliśmy model gazu doskonałego. Ekonomiści tworzyli swoje modele zakładając, że społeczeństwo składa się z niezależnych i idealnie racjonalnych agentów, którzy myślą tylko o sobie, ale jest też ta równowaga i niewidzialna ręka. Ciekawa ekspozycja historyczna, chociaż pod koniec autorzy twierdzą, że wszystkie te elementy które spowodowały kryzys finansowy w 2008 są dalej na miejscu, także oni nie są optymistami.

Rozumiem, że ta książka jest napisana dość przystępnym językiem?

Ja myślę, że tak. Ja ją kupiłem dlatego, że słuchałem doktora Davida Orrella podczas konferencji dotyczącej prognozowania. On opowiadał tam, że opcje finansowe można atakować używając matematyki i fizyki kwantowej, więc to było interesujące, ale w tej książce nic nie ma na ten temat, dzięki czemu jest zupełnie przystępna. Również ekspozycja historyczna początków Newtona jest bardzo ciekawa.

Jesteś mistrzem szeregów czasowych. Przez ostatnie 5 lat głównie tym się zajmujesz. Nie miałem okazji spotkać wielu osób, które potrafiłyby się skupić na jednym, dość wąskim temacie. Wyjaśnij czym jest prognozowanie na szeregach czasowych (time series forecasting).

Na pewno każdy się z tym kiedyś spotkał. Jakikolwiek wykres w czasie, na przykład ilość wypadków samochodowych od roku 1952 do dzisiaj, czy jakaś krzywa w skali jeden punkt na rok, czy kwartalna produkcja masła czy mleka. Ta sama rzecz, która rozwija się w czasie i zapisujemy ją z miesiąca na miesiąc, czy z sekundy na sekundę, to jest szereg czasowy. EKG jest szeregiem czasowym. Jest to po prostu krzywa w czasie.

Jakie zastosowanie mają szeregi czasowe w biznesie? Czy można nimi uzyskać jakąkolwiek wartość dodaną?

W zasadzie wszystkie biznesy potrzebują przewidywania. Za pomocą szeregów czasowych można wykonać, na przykład analizy w sensie klasyfikacji. Podobno jak ktoś ma stan przedzawałowy, to na EKG co pewien czas pojawia się taki dziwny zygzak, więc można to klasyfikować jako stan przedzawałowy. Czy zawał nastąpi za 15 minut, czy za pół godziny, tego nie wiemy. Chodzi bardziej o klasyfikację. Natomiast w biznesie ważniejsze jest ile sprzedamy, ile będzie reklamacji, ilu nowych klientów do nas przyjdzie. Praktycznie cokolwiek, co dzieje się w biznesie. Biznes dzieje się w czasie, więc nieważne co robimy, to zawsze ma to wymiar czasu i jakąkolwiek decyzję w biznesie podejmujemy, jest ona jakoś związana z przewidywaniem. Ludzie muszą robić przewidywanie: Jak się będzie rozwijał ich biznes? Czego będzie potrzebował? I właśnie można to robić mniej, lub bardziej matematycznie. Zależy to też od tego, czy mamy dobre dane.

W teorii statystyka i uczenie maszynowe mają wiele wspólnego. W praktyce jest inaczej. Spróbujmy przedstawić, gdzie jest ta różnica, bo cięzko powiedzieć, że uczenie maszynowe jest czymś zupełnie nowym. Jest tam sporo statystyki. Z drugiej strony, statystyka to nie jest uczenie maszynowe. Na czym polega ta różnica? Gdzie jest ta granica?

Wydaje mi się, że to jest głównie związane z tym kto to robi, i jak łatwo się tego używa. Statystycy z reguły mają swoje w miarę proste modele, które dobrze funkcjonują. Natomiast algorytmy przewidywania szeregów czasowych mają ok. 50 lat, powoli się zmieniają, powoli stają się coraz lepsze, i tym głównie zajmują się statystycy. Natomiast masz też ludzi z działu Computer Science, którzy podchodzą do tego z innej strony. Ale koniec końców, w obu przypadkach jest tak samo. Czyli jest tam jakiś model, bardziej czy mniej skomplikowany, i ten model ma jakieś parametry, i ostatecznie robi przewidywanie. Według mnie, jest to bardziej kwestia tradycji i takiego podejścia, że w statystyce mają to już we krwi, że jak produkują coś, to to jest dosyć łatwe do użycia. Jest tam jakiś program w R czy w Python. Można nawet kupić program do przewidywania, gdzie użytkownik po prostu podaje do komputera tą krzywą, naciska jeden przycisk, i jest.

Natomiast jeśli chodzi o Machine Learning, to z reguły zakłada się, że ktoś wie jak tego używać. Programista, Data Scientist, który nad tym spędzi czas, napisze program, będzie się bawił z różnymi parametrami i w końcu być może wyjdzie mu coś lepiej, niż osobom od statystyki. Ale także jest to kwestia kultury i łatwości użycia. Te algorytmy statystyczne są bardzo łatwe do użycia, a Machine learning to jest mieszanka programowania, budowania modeli, i tak dalej. Jest to znacznie bardziej skomplikowane.

Które podejście sprawdza się najlepiej w szeregach czasowych? Czy metody statystyczne radzą sobie lepiej, albo jest odwrotnie?

Ja myślę, że to wszystko zależy od kontekstu, ale generalnie nie ma czegoś takiego, że jedna z nich jest znacznie lepsza, choćby właśnie z uwagi na łatwość użycia. Jeżeli ja mogę używać, na przykład pakietu Forecast, albo nawet kupię program za kilkaset dolarów czy więcej, i wystarczy mi że nacisnę jakiś przycisk i mam przewidywanie, to po pierwsze, te statystyczne metody są znacznie łatwiejsze do użycia. Po drugie, one z reguły pracują znacznie szybciej. Jest to liczba rzędu poniżej jednej sekundy na jedną krzywą, co może mieć znaczenie. Ludzie w dzisiejszych czasach mają ogromne ilości danych, i na przykład potrzebują przerobić w miarę szybko kilkadziesiąt tysięcy z nich.

Nie możesz siedzieć 10 minut nad każdą, a już zwłaszcza nie możesz wizualnie oglądać każdej z nich i decydować  jakie tu parametry zastosować. Jeżeli chodzi o szybkość, łatwość użycia to właśnie te statystyczne metody są najlepsze. Czasami też możesz mieć dużo regresorów, gdzie nie masz tylko tej krzywej, ale oprócz tej krzywej masz jeszcze inne rzeczy, na przykład: w tym województwie była lepsza pogoda, a w tym, na przykład zwiększa się ilość maszyn. Czyli masz dodatkowe informacje. Jak masz dodatkowe informacje które są dobre, to w tym momencie uczenie maszynowe zaczyna mieć przewagę. Jak masz czystą krzywą, bez niczego innego, to prawdopodobnie metody statystyczne będą wtedy lepsze.

Chciałem jeszcze dodać, że jeżeli chodzi o szybkość, to trzeba wspomnieć, że jest ten czas na trenowanie i przygotowanie tego modelu, oraz czas na predykcję. Jeśli chodzi o predykcję, to jest ona szybka, natomiast jeśli chodzi o przygotowanie modelu, to już niekoniecznie. Na przykład, chociażby ta ARIMA, gdzie musisz zbadać stacjonarność, dobrać parametry, itd.

Ale to wciąż są okolice jednej sekundy. A w przypadku jakiejś tam sieci neuronowej, czy podobnych, to mówimy o wielu minutach, być może nawet wielu godzinach. Także to wciąż są różnice. I jeśli mowa o dłuższym trenowaniu, taki model statystyczny robi treningi i przewidywanie w tym samym momencie. A w przypadku uczenia maszynowego to są dwa oddzielne kroki. Najpierw trenujesz, przez co jest to bardziej skomplikowane.

Na co należy zwracać szczególną uwagę przy stosowaniu uczenia maszynowego do prognozowania? Bardziej mam na myśli szeregi czasowe.

Chyba na przygotowanie danych. Praktycznie te wszystkie metody uczenia maszynowego są generalne. One nie są napisane z myślą o szeregach czasowych. Pomijając sieci neuronowe, one nie mają pojęcia czasu, więc ten czas musisz sam wprowadzić, na przykład mając takie dwa okienka, input i output, które przesuwają się po tej krzywej, z każdym krokiem wyciągasz cechy z tego okienka input i przewidujesz co jest w output. Więc Ty musisz przerobić tą krzywą czasową na coś, co uczenie maszynowe rozumie, czyli właśnie na ten input-output. Jest to dość skomplikowane i wcale nie takie oczywiste. Wiele osób popełnia wtedy błędy. A jeżeli tego nie zrobisz dobrze, to często nawet najlepsze algorytmy uczenia maszynowego nie zadziałają. To jest częsta przyczyna dla którego te sprawdzone, proste algorytmy statystyczne zwyciężają w porównaniu z uczeniem maszynowym. One wiedzą co to jest szereg czasowy, one mają w sobie to pojęcie. A tutaj użytkownik to musi przygotować, a to przygotowanie danych nie jest takie proste.

Jeśli chodzi o uczenie maszynowe, to przygotowanie danych jest rzeczywiście dużym wyzwaniem. Pozwolę sobie zmienić temat i ciekawy jestem jednej rzeczy. Bierzesz udział w konkursach, na przykład takich jak M4, i zajmujesz tam, na przykład pierwsze miejsce. Jak konkursy wpływają na rozwój technologii, i przede wszystkim jaką rolę mają w tym szeregi czasowe?

Wygrałem dwa z tych konkursów i uważam, że są one bardzo istotne. Generalnie, cały Deep learning, ten ogromny postęp w sieciach neuronowych który nastąpił w ciągu ostatnich 8 czy 10 lat, to w dużej mierze jest wynikiem tego, że właśnie te dziedziny przyjęły modele z konkursów. Było coś takiego jak ImageNet, czyli coroczny konkurs do rozpoznawania obrazów. I to było niesamowite, jak ludzie co roku produkowali nowe rozwiązania z reguły używając sieci neuronowe. Co roku był duży postęp w wielu dziedzinach. Ludzie piszą artykuły, gdzie mają jakiś dziwny algorytm, który podobno działa super na trzech krzywych, które oni sobie w jakiś sposób dobrali. Nie jest to przekonywujące. Gdy masz duży zbiór danych i pokażesz, że na tym dużym zbiorze danych Twój algorytm naprawdę poprawia rekord świata, to wtedy jest to czymś co mówi, czy Twoja metoda jest intelektualnie interesująca, czy też wygląda głupio, czy też nie jest przekonywująca, ale faktem jest że poprawiłeś rekord świata. I to zmusza ludzi, aby się temu przyjrzeć. Wtedy ludzie stwierdzają: okej, Twoje wyjaśnienie nie ma za bardzo sensu, ale jest naprawdę super i my to ulepszymy.

To powoduje, że ludzie biorą dobre elementy z jednej metody, poprawiają je i dzięki temu wszystko idzie do przodu. Ja bardzo się cieszę, że M4 się odbyło. Zresztą, w 2016 wygrałem konkurs. Jest to organizacja inżynierska. Brałem udział w konkurencji GEFCom, czyli mówiącej o zużyciu energii elektrycznej, jak i również o M4. To mi naprawdę dużo dało. Ja przy każdym takim konkursie uczę się bardzo dużo i mam doświadczenie, które nie zawsze jest tak łatwo można zdobyć w pracy. W pracy czasami nie masz takiego dużego zbioru danych, albo zajmujesz się ciągle tym samym. Tu masz coś nowego. Według mnie, jak się kończy taki konkurs, to po pierwsze wiadomo, która metoda była najlepsza, a po drugie powstaje ten zbiór danych przez co ludzie, którzy nawet nie brali udziału w tym konkursie, mogą go używać, pisać artykuły o tym, itd. Także dla mnie, to jest zupełnie fundamentalne i bardzo się cieszę, że te konkursy miały miejsce.

Fajnie to ująłeś, też bardzo popieram konkursy. A jakie są najciekawsze konkursy związane z szeregami czasowymi i prognozami szeregów czasowych?

Wydaje mi się, że nie ma ich zbyt wiele. Najciekawsza jest seria, którą robił Makridakis. Zaczęło się to w 1978, kiedy napisał artykuł w którym pokazywał, że proste metody statystyczne takie jak, na przykład że czegoś będzie tyle samo za rok, co dzisiaj, czyli taka metoda, że bierzemy dziś obecne dane, działają równie dobrze jak bardziej skomplikowane, na przykład jak ARIMA. On miał duży kłopot z przekonaniem innych statystyków którzy nie mogli w to uwierzyć, że tak zaawansowana metoda matematycznie poprawna jak ARIMA, mogłaby być na tym samym poziomie, co coś takiego jak naiwne przewidywanie. Odbyła się tam zażarta dyskusja i on, aby ją przerwać, zorganizował właśnie pierwszy konkurs M1.

Rezultaty były zgodne z tym, o czym właśnie mówił w swoim artykule, że naprawdę nie ma specjalnej różnicy. Później ludzie go krytykowali, więc zorganizował M1, M2, M3. M3 odbywało się w 2000 roku. Było tam 3000 szeregów czasowych, po której była długa przerwa. W tamtym roku było ogłoszone M4, które się skończyło w tym roku. 100 000 krzywych. Głównie z biznesu, ale i nie tylko. Krzywe z różnych miejsc, nie wiadomo dokładnie skąd. W każdym razie, są tam krzywe miesięczne, jak i trzystuletnie więc to jest ciekawe, skąd profesor Makridakis to ściągnął.

W tym wypadku chodziło o porównanie metod uczenia maszynowego z metodami statystycznymi. Profesor Makridakis przewidywał, że uczenie maszynowe nie będzie działać za dobrze, bo tak zawsze było historycznie od 2000 roku, i generalnie miał rację. 240 osób się zarejestrowało, około czterdziestu wysłało wyniki, a z nich tylko 6 używało uczenia maszynowego, i one wypadły bardzo marnie. Druga metoda używała kilku statystycznych metod, ale wagi pomiędzy nimi było zrobione za pomocą uczenia maszynowego. I ja wygrałem za pomocą metody, która właściwie łączy obie rzeczy. Zarówno uczenie maszynowe, jak i metody statystyczne, co nazywane jest wygładzaniem wykładniczym. To było zaskoczeniem, ale profesor Makridakis to bardzo otwarty człowiek i mimo swojego wieku wcale nie jest dogmatykiem. On naprawdę stara się znaleźć to, co działa.

Czy jest to metoda statystyczna, standardowa, prosta czy skomplikowana. Jego interesuje tylko czy działa, i dlaczego uczenie maszynowe generalnie, rzecz biorąc nie działa. Bardzo się cieszył, że jest coś nowego, czyli metoda, która łączy to stare dobre podejście statystyczne z sieciami neuronowymi. To było dla niego największe odkrycie tego konkursu, zarówno jak i jego wynik.

Wejdźmy trochę w szczegóły. Wygrałeś konkurs, zbudowałeś model hybrydowy który potrafi łączyć świat statystyki z uczeniem maszynowym. Zdradź nam coś więcej na ten temat. Co tam dokładnie zrobiłeś?

Użyłem prostych formuł używanych w równaniach wykładniczych, czyli proste algorytmy do przewidywania szeregów czasowych, które dobrze działają. Wziąłem niektóre z tych formuł i w trakcie tej pętli uczącej się sieci neuronowej, robiłem w trakcie takie mini-przygotowanie danych, w której te formuły wygładzały moje krzywe i usuwały efekty sezonowe. Teraz sieć neuronowa widziała ładną krzywą bez tych efektów sezonowych, tak samo znormalizowaną i mogła się skoncentrować na tym co jest bardzo istotne, czyli na trendzie. Wcale nie musi on być liniowy. Może być nieliniowy, lub taki troszeczkę pokrzywiony w górę, albo w dół. Więc masz te dobre, tradycyjne równania, i istotne jest to, że jest to jeden algorytm dlatego, że parametry tych formuł są tak samo optymalizowane przez ten sam algorytm, który optymalizuje wagi tych sieci neuronowe. Także tu nie ma dwóch etapów, tylko jeden. Algorytm sieci neuronowe został rozszerzony o te formuły z tradycyjnych algorytmów statystycznych i to zadziałało bardzo dobrze. Było to tylko możliwe od niedawna, bo to wymaga czegoś takiego jak Dynamic Computational Graph Systems.

To jest nowy rodzaj systemów sieci neuronowe. Mają one około roku lub półtora. Jest to Pyro i Pytorch. To pozwala na znacznie większą swobodę w budowie modeli, w taki sposób, że model który trenujemy zmienia się od jednej krzywej, to drugi nie jest taki sam. Także możemy mieć nie tylko generalne parametry jak, na przykład pakiet z czarną skrzynką tej sieci neuronowej, ale każda krzywa ma parę swoich parametrów. Oczywiście nie wszystkie, ale każda ma swoje własne słupki sezonowości. Czyli masz generalny model tej sieci neuronowej i oddzielnych parametrów dla każdej krzywej osobno. Mamy tutaj model hierarchiczny, ponieważ zawierają one generalne, wszystkie zmienne dla każdej krzywej, jak i kilka oddzielnych parametrów dla każdej z nich. Jest to możliwe tylko dzięki Dynamic Computational Graph Systems.

Wspomniałeś o konkursie w którym macie 100 000 szeregów czasowych. Masz model hybrydowy, czyli łączysz sieci neuronowe z wygładzaniem wykładniczym. Jak długo ten model się uczył?

W tych 100 000 krzywych było kilka oddzielnych kategorii. Na przykład 48 000 krzywych miesięcznych, czyli jeden punkt na miesiąc. 24 000 krzywych kwartalnych, czyli jeden punkt na kwartał. 20 parę tysięcy krzywych rocznych, czyli jeden punkt na rok. Było tam bodajże sześć kategorii różnych krzywych i dla każdej z nich trzeba było wytrenować oddzielny model. Ja pracowałem ciężko przez wiele miesięcy próbując różnych algorytmów, różnych podejść, różnych parametrów, ale w końcu jak już wiedziałem co mam robić w ciągu tych ostatnich paru dni, to zdecydowałem się te wszystkie modele przekalkulować od początku do końca w ciągu tygodnia na jednym paroletnim komputerze. Także ten najdłuższy, miesięczny zajął mi trzy-cztery dni.

Jak teraz opowiadasz o tym rozwiązaniu, to brzmi bardzo ciekawie, tym bardziej, że jest to najlepsze rozwiązanie jakie udało się zbudować. Natomiast, czy odważyłbyś się tego użyć w produkcji?

Jak najbardziej, i właśnie obecnie moim głównym zadaniem jest przeniesienie do produkcji ulepszonego modelu z M4. To jest moje moje główne, oficjalne zadanie którym zajmuje się w pracy.

Wspomniałeś o jednej takiej rzeczy. Do tych sieci neuronowych potrzebne są możliwości budowania dynamicznych grafów, i to jest prawdopodobnie robione w Tor, ale wiem, że i tak zrobiłeś to po swojemu, na niższym poziomie. Czego dokładnie użyłeś i czy to rozwiązanie jest gdzieś dostępne?

To nie jest tak, że ja to zrobiłem od podstaw. Owszem, napisałem troszeczkę rozszerzeń, ale generalnie używałem mniej popularnego, ale podobnego programu. Używałem dynet. Można go sobie ściągnąć. Całkiem przyzwoity program. Ja wybrałem dynet z tego powodu, że oni mają dobre wsparcie do C++. Ja nie chciałem używać Pythona, z uwagi na to, że wiedziałem, że to 100 000 muszę zrobić jak najszybciej.

Poza tym, miałem nadzieję, że mogę to zrobić w multithreading, czyli że mogę napisać trochę bardziej zaawansowany program, który będzie procesował na wielu wątkach. Koniec końców, to się nie udało. Ja to troszkę rozszerzyłem, napisałem trochę klas, ale to nie jest tak, że ja wystartowałem od zera. To byłoby za dużo. Jak się wpisze w Google “M4 Forecast Competition GitHub”, to znajdziemy tam wszystkie metody, które mają krótki opis i kod. Także tam można wszystko znaleźć.

Z tych 40-paru osób, które cokolwiek tam wysłali, to tylko sześć wykorzystało uczenie maszynowe. Z drugiej strony, uczenie maszynowe w połączeniu ze statystyką wygrało. I jak to teraz zinterpretować? Czy to uczenie maszynowe dobrze sobie radzi z szeregami czasowymi? Czy jednak wymagana jest ta kombinacja. Ty trochę złamałeś te stereotypy. Co teraz można z tym zrobić?

Opowiem jeszcze taką anegdotę. Zarejestrowało się 240 osób, a w końcu tylko 30- pare wysłało swoje projekty. Częściowo dlatego, że ludzie robili tak zwany backtesting, czyli sprawdzali jak ich metoda działa. Załóżmy, że mamy krzywą miesięczną i zadaniem jest przewidzieć następnych 18 miesięcy, czyli 18 punktów. Krzywa którą ja mam, ma na przykład, 50 punktów, więc mogę udawać, że tak naprawdę mam 32 punkty. Z tych 32 przewidzieć te 18, czyli skrócić tą krzywą o horyzont do przewidywania i nauczyć się przewidywania na tej krótszej krzywej. Następnie sprawdzić jak nam idzie. To jest prawidłowe podejście, które ja zastosowałem. Ludzie to sprawdzali, porównywali i okazywało się, że wcale nie jest tak łatwo wykorzystać standardowe metody, bo organizatorzy podali standardowe wyniki i metody do porównania. Jedna moja znajoma pracowała, po czym stwierdziła, że nie jest w stanie pokonać tych standardowych metod i zrezygnowała z dalszego udziału. Także kto wie, być może na początku było więcej osób które próbowały użyć uczenia maszynowego, ale koniec końców zrezygnowali. To jest jedna z możliwości dlaczego chętnych było więcej, ale nie dotarli do końca.

Jest to generalnie trudny konkurs dla metod uczenia maszynowego, ponieważ masz tysiące tych krzywych, ale bez żadnego opisu. Jedna może okazać, na przykład ilość transakcji w bankomacie, druga to może być, na przykład ilość wylewów rzeki w jakimś tam okresie. Więc masz tysiące krzywych i nie wiadomo skąd one pochodzą. Mają zupełnie inny wygląd, wyginają się w różnym rytmie, pod różnymi kątami. Ich sezonowe wpływy są zupełnie inne. Więc uczenie maszynowe w tym momencie ma kłopoty, ponieważ jedna krzywa wyklucza drugą. Ucząc się z jednej, druga jest zupełnie inna. Także to jest najtrudniejsze zadanie, jakie uczenie maszynowe ma w przewidywaniu szeregów czasowych.

Na przykład jak w Uber przewidujesz ilość podróży samochodem, to mamy inne rzeczy. Możemy wiedzieć w którym mieście,  nawet w którym rejonie miasta, jaka jest tam średnia zarobków za godzinę. Mamy wiele innych atrybutów, które są bardzo istotne i to powoduje, że uczenie maszynowe, które ładnie radzi sobie z dużą ilością, i dobrze wyciąga te informacje z dużej ilości atrybutów, w tym momencie będzie miało przewagę. Natomiast, jak mamy taką “gołą” krzywą, bez niczego innego, to jest ciężko. Ja myślę, że to jest podstawowa sprawa. Brak tych dodatkowych atrybutów powoduje, że zadanie jest ciężkie. Nie, że niewykonalne, ale bardzo ciężkie. Z jednej strony można stwierdzić, że uczenie maszynowe wygrało, a z drugiej niekoniecznie, bo bez tych formuł, które były w środku tego algorytmu nie wygrałoby. Więc oba tłumaczenia są właściwe. Ja myślę, że to jest dobry algorytm. Ten algorytm może być wzbogacony przez dodatkowe cechy, atrybuty. I to, czy to był triumf uczenia maszynowego, zależy od punktu widzenia.

Czy masz w planach wdrożyć te rozwiązania do Ubera?

Tak, to jest właśnie moje główne zadanie w pracy. Przy czym weź pod uwagę, że nie ma jednej metody na wszystko. W różnych kontekstach łatwe, tradycyjne metody statystyczne są jak najbardziej na miejscu. To, że my to wdrożymy nie znaczy, że każda krzywa w Uberze będzie tym przewidywana. Być może ich zastosowanie trochę się rozszerzy, ale robimy to tylko wtedy, kiedy to ma sens, a nie dlatego że wszyscy tego używają. To, że w jakiejś sytuacji metoda jest najlepsza, nie znaczy, że będzie najlepsza w pozostałych.

Czy coś oprócz tego, że w trakcie konkursu M4 tyle osób się poddało jeszcze Cię zaskoczyło?

Zaskoczyła mnie mała ilość rozwiązań z użyciem uczenia maszynowego. Wydaje mi się, że Ci którzy dotrwali do końca tego konkursu i przedstawili swoje wyniki, byli to głównie statystycy, którzy częściowo dodawali uczenia maszynowego, ale to była tradycyjna szkoła. Jest to trochę deprymujące. Młode pokolenie rośnie. Oni się mniej boją różnych sieci neuronowych. Z resztą to widać na corocznych konferencjach, w której do najważniejszych w tych dziedzinach, można zaliczyć między innymi International Symposium on Forecasting. Uczęszczam na nią od około 5 lat, i ta ilość ludzi którzy przychodzą na moje wykłady rośnie. Więc widać, że to młodsze pokolenie jest bardziej zainteresowane tymi nowymi metodami, i dobrze.

Jak można znaleźć Ciebie w sieci?

Najłatwiej wpisać Slawek Smyl w LinkedIn i tam można mnie znaleźć.

Dzięki wielkie Sławek za tę rozmowę. Za tą chęć podzielenia się wiedzą, której masz bardzo dużo, w szczególności jeśli chodzi o szeregi czasowe. Jeszcze raz dzięki za podzielenie się wszelkimi informacjami. Do zobaczenia!

Dziękuję bardzo.

Bardzo dziękuję za wysłuchanie tego odcinka. Mam nadzieję, że udało Ci się wyciągnąć z niego wiele ciekawych informacji. Dziękuję Ci bardzo za wspólnie spędzony czas, za słuchanie BiznesMysli, za inspirację, oraz za wszystkie informacje zwrotne, które od Ciebie dostaję, i życzę Tobie wszystkiego najlepszego. Cześć! Na razie! Trzymaj się!

Artykuł Szeregi czasowe: rozmowa z doświadczonym inżynierem z Uber pochodzi z serwisu Biznes Myśli.

W tym odcinku dowiesz się:

• Czym zajmuje się Janusz Marecki oraz jak działa DeepMind?
• Co Januszowi udało się osiągnąć pracując w IBM Research
• Czym są problemy w całości obserwowalne?
• Jakie są przeszkody w procesie konstrukcji sztucznego mózgu?
• Czym jest system wieloagentowy (multi-agents system)?
• Jaką wartość biznesową możesz uzyskać wdrażając system wieloagentowy do swojej firmy?
• Czym jest efektywność Pareto?
• Na czym polega „dylemat więźnia” oraz „dylemat społeczny”?
• Jak problemy sztucznej inteligencji przekładają się na otaczającą nas rzeczywistość?
• Czy w przyszłości będziemy w stanie kontrolować sztuczną inteligencję?
• Czym dokładnie jest AGI oraz czy jesteśmy w stanie go osiągnąć?
• W jak szybkim tempie technika posuwa się do przodu?
• Jakich błędów unikać podczas wyciągania wniosków z „udanych” eksperymentów?
• Które dziedziny nauki lub medycyny rozwiną się najbardziej w ciągu kolejnych 5-10 lat?

Na początek szybkie ogłoszenie. Pewnie jak już wiesz, 29 października ruszył mój autorski kurs praktycznego uczenia maszynowego. Natomiast 12 listopada, rusza już drugi, też autorski kurs online w 100%: “Praktyczne prognozy szeregów czasowych”. Czym są szeregi czasowe, opowiedziałem w odcinku 39, który nosi tytuł: “10 przykładów jak uczenie maszynowe może pomóc Twojemu biznesowi”. W skrócie chodziło o to: jeżeli chcesz się nauczyć robić prognozy, na przykład popytu, różnych wartości i innych wymiernych czynników w czasie, to bardzo gorąco Cię zapraszam na ten kurs, gdyż może okazać się, że nagle jesteś w stanie zoptymalizować swój biznes i przedstawić wymierne korzyści, dlaczego uczenie maszynowe działa. To tyle jeśli chodzi o ogłoszenie.

Tu możesz zobaczyć kawałek nagrania z kursu…

Teraz przechodzimy do dzisiejszego gościa, którym jest Janusz Marecki. Pracuje on w DeepMind. Wcześniej pracował w IBM, bardzo ciekawa osoba, z bardzo fajnym, przyjacielskim podejściem do życia. Kiedy już go lepiej poznasz, to bardzo przyjemnie się z nim współpracuje. Osobom, które mniej siedzą w temacie może się wydawać, że Janusz posiada czasem kontrowersyjne poglądy. Z drugiej strony jest to spojrzenie pragmatyczne. Tak, jak to widzi naukowiec pracujący w DeepMind. 

Cześć Janusz, przedstaw się: kim jesteś, czym się zajmujesz, gdzie mieszkasz?

Obecnie mieszkam w Londynie. Przedtem mieszkałem przez 10 lat w Stanach Zjednoczonych, w Nowym Jorku i w Los Angeles. Jestem naukowcem prowadzącym w DeepMind. To jest taki startup, który wyrósł już do ponad 1000 ludzi. Jest on częścią Google.

Słyszeliśmy o tym startupie :). A powiedz, co ostatnio ciekawego przeczytałeś?

Ostatnio natknąłem się na taką ciekawą książkę jednego ze słynnych naukowców z dziedziny sztucznej inteligencji, autorstwa Judea Pearl. To była książka zatytułowana “The Book of Why”. W tej książce autor podaje swoje doświadczenia przez całe życie kariery naukowej i argumentował dlaczego powinniśmy budować systemy sztucznej inteligencji, które rozumują nie tylko na podstawie danych. Czyli żeby ten system miał wbudowany algorytm rozumowania a nie tylko żeby próbował z danych te algorytmy wywnioskować. Bardzo ciekawa książka, dość obszerna. Jeszcze jej nie skończyłem, ale polecam.

Akurat tej książki jeszcze nie przeczytałem, ale też mam ją na uwadze. Czytałem o niej artykuł. W ogóle, autor tej książki jest bardzo ciekawą osobą i cała jego biografia też jest inspirująca.

Już wspomniałeś, że mieszkałeś przedtem w New Yorku, Los Angeles i pracowałeś w IBM Watson Research. Domyślam się, że przez 7 lat kiedy tam pracowałeś udało się zrobić wiele ciekawych rzeczy. Widziałem, że między innymi napisałeś książkę Allocation of Continuous Resources in Agent Systems. Proszę, powiedz coś więcej. Co udało się stworzyć właśnie pracując w IBM Research? Oczywiście tyle na ile możesz.

Miałem bardzo fajną okazję pracować z bardzo ciekawymi ludźmi. Jedną z osób z którymi między innymi tam pracowałem był Murray Campbell. Był on szefem tego zespołu Deep Blue, który grał z Kasparowem w szachy. Podobnie, miałem szansę jeszcze pracować z Gerry Tesauro. Jest on jednym z ojców sztucznej inteligencji, gdyż jako pierwszy w 1994 roku zaproponował taki system, mianowicie sieć neuronową, która sama nauczyła się grając ze sobą, grać w Backgammon na poziomie lepszym niż najlepszy człowiek. Te doświadczenia były o tyle ciekawe, że ci właśnie ludzie skierowali mnie na pewną taką dziedzinę. Czym się zajmować, czym się nie zajmować.

Na przykład Murray powiedział, żeby się już nie zajmować systemami, które są tak zwane “complete information problems” czyli w całości obserwowalne. Na przykład gra w szachy jest czymś takim. To, co widzimy na szachownicy, na podstawie tego podejmujemy optymalne decyzje, bo tego typu problemy, jak on już kiedyś sugerował będą rozwiązane, i widzieliśmy to na przykład w DeepMindzie kiedy nasz system wygrał w jeszcze trudniejszą grę “Go” z mistrzem świata. Podobnie Gerry powiedział mi żeby się nie zajmować systemami, które są “model free”, czyli bez modelu, ponieważ są to rzeczy, które już teraz da się zrobić przez co to nie będzie przyszłościowe.

Tych właśnie dwóch naukowców skierowało mnie na taką fajną drogę, żeby zajmować się problemami, które są tylko częściowo obserwowalne i żeby się uczyć modelu. Właśnie dlatego zacząłem wtedy pracować nad modelami sztucznego mózgu. To są bardzo ciekawe modele, które wywodzą się z zupełnie nowego podejścia w AI i tym się bawiłem przez przez wiele, wiele lat. Byliśmy finansowani przez Department of Homeland Security. Bardzo dobrze ten czas wspominam, a już szczególnie to, że Ci sławni ludzie z AI powiedzieli mi czym się warto zajmować, więc od tego czasu przez ostatnie 10 lat zajmuje się taką generalną sztuczną inteligencją, która zakłada, że musimy nauczyć się modelu świata, że zajmujemy się problemami które są tylko częściowo obserwowalne, i tak dalej. Bardzo ciekawe rzeczy.

Sztuczna inteligencja sama w sobie jest popularnym hasłem. Sztuczny mózg, chyba niekoniecznie. Czy mógłbyś troszkę dodać, co chciałeś osiągnąć stwarzając sztuczny mózg? Jak to próbowałeś sam sobie tłumaczyć?

Jest to o tyle ciekawe, że obecnie jeśli ludzie używają tego “termu” sztuczna inteligencja – AI, to prawie zawsze mają na myśli sztuczne sieci neuronowe. Nawet nie biologiczne, ale sztuczne sieci neuronowe, które są pewnego rodzaju aproksymatorami funkcji. To jest fantastyczne narzędzie, które nadaje się do wielu problemów. Natomiast to co teraz właśnie opisuję w mojej publikacji która będzie za niedługo dostępna to jest to, że to narzędzie niestety ma pewne ograniczenia w przypadku, gdy próbujemy je stosować do rozwiązania problemu generalnej sztucznej inteligencji.

Oczywiście, nie każdy naukowiec się z każdym zgadza, więc są naukowcy którzy uważają, że wszystko rozwiążemy sieciami neuronowymi. Ja uważam, że nie dlatego że są właśnie te ograniczenia i te ograniczenia próbuję już od ponad 10 lat rozwiązać właśnie przy pomocy sztucznego mózgu, który tak naprawdę wzoruje się na cortexie (korze mózgowej) człowieka. Więc są to bardzo zaawansowane badania, ale tak jak wspomniałeś, one nie są mainstreamowe. Aktualnie, jeśli chodzi o badania mainstreamowe mamy do czynienia ze sztucznymi sieciami neuronowymi. One są bardzo popularne, więc budowanie sztucznego mózgu to jest rzecz na następne 5-10 lat, ale nie na jutro.

Brzmi to bardzo interesująco. Wspomniałeś, że jesteś prowadzącym naukowcem w DeepMind i pracujesz już od ponad 3 lat. Powiedz w skrócie, czym się zajmujesz?

W DeepMindzie zajmuję się między innymi systemami wieloagentowymi. Ciekawą rzeczą jest to, że nawet jak znajdziemy kiedyś rozwiązanie do generalnej sztucznej inteligencji, to podejrzewam, że będziemy mieli wielu takich właśnie agentów, którzy będą ze sobą współegzystować. Pojawia się pytanie, co należy zrobić, żeby ci agenci którzy mogą mieć o wiele większą zdolność rozumowania, planowania, i tak dalej, w jaki sposób mają oni ze sobą współdziałać? Czy to będą takie egoistyczne jednostki, tacy “dyktatorzy”, którzy wszystko przejmą, czy też stworzymy takie jakby środowisko, takie society agentów. To czym się próbuję zajmować w DeepMindzie, to z jednej strony właśnie próba zbudowania tego, tak zwanego master algorithm, czyli, tak zwanej sztucznej inteligencji na podstawie sztucznego mózgu, a drugą rzeczą jest, co zrobić żeby ci agenci którzy już są inteligentni mogli ze sobą współegzystować. Nie jest trywialne zagadnienie. Mamy na ten temat kilka ciekawych publikacji.

Kilka pytań mi od razu przyszło do głowy, ale może najpierw wyjaśnijmy czym jest system wieloagentowy, ang. (multi-agents system). Co to takiego jest?

Spróbuję podać przykład. Weźmiesz system, który rozwiązuje równania liniowe. To jest system jednoagentowy. Jest to jeden agent, algorytm, który rozwiązuje układ wielu równań i on ma dostęp do wszystkich możliwych danych. Komunikuje się sam ze sobą i sam rozwiązuje dany problem. W systemie wieloagentowym mamy do czynienia z rozproszeniem danych. Dane należą prywatnie do agentów z rozproszenia tego systemu, który rozumuje pomiędzy danymi i to samo rozwiązanie w sobie nie musi być skupione. One może też być rozproszone. Dobrym przykładem jest mrowisko. Kiedy mamy mrowisko w którym są dziesiątki tysięcy mrówek to jest to system wieloagentowy, ponieważ tam nie ma centralnego mózgu. Tam indywidualni agenci, (w tym przypadku to są właśnie te mrówki) podejmują lokalnie jakieś decyzję.

Na podstawie lokalnej obserwacji wymieniają się informacją na podstawie powiedzmy feromonów. które zostawiają na ziemi, a rezultatem tego są niesamowite konstrukcje, takie jak na przykład mrowisko. To jest właśnie ten rezultat systemu agentowego, który jest możliwy do stworzenia tylko jak mamy całą populację agentów. Co jest ciekawe, w tej populacji każdy agent jest taki sam. Niesamowitą rzeczą jest to, że to nie jest tak, że to jest populacja powiedzmy dziesiątek typów agentów. W tym przypadku to jest populacja jednego typu agenta, ale tych agentów jest strasznie dużo. Czym to się różni? System scentralizowany ma scentralizowaną wiedzę i rozumowanie, natomiast system wieloagentowy ma zdecentralizowaną wiedzę i zdecentralizowane problemy decyzyjne, czy procesy decyzyjne w takim dużym skrócie.

Brzmi to ciekawie. A jaką wartość biznesową może dać używanie systemów wieloagentowych?

Podam może taki przykład którym zajmowaliśmy się jeszcze jak byłem na uniwersytecie w Stanach Zjednoczonych. Chodziło o rozwiązanie problemu harmonogramowania, to znaczy chodziło o to, żeby w danej grupie badawczej naukowcy mogli się dogadać i wspólnie ustalić kiedy będziemy mieli spotkanie. Wydaje się, że to jest taki prosty problem. Wcale nie jest taki prosty. Problem jest taki, że co jeśli nie każdy użytkownik chce każdemu powiedzieć kiedy będzie dostępny. Powiedzmy, że jest 10 osób i chcemy się umówić na jakieś spotkanie na godzinkę, ale to nie jest tak, że każdy z każdym wymienia kalendarze. Problemem jest koordynacja. Jak optymalnie zorganizować meeting, kiedy agenci czyli ludzie nie wymieniają się informacją, na przykład kiedy są dostępni a kiedy nie. Problem ten  właśnie można rozwiązać z wykorzystaniem systemu wieloagentowego. W tym przypadku zastosowaliśmy systemy rozproszonej optymalizacji. To jest jeden z przykładów. Innym przykładem może być na przykład problem komiwojażera. Można go rozwiązać z wykorzystaniem algorytmu zwanego “Ant Colony Optimization”. Jest to algorytm, który mrówki stosują do optymalizacji znalezienia najkrótszej trasy między dwoma punktami. Kolejny system wieloagentowy i okazuje się, że można rozwiązać bardzo skomplikowane problemy takie jak, na przykład problem komiwojażera.

Pozwolę sobie teraz trochę zmienić temat, ale akurat to, co wytłumaczyłeś jest nam potrzebne aby pójść dalej. Czytałem Twoją publikację Multi-agent Reinforcement Learning in Sequential Social Dilemmas, która została opublikowana w roku 2017. Dla Ciebie pewnie to jest taka sprawa codzienna, ale żeby każdy zrozumiał, to musimy jeszcze kilka takich pojęć wyjaśnić. Pierwsza rzecz, czym jest efektywność Pareto, lub tak zwane Optimum Pareto. Mógłbyś nam to wytłumaczyć na kilku przykładach?

Można tutaj podać przykład lotu samolotem. Wyobraź sobie, że lecisz na wakacje i musisz się dostać z Krakowa do Tunezji, ale nie ma już lotu bezpośredniego. Są tylko loty, które mają jedną przesiadkę. Teraz, co jeśli się okaże, że jest jeden lot który leci przez jakieś miasto, powiedzmy przez Frankfurt i ten lot trwa 5 godzin
i kosztuje 1000$, a może się okazać, że jest inny lot, który odbywa się przez zupełnie inne miasto, kosztuje tyle samo i trwa dokładnie tyle samo. W tym przypadku mamy do czynienia z dwoma rozwiązaniami. Są to zupełnie różne rozwiązania, które mają taki sam czas i taką samą cenę. Możemy powiedzieć, że tego typu rozwiązania są Pareto optymalne. Można podać jeszcze troszeczkę inne przykłady. Ogólnie, chodzi tutaj o to, że na przykład w tym przypadku mamy dwa kryteria. Pierwszym z nich jest jak najtańszy lot, a drugi, jest jak najkrótszy lot.

Może się okazać, że mamy dwa rozwiązania. Jeden jest troszkę dłuższy, ale kosztuje mniej, a drugi jest krótszy, ale kosztuje więcej. Teraz pytanie. Które rozwiązanie jest optymalne dla nas. To jest właśnie ten problem, że są dwa rozwiązania i obydwa są optymalne w sensie, że jedno jest najtańsze a drugie jest najszybsze. To są dwa rozwiązania i nie możemy jednoznacznie powiedzieć, że jedno jest lepsze od drugiego. Obydwa są najlepsze w swojej dziedzinie, także są Pareto optymalne.

Na czym polega problem z teorii gier dylemat więźnia (lub uogólniona wersja dylemat społeczny)?

Kolokwialnie się na to mówi, że jest to jest taki problem jak nie być “nabranym w balona”, jak nie być wykiwanym. Posłużę się tutaj takim przykładem. Jeśli na przykład jeździmy pociągami gdzieś w Polsce to może się okazać, że jadąc w pociągu za który zapłaciłem znajdziemy kogoś kto za bilet nie zapłacił. Ten ktoś nie zapłacić, a tak samo przejedzie jak my. Może się okazać, że jak taki człowiek jest pojedynczy to wszystko będzie w porządku. Nikt nie chce być tym takim, jak to się mówi “nabranym w balona”, więc jak ja bym zauważył wiele takich ludzi, stwierdziłbym, po co mam płacić. Przestałbym płacić i też bym jeździł tym pociągiem na gapę, ale jeśliby się okazało, że większa ilości ludzi jeździłaby na gapę, to niestety ten pociąg by albo przestał jeździć, albo nie byłoby pieniędzy na kupienie nowych wagonów, i tak dalej.

Na tym polega ten problem więźnia. To znaczy tutaj mamy do czynienia z dwoma więźniami i optymalne rozwiązanie jest takie, żeby ci więźniowie współpracowali. Czyli w przypadku takiego przejazdu pociągiem optymalnym rozwiązaniem jest, żeby każdy płacił nie dużo za bilet. Natomiast drugim rozwiązaniem jest, że nikt nie płaci za bilet. To też jest rozwiązanie, ale wtedy obydwoje wychodzimy na nim jak najgorzej. Najgorsze jest to, podobnie jak w dylemacie więźnia, że przez to, że ludzie sobie nie ufają, nie ufają, że ten drugi człowiek zapłaci za bilet i przez tę ich nieufność też nie płacą. W idealnym świecie każdy by rzeczywiście płacił bardzo małą cenę i miał świetne pociągi, ale w praktyce tak nie jest ponieważ sobie nie ufamy i wybieramy tę opcję w której nie ufamy drugiemu człowiekowi, nie płacimy za bilet, nie ma w ogóle nowych wagonów w pociągu. Ja to mniej więcej tak rozumiem.

Powiedz troszkę więcej o regułach gry, które zastosowaliście w „gathering game”.

To była taka gra, w której agenci musieli zbierać jabłka. Sęk w tym, że nie mieli pojęcia, że mają do czynienia z jabłkami, więc tak naprawdę agenci byli zainteresowani zbieraniem zielonych kwadracików, które symbolizowały jabłka. Te kwadraciki, kiedy się je zjadło to się odnawiały. Te jabłka wirtualne wyrastały na nowo po jakimś czasie. W tej grze mieliśmy do czynienia z kilkoma agentami, którzy byli jednocześnie umieszczeni w danym środowisku i uczyli się jak w tym środowisku się zachować, żeby zmaksymalizować swoją funkcję w celu zjedzenia jak największej ilości jabłek. I takie były właśnie reguły. Problem jeszcze był taki, że te epizody w których ci agenci grali były ograniczone. Powiedzmy, że każdy epizod trwał 2 albo 3 minuty i teraz: jak się powinien zachować agent żeby w ciągu tych trzech minut skonsumował jak największą ilość jabłek. Co było ciekawe, agenci mogli też się eliminować z gry na jakiś czas. Mogli wykorzystywać tak zwany laser, przy pomocy którego jeśli dany agent został trafiony, to powiedzmy szedł do kąta na kilka sekund, czyli tracił czas podczas którego mógł zbierać jabłka. Na tym polegały reguły tej gry.

To jest właśnie esencja tego, dlaczego w ogóle zacząłem o tym mówić. Mi osobiście bardzo spodobały się wyniki. W przypadku jeżeli tych jabłuszek było wystarczająco dużo, to agenci stwierdzali w jakiś tam sposób, że w sumie się nie opłaca używać tego lasera i niższych cen konkurencji, bo po co? I tak jabłuszek jest wystarczająco dużo. Ale z drugiej strony, jak już zaczynało być ich mniej to zaczynali wtedy konkurować i o to walczyć. Mi od razu przypomniała się taka historia, która jakby z jednej strony jest zupełnie o czymś innym, ale przypomina ten sam kontekst.

Sytuacja miała miejsce w Krakowie. Pamiętam, jak stałem na przystanku i okazało się, że coś się  popsuło. Przez pół godziny tramwaje nie jeździły, więc ludzi było coraz więcej, a sytuacja odbywała się rano, przed pracą, studiami. Po chwili tramwaj wreszcie przyjechał, ale jest pełny ludzi. W dodatku drugie tyle czekało na przystanku. Ci ludzie próbują tam wejść i zaczyna się tam dziać nieprzyjemne sytuacje. Krzyki, jakieś szarpaniny, i tak dalej. Ciekawostka tej historii była taka, że wystarczyło podejść trochę dalej, tam gdzie nie było tego zatoru, nie było korku i tam tramwaje kursowały normalnie. Nie ma tam tak dużego tłumu i ludzie są spokojni.

To dla mnie było takim zaskoczeniem Jeszcze 5 minut temu prawie każdy zachowywał się jak bardzo spokojny i uprzejmy człowiek, a wystarczyło troszkę skomplikować warunki dookoła żeby ludzie zaczęli się zachowywać agresywnie. I w waszym eksperymencie właśnie potwierdziło się coś podobnego. Dla mnie to była mega inspirujące, i pytanie: czy to oznacza, że to jest prawo natury? Czy po prostu tak działa nasz świat?

Wydaje mi się, że niestety takie właśnie jest prawo natury, ale z kolei nasz świat nie musi tak działać. Co przez to rozumiem? Chodzi tutaj o to, że można stworzyć pewne protokoły dzięki którym ludzie będą bardziej skłonni żeby, powiedzmy się ze sobą nie szarpać, ale żeby bardziej ze sobą współpracować. Więc te protokoły jak ja je rozumiem: na przykład, jak lecisz samolotem to często linie lotnicze sprzedają więcej biletów, niż jest miejsc w samolocie. Dlaczego to robią? Dlatego, że przeważnie ktoś się spóźnia na samolot, ktoś odwołuję lot i nie chcą żeby samoloty były puste. Ale na czym tutaj polega ta sytuacja tego protokołu? Na tym, że jeśli nie byłoby żadnego protokołu to ci pasażerowie czekający na samolot którzy by się nie dostali do samolotu prawdopodobnie by się pobili, prawda?

Ale właśnie w tym przypadku linie lotnicze już dawno wpadły na pomysł żeby wynagradzać tych pasażerów którzy odstępują swój bilet, czyli tych którzy zdecydują się, że poczekają na następny samolot. Kiedy kończyłem doktorat miałem taką sytuację. Właśnie byłem w Seattle, wracałem do Los Angeles, ale pisałem pracę doktorską i też się okazało, że samolot był w całości sprzedany. Nie było miejsca, więc zdecydowałem się odstąpić swój bilet, polecę późniejszym samolotem, popracuję trochę nad pracą doktorską. Okazało się, że dostałem za to darmowy lot na Alaskę na tydzień. Więc jeśli takie protokoły stworzymy w których agenci czy ludzie będą bardziej skłonni aby odstąpić to miejsce, to może się okazać, że nie będzie tej kłótni, albo ci którzy odstąpią, dostaną coś w zamian. Więc tak właśnie jest. Ty na przykład wspomniałeś, że czekałeś na następny tramwaj, więc też odstąpiłeś, poczekałaś, podszedłeś troszkę dalej na następny i w nagrodę był on pusty. Więc tego typu sytuacja. Wydaje mi się, że prawo natury już takie jest. Niestety ci ludzie będą agresywni, będą ze sobą walczyć. Natomiast jak te protokoły się dobrze stworzy, to będą mieli większą incentive, czyli większą, jak to się mówi skłonność do tego żeby nie być agresywni, żeby odstępować te rzeczy, bo dostaną coś w zamian.

Kiedy rozmawialiśmy o multi agentach to wspomniałeś, że idea jest taka aby nie doszło do sytuacji kiedy pojawia się jeden, taki sztuczny dyktator, tylko żeby jednak ci agenci współpracowali ze sobą. Zastanawiam się, czy ten protokół o którym teraz mówisz, czy w nim chodzi o aspekt wytworzenia się sztucznego społeczeństwa? Myślę, że tak mogę to nazwać. Czy ten protokół będzie dyktowany w tym przypadku? Czy też chodzi po prostu o ludzi. Czy jakoś to można przenieść na życie prostych ludzi?

Szczerze nie wiem, jak jest z tym protokołem. Fajnie go stworzyć jak mamy do czynienia z konkretnym problemem, na przykład problem przelotu samolotem i overbookingu. Natomiast jeśli chodzi o generalne podejście to jest troszkę trudniej. Mamy tutaj w DeepMind pewne bardzo ciekawe badania odnośnie protokołów dla agentów, którzy są wynagradzani, jeśli rozwiązania które oni proponują są bardziej egalitarne, czyli jeśli nie ma tej ogromnej różnicy pomiędzy bogactwem agentów, więc da się zmodyfikować tę funkcję celu, żeby agenci starali się taką strategię wybierać w której nie ma takiego ogromnego rozstrzału pomiędzy tym bogactwem agentów. Są oni w miarę równi, więc wydaje mi się, że jest możliwość zaproponowania takich agentów, którzy we własnej funkcji celu mają wbudowany taki system w którym są wynagradzani za to, żeby nie dochodziło do takich ogromnych różnic między dyktatorem a resztą. Oczywiście, da się tak to zmodyfikować. Jest możliwość stworzenia takiego systemu agentów, który będzie bardziej egalitarny, mniej dyktatorski. Natomiast czy ten system później się nie przeprogramuje? Tego już nie wiemy, ale da się stworzyć takie właśnie protokoły, które są bardziej generalne i prowadzą do agentów którzy są mniej skłonni aby być dyktatorami.

Wprowadziliście pojęcie “sequential social dilemmas”, wyjaśnij proszę co to jest?

W klasycznej teorii gier mamy do czynienia z taką matrycą gry. Jest taka jedna gra, w której agenci podejmują w tym samym czasie jedną decyzję i to wszystko. Natomiast to rzadko oddaje rzeczywistość. W rzeczywistości jest troszkę inaczej. Są agenci, którzy podejmują jedną decyzję która zmienia trochę środowisko. To prowadzi do nowej konfiguracji i agenci znowu podejmują jakąś decyzję. Potem następuje kolejny krok i kolejny. Powstaje cała sekwencja decyzji. Taka sekwencja jest o tyle ciekawa, że pierwsza decyzja niekoniecznie jeszcze mówi o tym czy ci agenci ze sobą współpracować, czy może ze sobą będą konkurować. Może się okazać, że dopiero przy setnej czy tysięcznej decyzji wychodzi na jaw, że ta strategia jest konkurencyjna. Dla przykładu mamy taki problem. Po angielsku mówi się na to tragedy of the commons, czyli tragedia wspólnoty.

Jest to taka ciekawa rzecz w której agenci mogą podjąć decyzje, że zbierają i zjadają jakieś zasoby. Cały czas wszystko jest dobrze. Nauczą się żeby zjadać zasoby i to będzie optymalna strategia, natomiast jak wprowadzimy sekwencyjność, to będziemy widzieli, że po jakimś czasie, jeśli powiedzmy przez 10 kolejnych epok, albo dni, albo miesięcy ci agenci cały czas zjadają wszystkie dostępne zasoby, to tych zasobów może zabraknąć w systemie.

Może ich być zbyt mało aby ten system się odnowił. Dla przykładu:  mamy jakiś sad i w tym sadzie możemy zjadać wszystkie jabłka. Możemy na raz, w ciągu jednego dnia zjeść wszystkie jabłka. Wszyscy się świetnie najedzą, natomiast nie będzie możliwości żeby ten sad się odnowił. Wprowadzenie tej sekwencyjności pozwala nam na przeanalizowanie o wiele bardziej ciekawych problemów w których dopiero po którymś tam kroku zmienia się środowisko. To są bardzo ciekawe rzeczy i one są bardzo widoczne właśnie w naszym codziennym życiu, ponieważ jak weźmiemy taki problem więźnia, to niekoniecznie przekłada się on od razu na rzeczywistość. Natomiast taki sekwencyjny problem, czy powiedzmy ten tragedy of the commons, czy też problem szukania zasobów w danym środowisku, albo wspólnego polowania na kogoś, tego typu problemy powodują, że mamy do czynienia z sekwencyjnością, ale dalej interesujemy się takimi właśnie problemami społecznymi w których mamy sekwencję wydarzeń.

Kolejna rzecz, która przykuła moją uwagę, to jak badaliście jakie czynniki wpływają na to, że agenci chcą współpracować. Powiedz trochę więcej o wynikach tego badania.

Mieliśmy taką jedną grę która była nazywana “Stag-hunt”. To jest coś w stylu takiego wspólnego polowania. Tam, na przykład zauważyliśmy, że agenci którzy byli w środowisku w którym musieli znaleźć daną ofiarę i na nią polować szybko przekonali się, że pojedynczo ciężko jest zapędzić tę ofiarę do rogu mapy. Bardzo szybko się nauczyli, że muszą ze sobą współpracować, czyli musi być dwóch albo trzech agentów, którzy będą koordynować swoje ruchy tak, żeby zapędzić ofiarę czy jakąś owieczkę, czy jakiegoś innego agenta do rogu, i potem, powiedzmy go skonsumować, czy dostać jakąś nagrodę. Szkoda, że jak skonstruujemy tak środowisko w którym pojedynczy agent nie będzie dostawał nagrody jeśli sam będzie jakiś cel próbował osiągnąć. Powiedzmy, jeśli sam będzie próbował na kogoś polować, a tak to skonstruujemy, że potrzeba jest więcej agentów, to ci agenci mają możliwość żeby się nauczyć właśnie ze sobą współpracować. Co jest ciekawe, prowadziliśmy dosyć podobne badania  jeszcze w Kalifornii ze współpracą z departamentem straży pożarnej w Los Angeles, w którym trenowaliśmy takich głównodowodzący operacją gaszenia pożarów, gdzie mają wysyłać jednostki straży pożarnej.

Mieliśmy taki symulator, taką grę komputerową i właśnie ci głównodowodzący bardzo szybko się uczyli. Nie wysyłali wszystkich jednostek do różnych pożarów, tylko koncentrowali to. Czyli koncentrowali wiele straży pożarnych na jednym pożarze. Potem przechodzili do następnego. Ten system wieloagentowy jest w stanie się nauczyć takiej samej strategii, jaką się posługiwał głównodowodzący straży pożarnej w Los Angeles. Właśnie takiej, aby wspólnie te jednostki wysyłać do jednego pożaru. Jeśli się stworzy środowisko dosyć dobrze, to można zacząć obserwować tę współpracę agentów. W tym przypadku jest to albo współpraca tych jednostek straży pożarnej, które razem gaszą pożary, albo współpraca takich, powiedzmy wilków, które chcą zapędzić do rogu owcę i ją pożreć.

Czy myślisz że uda się stworzyć coś takiego, żeby środowisko w którym ta sztuczna inteligencja będzie istnieć, będzie zmuszało ją do współpracy w ten czy inny sposób? Cały czas podkreślałeś słowo środowisko. Żeby odpowiednio je (środowisko) skonstruować, to agenci szybko się zorientują, że muszą jednak współpracować. Czy ja dobrze myślę, że to jest jeden ze sposobów, jak nawet inteligentny system, który może być mądrzejszy niż my, ludzie, będzie nadal pod kontrolą, bo musi współpracować między sobą?

Masz rację, tak, ale  jeszcze bym to troszeczkę rozwinął. To znaczy, jeśli budujemy system generalnej sztucznej inteligencji i ten system żyje w jakiejś symulacji, w jakiejś wirtualnej maszynie, wirtualnej maszynie, wirtualnej maszynie na komputerze, to nawet jeśli nie będziemy w stanie go kontrolować, to w najgorszym wypadku przejmie całą pamięć w danej maszynie wirtualnej, czyli wszystko skonsumuje, ale to żaden problem. Problem pojawia się dopiero wtedy, kiedy chcemy taki system na sztucznej inteligencji generalnej wypuścić na zewnątrz, a to co bardzo fajnie tutaj robimy w DeepMindzie, to jest to, że próbujemy ten problem zaatakować z dwóch stron.

To znaczy, z jednej strony mamy niesamowity nacisk na te światy wirtualne. Wszyscy nasi agenci żyją wirtualnie w tych światach, więc to są bardzo bezpieczne światy z których ci agenci się nie mogą wydostać, bo nie wiedzą, że żyją w ogóle w symulacji, a z drugiej strony mamy niesamowicie dużo badań naukowych odnośnie tego jak zrobić żeby to środowisko zmodyfikować w punkcie celów, lub agentów, żeby ci agenci zaczęli być altruistyczni, żeby współpracowali ze sobą, i tak dalej, Ale to nie jest oczywiste. To jest tak, że obserwuje się agentów, oni się uczą żeby zachłannie coś robić i po chwili nie ma koordynacji. Więc trzeba krok po kroku zmieniać funkcje celu, zmieniać środowiskom zmieniać te parametry, zmieniać te, protokoły, żeby ci agenci ucząc się dla nich optymalnej strategii sami na to wpadli że najwięcej osiągną, jak będą ze sobą współpracowali, kiedy się nie będa eliminowali. Próbujemy ten problem atakować z dwóch stron.

Z jednej strony cały czas budując te  bardzo realistyczne światy wirtualne, żeby ci agenci się nie wydostali, a z drugiej strony właśnie robiąc ogromne analizy, co się stanie właśnie w systemie agentowym, jak zmienimy funkcję w celu, jak zmienimy parametry środowiska, zmienimy protokoły, żeby znaleźć właśnie te protokoły, które są generalne i które powodują, że agenci ze sobą współpracują. To się da znaleźć i próbujemy to robić.

Zajmujesz się tematami związanymi z ogólną sztuczną inteligencją (general AI), lub AGI. Bardzo ciekawy jestem, jak definiujesz czym jest ten AGI, a najciekawsze jest to, jak zrozumiemy albo poznamy, że udało się już osiągnąć ten poziom?

Zawsze się mówiło, że będziemy mieli test Turinga i na podstawie testu Turinga zorientujemy się, że osoba z którą rozmawiamy nie jest biologiczną osobą, tylko jest agentem. Na przykład, jeśli nie będziemy w stanie tego zrozumieć to się okazuje, że mamy już tę generalną sztuczną inteligencję. Dla przykładu, teraz ze mną rozmawiasz i pytanie, czy ja jestem już tą sztuczną inteligencją, czy nie, i czy Cię już przekonałem, że nie jestem agentem tylko osobą biologiczną. Jednym z takich testów jest właśnie taka rozmowa, która może trwać 10, 15, 20 minut, na podstawie której sędziowie mogą stwierdzić, czy ten system rzeczywiście już jest inteligentny, że jest nierozróżnialny od człowieka. Okazuje się, że ten test prawdopodobnie przejdziemy zanim będziemy mieli taką generalną sztuczną inteligencję. Przywołam tutaj film, który mi się bardzo podoba.

Wiele razy go oglądałem. “Ex Machina” z roku 2014 albo 2015. W tym właśnie filmie jest podany przykład, jak możemy zweryfikować, czy już mamy tą generalną sztuczną inteligencję. I to nie jest tylko rozmowa. To jest pytanie, czy ten system jest w stanie naśladować ludzkie odruchy, emocje, przekonywanie, kłamanie, i tak dalej. Wydaje mi się, że test Turinga sam w sobie to był dobry początek, ale żebyśmy mieli pewność, że już mamy taką generalną sztuczną inteligencję, to musimy zrobić coś, co było wcześniej przedstawione w tym filmie “Ex Machina”. Czyli po prostu musimy mieć takiego agenta, który pokazuje, że potrafi nie tylko rozmawiać, ale również kłamać, oszukiwać, symulować. Tego jeszcze nie mamy, ale wydaje mi się, że w pewnym momencie jeśli ktoś będzie twierdził, że już ten algorytm posiada do generalnej sztucznej inteligencji, to trzeba będzie ten algorytm przetestować, a sam test Turinga nie wystarczy. Potrzeba będzie coś bardziej skomplikowanego.

Na ile szybko przesuwamy się w kierunku tego poziomu? Powiedzmy, jeśli mielibyśmy porównać naszą wiedzę o 5 lat wstecz do tej, którą mamy obecnie?

Zawsze jest tak, że jak ktoś robi taki sondaż i pyta się naukowców: kiedy to będziemy mieli tą generalną sztuczną inteligencję, to średnia odpowiedź brzmi 20 lat. Dlaczego? Dlatego, że jak jest powyżej 20 lat, to już mało kogo to interesuje, a jak jest mniej niż 20 lat, to istnieje ryzyko, że ten który robi przepowiednie pomyli się. Więc to jest taka ciekawa rzecz, że mimo to, że pytaliśmy naukowców w roku 1990, 2000 kiedy to będziemy mieli i zapytamy dzisiaj, to średnio wszyscy mówią dalej 20 lat. To się nie zmienia. Co się za to zmienia, na przykład Ray Kurzweil, który przez całe życie zajmuje się prognozą procesów technologicznych, prognozą postępów nauczania maszynowego, sztucznej inteligencji, on na przykład śledzi to od wielu, wielu lat i mówi, że w latach 90 średnia wynosiła 50 lat, teraz średnio wynosi to około 20 lat, ale co jest ciekawe, jak próbujemy tą średnią zbadać, to naukowcy patrzą liniowo, czyli jeśli postęp będzie taki jak jest dzisiaj, to to nastąpi powiedzmy za 50 lat. Jak się ich zapytamy dzisiaj kiedy to będziemy mieli, to mówią to samo. Będzie to za 20 lat zakładając dzisiejszy postęp technologiczny, ale zakładając, że ten postęp technologiczny idzie cały czas do przodu, czyli przyspiesza.

To może nastąpić szybciej. W ogóle, na przykład co mnie zszokowało ostatnio. Ray Kurzweil, który jest właśnie dyrektorem Google Brain sprecyzował, że nastąpi to za 11 lat. To są oczywiście przepowiednie. To może być 100 lat, może być 50, 20, ale to, że osoba która cały czas śledzi te procesy technologiczne podejmuje się takiego ryzykownego zadania, żeby przepowiedzieć coś za 11 lat, to już o czymś świadczy. Jeśli chodzi o mnie, wydaje mi się, że możemy mieć to za szybciej niż 20 lat. Podejrzewam około 10 lat, z tym że nie sądzę, że do tego dojdziemy z wykorzystaniem aktualnych narzędzi, które mamy. Wydaje mi się, że to nas może nawet trochę spowalniać.

Właśnie to jest rzecz, o którą też chcę zapytać. Czyli o obecne algorytmy, ten słynny deep learning, ewentualnie reinforcement learning. Co powinno się stać żeby ten AGI udało się osiągnąć? Jak Ty to widzisz?

Tutaj akurat nie ma konsensusu. To znaczy, naukowcy uważają że wystarczy przeskalować narzędzia, które mamy na większej ilości danych, na największej ilości problemów i wtedy dojdziemy do tej sztucznej inteligencji generalnej. To może być prawda. Ja osobiście uważam, że nie, że do tego nie dojdziemy. Przez wiele problemów, o których właśnie piszę teraz w nowej publikacji. Uważam, że nie mamy jeszcze tego algorytmu. To, co mamy dzisiaj, czyli właśnie ten deep learning, machine learning. Mamy systemy, które bardzo fajnie dopasowują pewne funkcje do danych treningowych, czyli mamy systemy, które można wytrenować. Mamy aproksymatory. Aproksymatory, które są w stanie zaproksymować pewien problem. Na przykład, mogą zaproksymować problem wkładania wtyczki do gniazdka i różne tego typu rzeczy. Wydaje mi się, że nie mamy algorytmu takiej prawdziwej sztucznej inteligencji, a próbujemy stosować niesamowicie silne aproksymatory żeby przybliżać pewne funkcje kognitywne, więc w teorii wystarczy przybliżyć setki tysięcy różnych funkcji kognitywnych i będziemy mieli sztuczną inteligencję generalną.
W praktyce jednak okazuje się, że może po prostu do tego za mało danych i jest to nieefektywne podejście.

Ja osobiście uważam, że narzędzia które są świetne, są to niesamowite narzędzia, które się przyczynią do postępu w medycynie, i tak dalej. One niestety nie wystarczą, według mnie oczywiście do tej generalnej i sztucznej inteligencji. Ja właśnie próbuję to rozwiązać stosując coś zupełnie innego dlatego, że nie mam wiary w te narzędzia z których korzystamy, ponieważ widzę jakie są ich ograniczenia. Natomiast o tych ograniczeniach nie zawsze się mówi. Przeważnie widzimy jakiś system, który nauczył się robić to, albo wykrywa raka na zdjęciach.

Dzisiaj przeczytałem artykuł o systemie, który lepiej analizuje tak zwane non-disclosure agreement. Jest on dokładniejszy od prawników. Cały czas widzimy te rzeczy, ale nie widzimy tych ograniczeń. A jeśli byśmy się naprawdę skupili na ograniczeniach, to moglibyśmy stracić wiarę, że właśnie tym podejściem dojdziemy do generalnej sztucznej inteligencji. Wielu się ze mną zgadza. Na przykład Ray Kurzweil, który jest dyrektorem w Google Brain, albo Jeff Hawkins, który jest założycielem Palm Computing.

Wydaje mi się, że ludzie którzy już dużo osiągnęli w tej dziedzinie, jak Ray albo Jeff, którzy są w sumie niezależni, którzy są już znani na świecie, raczej próbują robić coś zupełnie innego. Jeśli chodzi o inne podejścia, wydaje mi się, że są to młodsi naukowcy, którzy chcą się wykazać. Staramy się robić to, co jest bardziej sprawdzone, dlatego jesteśmy jeszcze trochę sceptycznie nastawieni do tego, że rozwiążemy ten problem z wykorzystaniem aktualnych narzędzi. Nawet ostatnio czytałem artykuł, w którym było wspomniane, że powinniśmy od nowa zacząć badania na temat sztucznej inteligencji. Jak tego typu sławni ludzie i ojcowie sztucznej inteligencji o tym piszą, to daje do myślenia, mimo iż ogromne fundusze są na to przeznaczane, artykuły w gazetach, w telewizji, wszyscy wieszczą, że będzie koniec świata, to jednak założyciele tego fieldu AI, oni robią coś innego. Podobnie ja próbuję czegoś zupełnie innego ponieważ uważam, że jest taka potrzeba.

Bardzo interesujące i bardzo konkretne. Będzie to na pewno wartościowe dla wielu osób. A co do słynnych osób, Yann Lecun w swoich ostatnich prezentacjach dość często wspomina, że uczenie nienadzorowane ma zdecydowanie większy potencjał niż jest wykorzystywany teraz i to jest kierunek przyszłościowy. Jaka jest Twoja opinia na ten temat?

Jak najbardziej. Całkowicie się zgadzam z Yannem. Może jeszcze dodam, że ja już się w ogóle nie zajmuje systemem supervised, czyli wszystko jest nienadzorowane. Ludzie się uczą też uzupełnienie nienadzorowani. Czasem się uczą z wykorzystaniem przykładów, ale przeważnie to jest uczenie się nienadzorowane. Dodam jeszcze, że ja osobiście zajmuje się systemami, które są dyskretne, czyli to nie są systemy różniczkowalne, którymi wszyscy się zajmują. To nie jest dopasowywanie funkcji ciągłej do danych, tylko są to systemy dyskretne. Więc uważam, że duży potencjał leży w systemach, które uczą się właśnie bez tego nadzoru, to po pierwsze, a po drugie systemy, które są dyskretne dlatego, że jak mamy system, który jest różniczkowalny, to możemy go wytrenować, ale też musimy dopasować tę funkcję w danych i ta funkcja musi być ciągła. Nie każda funkcja jest ciągła, więc mam dużą wiarę w systemy dyskretne i uważam, że właśnie w tym tkwi sedno.

Według mnie procesy myślowe, które zachodzą w mózgu jesteśmy w stanie symulować z wykorzystaniem procesów dyskretnych, a co jest jeszcze ciekawe, jak mamy procesy dyskretne, to w ogóle nie wykorzystujemy na przykład tego gradient descent, czyli nie wykorzystujemy metody planowania sieci, którą każdy wykorzystuje i nie musimy wpadać w pułapkę, która jest generowana właśnie przez tego typu algorytm. Na przykład, nie musimy mieć modelu, który jest różniczkowalny. Nie musimy zakładać wielkości tego modelu, ponieważ niczego nie będziemy różniczkowali. Możemy zrobić tak, żeby były tylko aproksymowane. Więc w dużym skrócie, jak najbardziej się zgadzam z Yannem. Ciekawym jest to, że Yann był szefem Facebook Research, a od pewnego czasu już nie jest. Wrócił na uniwersytet. Czyli on też widzi, że coś jest jeszcze do zrobienia. Nie tylko systemy, które się uczą bez nadzoru, tylko też systemy, które są dyskretne. Wydaje mi się, że analiza procesów dyskretnych nie jest teraz popularna, gdyż jest trudna, jest bardzo mało intuicji geometrycznych.

Więc aktualnie olbrzymi nacisk kładziony jest na systemy różniczkowalne z intuicją geometryczną, aproksymatory, ponieważ widzimy tę strukturę funkcji, którą musimy aproksymować tej funkcji ciągłej, ale niestety wydaje mi się, że musimy wejść na głęboką wodę, czyli systemy które nie mają tego supervisor’a, tego nadzoru i są systemami dyskretnymi. Tego typu system i automaty komórkowe dyskretne, to jest naprawdę ciężka sprawa, ale moim zdaniem one są przyszłością.

Ciekawy jestem jeszcze Twojej opinii o kolejnym zagadnieniu, czyli zastosowania tak zwanego uczenia ze wzmocnieniem albo reinforcement learning. Pytanie jest następujące: Jak myślisz, czy to rozkwitnie w ciągu najbliższych 5-10 lat i będzie używane gdzieś w rzeczywistości? Aktualnie jest dużo publikacji, które coraz częściej się pojawiają na konferencjach, na prezentacjach, ale prawie nie ma takich prawdziwych wdrożeń na produkcję. Czy to się zmieni?

Osobiście uważam, że będzie niesamowity postęp z tego typu algorytmami wykorzystywanymi w grach komputerowych. Naprawdę, to zawsze w grach komputerowych mamy do czynienia z nieograniczoną ilością danych treningowych, z symulatorem, z pewnego rodzaju zamkniętym środowiskiem, i w tego typu właśnie środowiskach zamkniętych, które możemy symulować, w których jest mnóstwo danych treningowych, w tego typu środowiskach, systemy deep reinforcement potrafią świetnie działać. Jeśli teraz chodzi o to, o co pytasz, czy zobaczymy jakieś zastosowanie w świecie rzeczywistym? Podejrzewam, że tak, ale nie od razu. Dlatego, że transferowalność tych rozwiązań z jednej dziedziny do drugiej nie jest trywialna. To znaczy, jak wytrenujemy system, na przykład w symulatorze żeby jeździł samochodem i potem ten sam system wstawimy do samochodu i będziemy jeździć normalnie po drodze, to nie jest oczywiste, że on się będzie dobrze zachowywał. To prawda, że jest to czasem nieintuicyjne, ale tam są pewnego rodzaju problemy, na przykład ten system może nie do końca transferować swoją wiedzę. Jeśli chodzi o zastosowania, to na pewno będziemy mieli takowe.

Już mamy deep reinforcement learning w takiej dziedzinie jak, na przykład finanse. W finansach mamy do czynienia z ogromną ilością danych, z rynkiem finansowym w którym możemy mieć symulatory. Tam ci agenci mogą się uczyć jak handlować, co sprzedawać, co kupować. Na przykład wiemy, że w zeszłym roku JPMorgan Chase wytrenował agenta, który tam sobie grał i optymalnie wykonywał pewną egzekucję na transakcje finansowe. Te systemy już w rzeczywistości są w świecie finansowym. Jeśli chodzi o inne dziedziny, to transferowalność jest dużym problemem. W ogóle transferowalność tych rozwiązań z jednej dziedziny do drugiej, i przez to nie wiem czy będziemy mieli od razu takie spektakularne wyniki jakie mamy bez tego reinforcement learning. Z reinforcement learningiem jest też taki problem, że te systemy potrzebują strasznie dużo danych treningowych i to jest właśnie bolączką tych systemów. Jeśli tych danych treningowych nie ma, to wtedy w świecie rzeczywistym możemy nie mieć tylu tych danych treningowych i te systemy nie będą się rozwijać.

Dla przykładu podam taką rzecz z książki “The Book of Why”, Judea Pearl’a. On tam podaje przykład, czy da się w ogóle wytrenować agenta, który będzie rozwiązywał problem wyciągnięcia pończochy ze szprych koła w rowerze. To jest prosta rzecz. Jak ja bym pokazał jak to zrobić, na przykład Tobie, to byś popatrzył na te szprychy, popatrzyłbyś na tę pończochę i byś to wyciągał. Jeśli weźmiemy takiego agenta deep reinforcement learning, to musiałbyś go wytrenować na ogromnej ilości zadań typu: wyciągnij pończochę z roweru. Niekoniecznie tego typu zadania będziesz miał pod ręką, więc to jest ten problem, że mamy zawężone środowisko. Na przykład, handlowanie akcjami z użyciem systemu deep reinforcement learning działa już dzisiaj. One są już w świecie rzeczywistym i operują ogromną ilością pieniędzy. Jeśli chodzi o przykładowo jazdę autem, możemy wytrenować system, który będzie świetnie jeździ autem w bardzo realistycznej grze komputerowej. Na przykład Grand Theft Auto 5.

Czy ten system będziesz świetnie jeździł w rzeczywistości? Podejrzewam, że w 99% przypadków tak, ale pozostaje ten jeden procent, ten nieszczęśliwy 1% albo jedna dziesiąta procenta, albo jedna setna, która będzie będzie powodowała, że będziemy chcieli tego człowieka mieć koło siebie. To jest ten problem. W dużym skrócie: te systemy deep reinforcement learning już są stosowane w świecie rzeczywistym, np. w handlowaniu. Próbują być stosowane przy self-driving cars z różnymi rezultatami i poczekajmy i zobaczymy. Wydaje mi się, że jak mamy z symulator z ogromną ilością danych, to w tym przypadku te systemy mogą działać. Natomiast jak symulatora nie mamy, nie mamy dużej ilości danych, to tego systemu nie wytrenujemy na różnych wariacjach i przez to transferowalność może nie działać.

Wygląda na to, że reinforcement learning już można zacząć stosować tylko wymaga troszkę innych umiejętności niż taki klasyczny ML. Jakie są twoje najbardziej bolesne porażki z uczeniem maszynowym, lub innymi słowy, na co należy uważać?

Wydaje mi się, że największym problemem jest wyciąganie przedwcześnie pochopnych wniosków, typu: czego dany system się nauczył i co już potrafi zrobić. Próba generalizowania rezultatów jest największym problemem. Na przykład, weźmiemy sobie system, który gra w jakąś grę komputerową. Na przykład w taką grę Pong. Można wyciągnąć taki wniosek, że system się nauczył grać w tę grę. Jednak tak naprawdę ten system się nauczył wykonywać optymalną akcje na podstawie konfiguracji kilku punktów na ekranie. On się nie nauczył gry w Pong. On się nauczył wykonywać optymalną akcje na podstawie danych wejściowych, które są ściśle zdefiniowane. Dużym problemem jest to, jak próbujemy to generalizować. Czyli mówimy, że ten system nauczył się na przykład jeździć autem po jakieś autostradzie w Phoenix w Arizonie, i wtedy generalizujemy, że mamy już samoprowadzący się samochód. To nie jest prawda. Ta pułapka jest tym największym problemem, że próbujemy wyciągać pochopne wnioski odnośnie tego, czego system się nauczył. Czasem nawet nie wiemy czego się nauczył. Czasem jest tak, że wyciągamy takie wnioski, że nauczył się, powiedzmy rozumować, nauczył się abstrakcyjnego myślenia, nauczył się planować, a on może na przykład tego nie umie. On może tylko znaleźć jakiś punkt, jakieś piksel na podstawie którego podejmuje dobrą decyzję i nam się wydaje, że czegoś się nauczył. Trzeba być ostrożnym przy analizowaniu czego system się już nauczył. Generalizacja jest wielką pułapką.
W takim dużym skrócie, to jest największa bolączka.

Czy masz jakąś taką check listę? To znaczy, w jaki sposób próbujesz sam siebie dopytywać, czy to rozwiązanie, które mi się wydaje faktycznie, że jest już rozwiązaniem, czy tylko jednym konkretnym przypadkiem. Kiedy model działa dobrze? Jakie pytania sobie zadajesz, żeby upewnić się, że to co udało się osiągnąć faktycznie jest tym czym się wydaje?

Masz na myśli pewne rozwiązanie deep reinforcement learning?

Bardziej mi chodzi o sposób myślenia. Teraz powiedzmy czytają to osoby, które też wdrażają takie rozwiązania i patrzą na przykład na metrykę sukcesu. Może im się wydawać, że to działa dobrze. Bardzo się cieszą, wrzucają taki model na produkcję, i tak dalej. Jak być jeszcze takim bardziej pragmatycznym? Jakie pytanie warto sobie jeszcze raz zadać, żeby się potem nie oparzyć?

Wydaje mi się, że nie powinniśmy stosować tego samego zbioru testowego wielokrotnie. Podam dla przykładu: mamy stworzyć system, który rozpoznaje cyfry, czyli zbiór treningowy MNIST i on jest podzielony na dwie części: na część treningową i część testową. Część treningowa składa się z 50000 liczb, a część testowa z 10000 liczb.

Co się okazuje? Trenujemy jakiś system. Testujemy różnego rodzaju konfiguracje tej sieci neuronowej, różne hyperparametry, jedne, drugie, trzecie. Za każdym razem trenujemy to na tym zbiorze treningowym, a potem uruchamiamy na zbiorze testowym i patrzymy jak się zachowuje. To jest nieuczciwe dlatego, że my optymalizujemy go pod kątem danego zbioru testowego. Nawet jak sieć tego nie widziała. Przez to, że robimy analizę i przeszukiwanie tych hyperparametrów, i możemy jednocześnie sprawdzać dziesiątki tysięcy modeli, każde z nich jest trenowane na zbiorze treningowym po to, żeby wybrać ten jeden, który się najlepiej zachowuje na zbiorze testowym. Tak naprawdę, mamy do czynienia z takim timingiem, w którym ta sieć jest wytrenowana pod kątem tego danego zbioru testowego, i to jest ta pułapka. Jak już budujemy jakiekolwiek zaawansowane systemy, które chcemy wdrożyć w produkcji, to nie róbmy tego tak, że mamy jakiś zbiór testowy i analizujemy różnego rodzaju konfiguracje sieci danych treningowych, a potem patrzymy jak się zachowują na zbiorze testowym i wybieramy najlepszy. Zbiór testowy powinniśmy testować tylko na jednym problemie

Super! Taka bardzo prosta, ale mega trafna wskazówka. Jeszcze pytanie bardziej już takie wizjonerskie. Jak myślisz, jak ten świat w którym żyjemy teraz może się zmienić w ciągu najbliższych 5-10 lat? Troszkę o tym już wspomniałeś, ale chciałbym żebyś wszystko jeszcze raz podsumował.

Gdziekolwiek nie patrzę jak czytam jakieś artykuły w gazetach czy w internecie, jest taka wizja, że ta sztuczna inteligencja jest tuż za rogiem i wszystkie prace znikną, albo będzie ogromne bezrobocie. Ja osobiście nie jestem przekonany, że tak zaraz będzie gdyż widzę, jakie są ograniczenia tych systemów, które mamy, i przez te właśnie ograniczenia, w ciągu najbliższych 5 i 10 lat nie sądzę żeby znikły wszystkie te prace dookoła. Nawet nie widzę żebyśmy mieli samochody, które same się sterują. Wydaje mi się, że tej technologii nie mamy, więc ja bym nie był takim pesymistą, że nagle będą załamania społeczne, bezrobocie. Natomiast co się może zmienić, to ogromny postęp w medycynie. Dlaczego o tym wspominam? Prowadzę badania naukowe wykorzystujące sieci neuronowe rekurencyjne do predykcji, na przykład zwijania białek i to pozwala i dzięki temu jesteśmy w stanie szybciej zasymulować jak dane białka się będą zawijały, właśnie z wykorzystaniem sieci neuronowej i jednocześnie przyspieszyć proces badania, czy dane białko doprowadzi do czegoś pozytywnego. Na podstawie tego jesteśmy w stanie o wiele szybciej generować i próbować różnego rodzaju leki, więc wydaje mi się, że postęp w medycynie będzie teraz niesamowity. Właśnie przez to, że będziemy w stanie badać o wiele większą ilość różnych leków o wiele szybciej właśnie z wykorzystaniem deep learningu.

Co mnie trochę martwi to jest to, że te narzędzia jednocześnie się świetnie nadają do inwigilacji, do obserwowania społeczeństw. Na przykład, wiesz że teraz w Chinach już jest wdrożony system, który świetnie rozpoznaje ludzkie twarze i rejestruje gdzie, kto był w danym momencie na podstawie obrazu z kamer. Wydaje mi się, że rządy będą próbowały wykorzystać te fantastyczne narzędzia które mamy, te sieci neuronowe do zwiększenia kontroli nad społeczeństwem. Więc z jednej strony, jestem bardzo optymistycznie nastawiony, jeśli chodzi o postęp w medycynie w ciągu najbliższych pięciu lat, a z drugiej strony boję się, że te narzędzia będą wykorzystane właśnie do zmniejszenia prywatności, do zwiększenia inwigilacji nad społeczeństwami. Ale zobaczymy. Bądźmy dobrej myśli.

Dzięki wielkie za Twoją opinie. Ostatnie pytanie na dzisiaj: Jak można znaleźć ciebie w sieci w przypadku gdy ktoś chciałby się z tobą się skontaktować?

Najlepiej po prostu wpisać w Google moje imię nazwisko i kliknąć “I’m feeling lucky” :). Powinienem się pojawić na górze. Mam też stronę internetową www.januszmarecki.com/. Jestem też na LinkedIn. Zapraszam do internetowej dyskusji ze mną.

Super! Dzięki wielkie za Twój czas który znalazłeś, za chęć podzielenia się wiedzą i też wyróżnienie takich punktów, które są mega przemyślane, gdyż cały czas tym się zajmujesz, ale jednocześnie nie są tak otwarte ani spopularyzowane w  mediach i bardzo się cieszę, że udało mi się tego wszystkiego dowiedzieć. Dzięki wielkie!

Dzięki, mam nadzieję, że każdy z tego w jakiś sposób skorzysta.

Dziękuję Ci bardzo za poświęcony czas. Ten odcinek wyszedł troszkę dłuższy.  Jeśli spodobał Ci się ten odcinek, jak i również inne, to napisz recenzję w iTunes. Sprawi mi to wielką przyjemność i jednocześnie podcast stanie się bardziej dostępny dla innych osób w przypadku, gdy szukają czegoś do wysłuchania. Dzięki wielkie! Do usłyszenia, do zobaczenia! Cześć!

Artykuł Prowadzący naukowiec z DeepMind o rozwoju sztucznej inteligencji pochodzi z serwisu Biznes Myśli.

Jesteśmy po kolejnej rocznej konferencji przygotowana przez dużego gracza – tym razem Apple. Pewnie jak spodziewasz się również  tam było o machine learning. Na przykład pojawił się nowy produkt Apple HomePod (zintegrowany z Siri) który podobnie ma konkurować z Amazon Echo czy Google Home. Siri będzie działać jeszcze lepiej.

W iOS11, to jest system operacyjny dla iphone, który ma pojawić się we wrześniu 2017, będzie wbudowany Core ML umożliwiający uruchomienie modeli na telefonie. Apple stawia na to, żeby taki model był uruchamiany na komórce. Dlaczego to jest ważne? Chodzi o dane, pamiętasz, że dane to jest nowoczesny surowiec. Wysłanie ich na zewnątrz zawsze wiąże się z ryzykiem.

Na końcu podcastu polecam miejsca gdzie możesz posłuchać więcej na ten temat.

Sztuczna inteligencja w IBM

Już nie przedłużam i przechodzimy do dzisiejszego tematu. Piotr Pietrzak który jest CTO w IBM zgodził się podzielić się swoim doświadczeniem.  Dowiesz się więcej o słynnej grze kiedy maszyna wygrały w szachy Garry Kasparov’ego, o zwycięstwu Watson w grze Jeopardy i wele innych tematów. Gorąco zapraszam.

Vladimir:
Cześć Piotr. Przedstaw się słuchaczom… Kim jesteś, czym się zajmujesz, gdzie mieszkasz?

Piotr:
Cześć Vladimir. Witam wszystkich słuchaczy. Nazywam się Piotr Pietrzak, na co dzień jestem dyrektorem do spraw technologii i innowacji w firmie IBM. Na co dzień mieszkam w Legionowie, sympatycznej podwarszawskiej miejscowości. Cały czas chce zakładać że jestem człowiekiem nieco cyborgiem,  na pewno jestem komputerowym geekiem i chyba w skrócie tyle.

Vladimir:
Co ostatnio czytałeś i czego nauczyłeś z tej książki?

Piotr:
Ostatnio wróciłem do książki, która nauczyła mnie jak bardzo skomplikowany jest nasz umysł czyli pułapek myślenia. Książka, którą bardzo serdecznie polecam wszystkim którzy chcą otworzyć się na to jak łatwo można zmanipulować nasz mózg, jak łatwo można zmanipulować sposób naszego myślenia czyli pułapki myślenia. To jest książka napisana przez Daniela Kahnemana, który jest noblistą. Z tej serii jest również kilka innych książek, które wyjaśniają pewnego rodzaju zjawiska nad którymi na co dzień nie zastanawiamy.

Vladimir:
Pracujesz w IBM jako techniczny dyrektor albo po angielski to brzmi CTO. Jak wygląda Twoja praca? Jakiego typu problemy rozwiązujesz i w jaki sposób?

Piotr:
Niestety odpowiedź na to pytanie nie jest prosta. Dlatego że zajmuję się stosunkowo szerokim spektrum rzeczy i rozwiązań. Począwszy od wsparcia lokalnego firmy w jaki sposób dostarczać, marketingować nowe rozwiązania, produkty czy technologie do polskiego rynku. Czyli w jaki sposób z technologii czy z konkretnego produktu zrobić rozwiązanie, które będzie akceptowalne bądź chętne do nabywania przez naszych klientów, ale żeby oni chcieli to nabywać, musi być zbudowana pewna ścieżka wartości dla nich. Czyli co tak naprawdę mają z tej technologii i co technologia im pozwala rozwiązać w codziennym życiu biznesowym. I to jest jeden obszar czyli coś co możemy nazwać strategią.

Drugim obszarem jest działanie bezpośrednie, współpraca z klientami w projektach. W chwili obecnej głównie koncentruję się na cloud computingu na rozwiązaniach typu watson i sztucznej inteligencji ewentualnie można to nazywać czymś co w chwili obecnej nazywane jest cognitive computing. Ja, przyznam szczerze, nie lubię tłumaczenia na język polski słowa cognitive, bo to oznacza poznawczy. Poznawczy system komputerowy brzmi trochę sztywno, przyznam szczerze, więc tutaj angielskie nazewnictwo bardziej mi przypada do gustu, przynajmniej z punktu widzenia osoby technicznej. Pewnie dla osób, które nie są związane z technologią może to być mniej sympatyczne do zaakceptowania czy absorbcji. Tutaj przede wszystkim koncentruję się nad tym w jaki sposób nowe technologie, po pierwsze, pomagają wnieść nową wartość biznesową klientowi do jego biznesu, bądź też jakie nowe usługi i produkty dana firma może wypuścić na rynek, niezależnie czy to w kanale “business to business” czy “business to consumer” (czyli klient indywidualny) z użyciem nowych technologii. To jest niesamowicie ciekawy obszar, chyba najbardziej pasjonujący dla mnie, mimo wszystko, dlatego że widzimy bardzo wyraźnie przenikanie się branż.

Wyobraź sobie, mam na co dzień okazję bycia członkiem komisji innowacyjności Polskiej Izby Przemysłu Chemicznego. Czy ja wiem coś o chemii – kompletnie nie. Czy ja wiem coś o EIoT – bardzo dużo. Czy ja wiem coś o systemach informatycznych – chce wierzyć, że sporo. I w związku z tym, że następuje we wszystkich branżach przenikanie się rozwiązań, w komisji innowacyjności jestem w stanie podpowiadać jakie rozwiązania techniczne mogą rozwiązać jakie problemy.

Na przykład, na instalacji chemicznej, w procesie wytwórczym czy przetwórczym ropy naftowej, jakimi rozwiązaniami może nas zaskoczyć za chwile na rynku firma produkująca nawozy sztuczne albo środki ochrony roślin. Albo w jaki sposób nowe technologie mogą przyśpieszyć i obniżyć koszty, na przykład, prac nad nawozami płynnymi. I to są rzeczy, które z punktu widzenia przetwarzania informacji, przetwarzania i budowy nowych rozwiązań są moją kompetencją. Po drugiej stronie mam partnerów, których główną kompetencją jest wiedza branżowa, czyli z czego jest zbudowany dany związek chemiczny, co musi być spełnione żeby on działał, wszystkie te rzeczy związane z branżą. I to są chyba najbardziej ciekawe rozwiązania, którymi się zajmuję.

A trzeci obszar to jest oczywiście reprezentacja firmy IBM w obszarze, z jednej strony wszelkiego rodzaju konferencji branżowych, mówienia o naszych najnowszych technologiach, ale również taki obszar który bardzo często przez wiele osób nie jest dostrzegany, chociaż jest coraz bardziej popularny w Polsce – to współpraca z funduszami inwestycyjnymi, inkubatorami oraz akceleratorami przedsiębiorczości na terenie kraju.

Czyli takie trzy głównych filary.

Vladimir:
Powiedziałeś kilka ciekawych rzeczy, będę pytał o nie później.

Myślę, każdy się zgodzi że IBM jest bardzo słynną firmą w temacie sztucznej inteligencji. I są ku temu powody. Większość prezentacji która mówi o sztucznej inteligencji, zwłaszcza z tak zwanej wąskiej lub słabej sztucznej inteligencji, która w uproszczeniu oznacza, że komputer jest lepszy niż człowiek w pewnym obszarze – zwykle zaczyna się  od przykładu gry w szachy. Słynna gra pomiędzy Garri Kasparowem i Deep Blue w maju 1997.

To były początki, ale ciekawe jest co było pod spodem, dlaczego Deep Blue był lepszy? I przy okazji zapytam, bo Deep Learning jest bardzo gorącym tematem.  Teraz gdy pojawia się słowo Deep to automatycznie wiąże się z Deep Learning. Jeżeli nie używano Deep Learning pod spodem (bo to pojęcie pojawiło się trochę później), to czemu Deep? Co autorzy mieli na myśli czy być może to zbieg okoliczności?

Piotr:
Po pierwsze, nie uważam i nie utożsamiam komputera Deep Blue ze sztuczną inteligencją. To znaczy, jezeli coś jest bardzo wydajną maszyną obliczeniową niekoniecznie spełnia paradygmat tego czym określamy sztuczną inteligencję. To, że komputer wygrywa z komputerem w gry, nie oznacza że jest inteligentniejszy od komputera. To oznacza że umie lepiej rozwiązywać pewien problem postawiony w danej grze. Wynika to z bardzo prostej rzeczy – z ewolucji. Dlatego że komputery, które rozwiązują problemy chociażby optymalizacyjne zostały zaprogramowane w celu wygrania w szachy, rozwiązania problemów komiwojażera albo przynajmniej ich mocnego optymalizowania albo przynajmniej wygranie w grę go.

Człowiek w trakcie swojej ewolucji nie ewoluował po to, żeby być mistrzem w rozwiązywaniu zagadek matematycznych, czy grania w szachy czy gry w go. Więc pewne obszary nie wymagają, nazwijmy to, sztucznej inteligencji żeby być w tym dobrym jak komputer. Czyli wymagają dużej mocy obliczeniowej, która umożliwia, po pierwsze, z wyprzedzeniem wykonywanie pewnych kalkulacji, natomiast na ile to ma związek ze sztuczną inteligencją, przyznam szczerze, zebym bardzo polemizował.

Deep Blue wydaje mi się bardziej był przykładem maszyny, nazwijmy to 32 węzłowego klastra obliczeniowego, zbudowanego na maszynach typu RS/6000 bazujących na procesorach IBM Power w architekturze RISC, które dysponowały dużą mocą obliczeniową, dzięki czemu mogły przewidzieć wiele kombinacji ruchów do przodu. Z tyłu – bazę danych, która była zgromadzoną  informacją o dotychczasowych partiach szachowych, na to nałożony model analityczny, który mógł z jednej strony przeliczać wiele różnych kombinacji i robić wiele symulacji versus to co się dzieje w danym momencie na szachownicy. Jeżeli popatrzymy na możliwości obliczeniowe ówczesnego Deep Blue który, z tego co pamiętam, zachował się w teście LINPACK z wydajnością około 11 czy 12 gigaflopów.

I popatrzymy na to z czym mamy do czynienia w chwili obecnej, gdzie konsola do gier, którą mam w domu, ma moc obliczeniową na poziomie 1,2 teraflopa w górę, to znaczy że przez 20 lat przeskoczyliśmy pewną przepaść między tym co mogliśmy kiedyś, a tym co mamy teraz.

Zapytałeś również o nazwę. Ta nazwa nie była przypadkowa. Deep Blue nie miał nic wspólnego, jeżeli chodzi o nazwę, z Deep Learningiem, natomiast Deep Blue był nazwą zaczerpniętą przez twórcę i projektanta tego rozwiązania z ksiązki, gdzie nazwa komputera pochodzi od fikcyjnego komputera, który był przytaczany w książce pod tytułem Autostopem przez Galaktykę. Tamten komputer nazywał się Deep Thought czyli “głębokie myślenie”, i nazwa, zaczerpnięta z książki, została zmodyfikowana na Deep Blue czyli “głęboki niebieski”.

Vladimir:
Ciekawa opinia. Z twoich słów bardziej brzmi, że wygrały w szachy nie dlatego że maszyna była inteligentna, tylko posiadała bardzo dużą moc obliczeniową.

Piotr:
Tak, żeby móc przekalkulować duże ilości ruchów do przodu. Ale również mieć z tyłu bazę danych, która umożliwia analizę, związaną z tym jaki ruch czy jakie kombinacje będą optymalne jako następne. Nie powiedziałbym że zagadnienia optymalizacyjne dotyczą bezpośrednio zagadnień związanych z samouczeniem się.

Vladimir:
Ciekawy jestem Twojej opinii o drugim przykładzie – komputerze IBM Watson i grze Jeopardy (którego polskim odpowiednikiem był Va banque). Co się stało w lutym 2011 i dlaczego ten przykład jest tak słynny. Co zmieniło się po tej grze?

Również ciekawy jestem czy w IBM Watson był bardziej inteligentny byt czy nadal moc obliczeniowa.

Piotr:
Jak najbardziej już inteligentny byt. Deep Blue możemy oczywiście podciągać pod obszary sztucznej inteligencji, logiki i tak dalej i tak dalej. Wybacz że to powiem, ale zakładam coś takiego w informatyce, że jeżeli znasz historię informatyki, bo miałem kiedyś prowadzony taki przedmiot,  gdzie zaczynasz rozumieć informatykę i pamiętasz informatykę od poziomu krosno Jacquarda (maszyna żakardowa), jak implementowały się pewne algorytmy, jak budowało się roboty, to nagle dochodzisz do wniosku, że to co się dzieje teraz – to jest coś, co już kiedyś wymyślono, teraz następują tylko i wyłącznie implementacje tego co już było.

Na początku naszej rozmowy zwróciłeś uwagę na to, że algorytmy dotyczące sieci neuronowych, przynajmniej podstawa matematyczna sieci neuronowych to jest stara rzecz, to nie jest nic nowego. To są rzeczy wymyślone w latach 50-ych jeżeli nie wcześniej XX wieku w dodatek. Natomiast teraz mamy możliwości technologiczne, które umożliwiają implementację tych rozwiązań na szeroką skalę. I to nie dotyczy tylko sztucznej inteligencji, to dotyczy komputerów kwantowych, dotyczy praktycznie każdej dziedziny wiedzy, której się dotkniemy, która została w sposób matematyczny zbudowana 100-150 czy 200 lat temu.

To jest pasjonujące moim zdaniem, że w chwili obecnej mamy techniczne możliwości do implementacji rozwiązań które były dawno temu wymyślone. To jest coś co nakręca zarówno przemysł technologiczny, rozwiązania, pomysły na biznes, te całe historie dotyczące pewnych zjawisk, które zmieniają realnie branże. I w pewien sposób Watson jest następstwem tych wszystkich zdarzeń. Dlatego że przez ostatnie 20 lat od czasu Deep Blue, wiedza na temat budowania i sposobów budowania optymalnych baz danych i optymalizowania baz danych  poszła niesamowicie do przodu. Przetwarzanie tekstu naturalnego, nazwijmy to natural language processing, poszło niesamowicie do przodu. Udało się  zaimplementować algorytmy samouczące, bazujące między innymi na sieciach neuronowych. Skomasowanie tych wszystkich cech, umożliwiło zbudowanie systemu, który ma cechy sztucznej inteligencji, dlatego że rozumie dane, jest w stanie na ich podstawie stawiać pewne tezy, te tezy popierać dowodami, oceniać dowody versus tezy z pewną trafnością i dowodzić pewnych pojęć. I to jest sztuczna inteligencja.

Vladimir:
Na początku, gdy zacząłem nagrywać swój podcast, robiłem wprowadzenie do sztucznej inteligencji. Wtedy powiedziałem że zbiegły się razem trzy czynniki czyli dane, algorytmy i moc obliczeniowa. Dzięki czemu teraz uczenie maszynowe jest tak napędzane. Ciekawy jestem Twojej opinii i czy mógłbyś wyróżnić któryś z tych czynników albo dodać coś.

Piotr:
Myślę że podsumowałeś to idealnie. Duże próbki danych dostępne w jednym centralnym miejscu, dostępne dla konkretnego systemu komputerowego niezależnie jak duży on jest. Druga rzecz – moc obliczeniowa, która jest w stanie równolegle przetwarzać dane, wnioskować na nich i ten proces powtarzać i udoskonalać. Trzecia rzecz, o której wspomniałeś, to algorytmy, które dzięki tej mocy obliczeniowej dużej próbce danych mogły być zaimplementowane i sprawdzone na dużej skali.

Miałem rozmowę, dotyczącą trenowania jednego z dosyć ciekawych komponentów, które udostępniamy jako IBM przez naszą chmurę o nazwie Bluemix czyli Watson visual recognition, komponent który umożliwia rozpoznanie i wyszukiwanie obiektów na zdjęciach bądź trenowanie tego systemu w oparciu o własne próbki zdjęć. Zgłosiła się do mnie firma, która mówi, że “trenujemy komponent na bazie 150 zdjęć, jest super, ale jeszcze trzeba by było udoskonalić znajdowanie tego, tego i tego”.

https://www.youtube.com/watch?v=-s5EpR0eRXY

Popatrzyłem na sposób w jaki oni ten komponent trenują, jak wygląda model, czego poszukują i mówię że “musicie trenować ten model na bazie 1000 czy 2000 zdjęć, wówczas trenujecie go z dobrą dokładnością, a nie na bazie 150 stosunkowo prostych do rozpoznania obiektów”. I właśnie dzięki temu że mamy możliwości zebrania takich ilości danych w bardzo krótkim czasie, mamy algorytmy zaimplementowane i mamy pod spodem dużą moc obliczeniową, możemy to fizycznie robić.

Myślę że kolejnym krokiem w ewolucji tych rozwiązań, zwłaszcza po stronie nie tylko firm które nad tym pracują i dostarczają te rozwiązania, ale zwłaszcza po stronie ich końcowych odbiorców, jest to w jaki sposób możńa konsumować sztuczną inteligencję chmurą obliczeniową. To będzie pisanie aplikacji bazujących na nowym paradygmacie czyli oderwanie programistów, po pierwsze, od infrastruktury i ograniczeń związanych z jej skalowalnością.

Czyli idealna aplikacja wykorzystująca zarówno cechy chmury i sztucznej inteligencji będzie aplikacją która będzie mogła skalować się od zera do nieskończoności, czyli praktycznie obsłużyć dowolny ruch, który do niej przychodzi, bazując  na oderwaniu się od infrastruktury. Czyli nowy paradygmat pisania i tworzenia aplikacji, które wykorzystują mikroserwisy, wykorzystują platformy chmurowe, które są pod nimi zapewniając moc obliczeniową.

Programista już nie powinien więcej myśleć o tym, że ma ograniczenie do dwóch, trzech, czterech procesorów w jakiejś maszynie w obszarze jakiegoś klastra obliczeniowego. Nie, on powinien powiedzieć co chce zrobić, jakie obiekty chce powołać do życia i to już kompletnie inna warstwa powinna mu to zapewnić. To będzie kolejny duży krok na przód.

Vladimir:
Wróćmy jeszcze do przykładu z IBM Watson, kiedy była gra. Pytanie jest nieco dziwne, ale zapytam, bo pewnie wiele osób myli się, myśląc, że IBM Watson jest wyszukiwarką, która szybko wyszukuje informacje w dużej ilości dokumentów, powiedzmy całej Wikipedii czy innych źródłach wiedzy. Jaka jest różnica pomiędzy wyszukiwarką i IBM Watson, mam na myśli tę implementacje, która wygrała w Jeopardy.

Piotr:
Pierwszą podstawową różnica jest to, że nie bazujemy na czymś co się nazywa keyword. Jest zbudowany cały potok przetwarzania w Watsonie, który mówi w jaki sposób działamy z informacją. Dla nas najważniejsze jest to, żeby użytkownik, po pierwsze, mógł zadać to pytanie i żebyśmy nie szukali dokumentu bazując na tym w jaki sposób i ile słów kluczowych w nim występuje, jak wysoko były oceniane. Tylko żeby w modelu wytrenowanym do rozumienia danego języka czy zbioru wiedzy bazującego na semantyce i ontologii, módz wyłuskać informacje które są potrzebne i przedstawić je użytkownikowi.

Czyli każda wyszukiwarka z którą najczęściej się spotykamy, wyszukuję konkretny dokument i mówi: “Drogi użytkowniku, tu masz listę dokumentów”, tworzy listę rankingową i wyświetla ją w kolejności. W Watsonie to działa kompletnie inaczej. Watson nie koncentruję się na wynalezieniu konkretnego dokumentu, Watson chcę znaleźć odpowiedź na zadane pytanie poprzez rozkład semantyczny tego pytania, zmapowanie go na swoją bazę wiedzy i model, następnie wyłuskać odpowiedź, która wskazuję na to pytanie i podeprzeć ją dokumentami dzięki którym podaje tę odpowiedź z pewna trafnością.

Możemy sobie założyć, że w momencie kiedy Watson przetwarza informację, w pewnym momencie buduje jakiś zestaw odpowiedzi, gdzie każda z tych odpowiedzi posiada jakiś indeks poprawności czy pewności, z którą ta odpowiedź jest udzielana. I Watson pokazuje nam te odpowiedzi, pokazując również ten poziom trafności z którym on twierdzi że odpowiada.

To może być 60% czy 80%, to może być 99,9%. I następnie w modelu trenowania Watsona musi być ekspert, który powie: “ok, ta odpowiedź jest dobra”. Ten sposób rozumowania, dojścia do tej odpowiedzi, ten flow i dokumenty, czyli fakty, które wskazują na udzielenie tej informacji są poprawne. W momencie kiedy nie zgadzamy się z podsumowaniem czy odpowiedzią udzieloną przez Watsona wówczas modyfikujemy zestaw dokumentów który wpłynęły na jego rozumowanie.

I w ten sposób z jednej strony modyfikujemy model wnioskowania, z drugiej – zmieniamy dokumenty, które wpływają na sposób jego trenowania. Czyli do trenowania modelu zawsze jest potrzebny ekspert, to jest pierwsze podstawowe założenie, a druga rzecz taka, że ekspert ma możliwość zmiany sposobu rozumowania systemu. To jest główna różnica między Watsonem czy systemem kognitywnym i podstawową wyszukiwarką bazującą nadal w dużej mierze na keywords’ach, statystyce, popularności.

Vladimir:
Na dzień dzisiejszy IBM Watson ma wiele zastosowań w różnych branżach, takie jak Connie która pracuje jako concierge w hotelu Hilton albo  ROSS – robo-prawnik zatrudniony przez kancelarie Baker & Hostetler. Proszę podaj swoje trzy a może pięć przykładów, gdzie IBM Watson został użyty i daje korzyści z punktu widzenia biznesowego (np. możesz podać po przykłady z branży).

Piotr:
Po pierwsze, musimy zrozumieć jak podzielone są te rozwiązania w Watsonie. Część rozwiązań bazujących na technologiach dookoła Watsona są to rozwiązania dedykowane do danej branży. Nie chcę powiedzieć, że są monolitycznymi rozwiązaniami, ale są rozwiązaniami dedykującymi pewne konkretne problemy.

Drugi obszar rozwiązań, to są moduły, nazwijmy to API. To są interfejsy które umożliwiają programistom zasilenie systemu w dane, przetwarzanie tych danych i otrzymanie pewnych rezultatów. To działa w obszarze rozwiązania chmurowego o nazwie IBM Bluemix i nazywa się Watson Services on Bluemix. Tam są dostępne rozwiązania dotyczące przetwarzania tekstu, przetwarzanie mowy, przetwarzanie obrazów, przetwarzanie dokumentów, konwersji dokumentów i wiele innych.

Jest trzeci obszar, który często jest nazywany Watson’om. Też to mogą być składowe komponenty które wchodzą w skład do innych rozwiązań. To jest oprogramowanie które możemy zainstalować na infrastrukturze klienta, możemy budować docelowe rozwiązanie. To są takie rzeczy jak Watson Explorer, narzędzie statystyczne pochodzące z rodziny SPS, narzędzie do rozwiązywania problemów optymalizacyjnych.

Czwartą grupą stanowią, nie chcę powiedzieć – gadżety, ale stanowią przykłady rozwiązań, tak jak  przytoczyłeś na przykład concierge, które sa w stanie zwykłym ludziom, którzy nie zajmują się na co dzień technologią i sztuczną inteligencją, pokazać co można za pomocą tych rozwiązań uzyskać.

Jest takie rozwiązanie jak Watson Chef. To jest rozwiązanie, które jest dostępne w internecie i można w popularnych wyszukiwarkach je wyszukać. To jest system, który został stworzony po to, żeby pokazać ludziom w jaki sposób na przykładzie kuchni i składników różnych potraw można budować potrawy do których normalnie nie są przyzwyczajeni. Czyli, na przykład, jak system komputerowy jest w stanie zasugerować człowiekowi zrobienie czekoladowego burrito, które okazuje się być pyszne, ale nie koniecznie sami byśmy na nie wpadli. W sklepach internetowych dostępne są książki kucharskie, gdzie można znaleźć ponad 60 przepisów wygenerowanych przez Watsona, są dosyć ciekawe, są dość abstrakcyjne, ale przede wszystkim smaczne.

Więc mamy cztery grupy rozwiązań. Mamy rozwiązania dla konkretnych branż, rozwiązania dla branży medycznej, chemicznej, dla branży która zajmuje się rozwojem nowych leków, branży budowlanej. I to są rozwiązania dedykowane. O tych rozwiązaniach, które spotyka końcowy użytkownik jako przykład sztucznej inteligencji czy implementacji tego typu rozwiązań, już powiedzieliśmy.

I jest ta cała część pośrodku, adresowana przez programistów, takich jak ty, ja czy nasi koledzy, którzy w pewnym momencie mogą dojść do wniosku i powiedzieć: “a ja bym chciał, żeby moja aplikacja, na przykład, mogła rozpoznawać obraz albo chciałbym, żeby mogła budować behawioralny obraz człowieka, bazując na tym, co pisze w internecie.” I czy jest to możliwe? Jest. Można to zbudować samemu od podstaw, tracąc dużo czasu i pieniędzy, albo można skorzystać z dostępnej usługi, którą integrujemy do swojej aplikacji. Nie ma ograniczeń.

Vladimir:
Wspomniałeś o IBM API. Specajlnie przed wywiadem sprawdziłem, w tej chwilę jest dostępne 19 usług. Większośc z nich jest związane z tekstem, np. jak analiza, rozumienie, tłumaczenie itd. Pierwsze co nasuwa się, jakie języki są wspierany i czy jest plan wspierać polski?

Piotr:
Języki które są wspierane zależą bardzo od usługi. Nie wszystkie usługi wymagają do działania jakiegokolwiek języka. Pomyślmy chociażby o rozpoznaniu obrazów, tam język w ogóle nie jest potrzebny,  pomyślijmy o tym w jaki sposób możemy uczyć model predykcyjny, który bazuje na danych pogodowych, tam też nie.

W chwili obecnej w tych usługach, które są dostępne u nas w chmurze które dotyczą języka, język polski nie jest językiem wspieranym. Wspierany jest język angielski, hiszpański, w niektórych z usług jest wspierany język japoński. Implementacja języka polskiego jest w planach. To co możemy robić w chwili obecnej dookoła języka polskiego jest zgromadzenie dookoła tych trzech innych typów rozwiązań. Rozwiązań, które możemy zbudować na życzenie klienta u niego, bazując na tym oprogramowaniu, o którym wcześniej wspominałem, bądź też w obszarze gadżetowym “szytym na miarę”. Natomiast z punktu widzenia dostępnych rozwiązań w języku polskim na chmurze Bluemix, w chwili obecnej nie są dostępne.

Vladimir:
Ciekawy jestem na ile taki zwykły programista, który zdecyduje się użyć IBM API, jest w stanie zbudować odpowiednik, żeby wygrać w Jeopardy. Czy na tym poziomie już możemy operować, czy są ograniczenia, jak na przykład mocy obliczeniowej?

Piotr:
To jest na pewno ograniczenie mocy obliczeniowej, z drugiej strony – zakresu danych, które posiadamy. Przygotowanie Watsona żeby wygrał w Jeopardy trwało prawie rok. System w trakcie gry był odłączony od internetu, czyli nie był zasilany z zewnętrznych źródeł danych poza tymi które zostały do niego wciśnięte.

Kolejna ciekawa rzecz którą można powiedzieć o tej rozgrywce w Jeopardy jest taka, że system komputerowy miał podawane pytania wówczas w wersji tekstowej. Czyli to co czytał zapowiadający, w momencie kiedy skończył, system komputerowy otrzymywał w formie tekstowej i taką treść przedstawiał w drugą stronę, nastąpiła oczywiście detalizacja mowy. Jest dość sporo ciekawych filmików między innymi na YouTube z tego wydarzenia, gdzie Watson jest pokazany troszeczkę od kuchni.

Pokazane są algorytmy, które pokazywały i badały pewność i trafność udzielanej odpowiedzi, które modyfikowały to. Bardzo serdecznie zachęcam do zapoznania się z tym. Sukces Watsona, który wygrywał w Jeopardy w 2011 roku, zachęcił IBM do stworzenia całego pionu biznesowego o nazwie Watson i uruchomieniu produktów oraz całej grupy rozwiązań bazujących na projektach badawczo-rozwojowych, które pojawiły się  przy okazji tej gry.

Vladimir:
Na jednej Twojej prezentacji, miałeś slajd który był podzielony na dwie części, z lewej strony było to co człowiek potrafi najlepiej takie jak. zdrowy rozsądek, wyobraźnia, moralność, współczucie, abstrakcyjne myślenie, dylematy ), po prawej stronie to co maszyna potrafi najlepiej, a mianowicie: lokalizacja wiedzy, znajdowanie połączeń, rozumienie języka naturalnego, uczenia mszynowe, obiektywna ocena, skalowalność. Tytuł slajdu brzmiał “Systemy kognitywne stworzą nowy rodzaj współpracy między człowiekiem,a komputerem”. Podziel się swoją opinią, jak taka współpraca może wyglądać i tak naprawdę do czego to dąży?

Piotr:
Systemy które jesteśmy w stanie w tej chwili budować, dzięki cechom które przytoczyłeś, dają nam możliwość obserwowania bardzo objektywnego zjawiska. Dane pomagają je interpretować nie wnosząc w nie czynnika ludzkiego. I to moim zdaniem jest niesamowita wartość, dlatego że te systemy nigdy się nie męczą, są zawsze obiektywne, zawsze wskazują decyzje właściwą, która nie niesie ze sobą całego bagażu człowieka. Dopiero człowiek bazując na tej, nazwijmy to, suchej opinii może podjąć końcową decyzje. Wydaje mi się rozdzielenie tych dwóch obszarów w pewien sposób pozwala zachować dobry balans między trafnością, a konsekwencjami późniejszych następstw podjętych decyzji. I to są dwie niezależne drogi.

Oczywiście ten slajd ma pokazywać to rozdzielenie celowo, dlatego że dość dużo osób utożsamia rozwój sztucznej inteligencji, bo wierzy że jesteśmy na początku drogi, z filmami zagłady, science fiction. I to jest myślenie, wydaje mi się, które powinno nie mieć miejsca. Myślenie pod tytułem “mam młotek w sklepie, i ten młotek jest bardzo groźny”. Nie. Młotek nie jest narzędziem groźnym, młotek stworzony po to żeby wykonywać konkretną pracę. Do czego zostanie zastosowany – to już kwestia człowieka. I ten slajd pokazuje to rozdzielenie, czyli sztuczna inteligencja jest pewnego rodzaju młotkiem. Młotek uderzy z odpowiednią siła przyłożoną, wbije ten gwóźdź w miejsce które przyłożymy, pozwoli zbudować wiele różnych ciekawych rozwiązań. Ale również jeżeli przełożymy do niego cechy z prawej strony slajdu, całą ludzką otoczkę, to może nas doprowadzić do zaskakujących, często niepożądanych rzeczy.

Rozdzielenie tych dwóch obszarów ma głęboki sens, dlatego że bazując na twardych danych jesteśmy w stanie podejmować lepsze decyzje już okraszone całością tego co możemy uznać za człowieczeństwo.

Vladimir:
My jako ludzkość w najbliższym czasie będziemy stać przed dużym wyzwaniem, jak zarządzać ryzykiem kiedy maszyna podejmuje pewną decyzje, kto tak naprawdę będzie winny jeżeli ta decyzja była złą. To co usłyszałem w twojej wypowiedzi, brzmi że człowiek może być ostatnim elementem, który będzie nieco minimalizować to. Czy dobrze to usłyszałem czy miałeś coś innego na myśli?

Piotr:
Troszeczkę coś innego, bo patrzę przez pryzmat technologii jako coś co daje nam nowe możliwości. Czy systemy komputerowe podejmują za człowieka decyzje? Oczywiście że tak. Jeżeli jedziemy samochodem i naciskamy przycisk hamulca, to system ABS, który jest niczym innym jak fragmentem oprogramowania w układzie elektronicznym, decyduje z jaką siłą i kiedy hamujemy. Człowiek nie ma na to wpływu, człowiek tylko uruchamia go, żeby zahamować. Został stworzony do tego żeby pomóc człowiekowi ominąć błędy i ograniczenia jego samego.

I nikt się nie zastanawia w chwili obecnej nad tym, czy systemy ABS w samochodach są potrzebne. One tam fizycznie są – wysoko wyspecjalizowane systemy.

Mamy systemy autonomicznego czy automatycznego parkowania w samochodzie, również w standardowych modelach. Jeżeli naciskam przycisk parkowania i proszę komputer, a tak naprawdę kod oprogramowania, współdziałający i zarządzający jakimiś procesami, to czy człowiek decyduje jak ten komputer będzie parkował, no i na koniec dnia bierze za to odpowiedzialność. Ale ten komputer w wielu przypadkach już teraz zaparkuje dużo lepiej, dużo szybciej, dużo sprawniej niż człowiek.

I teraz jest pytanie czy te technologie się upowszechniają i upowszechnią? Tak, i my nawet nie zauważymy kiedy. Dlatego że one dla nas będą coraz bardziej normalne i oczywiste. Również dlatego, że absorpcja tych technologii będzie postępowała w ramach tego, jak  perfekcyjne zaczynają się stawać.

Często przytaczam taki przykład z zestawem głośnomówiącym w samochodzie. Wiele osób nie używa interfejsu głosowego w komórce do wybierania numerów, do sprawdzania maila, do dyktowania treści smsa. Dlatego że 20 czy 10 czy 5 lat temu zetknęli się po raz pierwszy z rozwiązaniami które nie działały w sposób dla nich intuicyjny. W chwili obecnej nawet nie próbują ich użyć, bo 5 czy 10 lat temu użyli tych rozwiązań i one nie działały, więc w głowie ekstrapolują że one nadal nie będą działały tak jak oni chcą.

Drugi obszar jest taki, że jako pokolenie które wyrośliśmy przy komputerze z którym bardzo często komunikujemy się przy pomocy klawiatury, to że klawiatura jest naturalnym interfejsem. Nie, klawiatura nie jest naturalnym interfejsem interakcji z systemem komputerowym. Człowiek z systemem komputerem powinien wchodzić w interakcje, tak jak z innym człowiekiem. I w momencie kiedy te bariery zostaną zatarte, będziemy mogli powiedzieć że zaczynamy z takich rozwiązań w pełni korzystać.

Trend, który widać dookoła urządzeń, które mamy w domu, do których możemy mówić, które mogą na polecenie głosowe włączyć światło, sprawdzić pogodę, ustawić ulubioną muzykę, zapytać co słychać, te urządzenia otwierają nas na interakcję z technologią w normalny sposób. I teraz różnica jest taka, że rzeczy które były możliwe na filmach science fiction, robionych w latach 60., w chwili obecnej zaczynają być możliwe na co dzień.

Pamiętam mojego dziadka, który fascynował się Star Trekiem z lat 60., gdzie kapitan Picard mówił do znaczka w klapie i się komunikował. W chwili obecnej jak nie mam komórki  w swoim zasięgu, to rozmowę telefoniczną mogę odebrać na komputerze albo na zegarku i rozmawiać przez zegarek. Przeszliśmy olbrzymią drogę i to co nas ogranicza to przyzwyczajenia ludzkie do tego co robiliśmy 5, 10 lat temu.

Zobaczmy co się dzieje w samochodach, które są powszechnie dostępne i używane. Coraz więcej powierzchni, takich które służą do operowania i zarządzania funkcjami, przechodzi w obszar materiałów elektroprzewodzących czy elektro obojętnych, gdzie na koniec dnia cieszymy się z tego rozwiązania, bo wygląda ono nowocześnie, ale z drugiej strony obniża nam koszty produkcji.

Wyobraźcie sobie że schowek samochodowy, który można dotknąć i on się otworzy, jest dużo tańszy w produkcji i serwisowaniu, niż schowek samochodowy złożony z 10-12 elementów, z których każdy osobno trzeba zawieźć i przetestować. Wchodzimy w pewną erę technologiczną w której rozwiązania, o których kiedyś oglądaliśmy filmy,  są już możliwe do implementacji, ale z drugiej strony nasze przyzwyczajenia ograniczyły nas, jako zwykłego użytkownika (nie mówię o technologicznych geekach).

Vladimir:
Poruszyłeś bardzo ciekawy temat interfejsu pomiędzy człowiekiem a komputerem, a właśnie przez to, że używając klawiatury, bardzo wolno przekazujemy dane do komputera. I chciałbym zapytać o twojej opinii o Elonie Musku, a bardziej o firmie którą założył pod nazwą Neurolink. I on ma taki pomysł żeby zintegrować komputer czy maszynę z mózgiem. Wspomniałeś, że w pewnym sensie komórka, jako przykład czegoś mądrego w naszej ręce, jest częścią naszego ciała. Natomiast nie ma, przynajmniej publicznie udostępnionych, integracji pomiędzy komputerem a mózgiem. Co o tym myślisz i kiedy twoim zdaniem to będzie możliwe?

https://www.youtube.com/watch?v=y6rqNLDnO94

Piotr:
Myślę że to będzie możliwe szybciej niż nam się to wydaje, dlatego że takie rozwiązania powstają już od wielu lat. Nazwijmy to rozwiązania, które bazując na pewnych odkryciach i cechach zachowań fal mózgowych i naszych reakcjach elektrycznych w mózgu, chociażby w trakcie badania EEG, pozwalają sterować obiektami, przesuwać je. I tego typu rozwiązania już istnieją. Od tego teoretycznie jest bardzo krótka droga do wykonywania bardziej skomplikowanych czynności.

Co jest ciekawe w tych rozwiązaniach? To to, że korzystają z nanotechnologii. To będzie kolejny olbrzymi trend, jeżeli chodzi o wearable devices czyli wszelkiego rodzaju urządzenia, które nosimy na sobie, a za chwile będziemy nosić w sobie lub na sobie, ale w zupełnie innej postaci. Zauważmy, że coś co się zaczęło od różnego rodzaju gadżetów fitnessowych w chwili obecnej przeradza się w trend bardzo związany ze zdalną opieką i diagnostyką medyczną.

Obserwujemy,że jeżeli chodzi o miniaturyzację wszelkiego rodzaju czujników, a wraz z miniaturyzacją i zwiększaniem się mocy obliczeniowej w pojedynczym układzie tranzystorowym, możliwa jest wstępna analiza danych już na poziomie samego urządzenia. Są bardzo mocno zaawansowane prace nad soczewkami, które pozwalają wyświetlać rzeczywistość rozszerzoną.

Pamiętam, jak zaczynałem swoją pracę w IBM, firma Polcont prowadziła konferencje w Polsce dotyczącą nowych technologii i już ponad 10 lat temu pokazywaliśmy tam ekrany HUD dla żołnierza przyszłości. W chwili obecnej w różnych firmach trwają prace nad tym, żeby ekrany HUD integrować z soczewką wkładaną do oka, więc postęp w tej dziedzinie jest niesamowity.

Pytanie jest tylko takie, czy jesteśmy w stanie znależć realna wartość biznesową czy realną wartość dla naszego życia codziennego, płynącą z takich rozwiązań. I to jest bardzo często dyskusyjne, bo wiele rzeczy da się zrobić nawet w sposób optymalny kosztowo, a druga rzecz – pokazać użytkownikom że oni tego tak naprawde potrzebują.

Vladimir:
Nas słuchają osoby decyzyjne, ludzie z biznesu, które chcą zacząć używać uczenie maszynowe w praktyce. Jakie praktyczne rady możesz im dać, na co należy zwracać szczególną uwagę? Jak użyć uczenia maszynowego w sposób optymalny?

Piotr:
Możno podejść do tego na dwa sposoby. Pierwszy sposób – to korzystać z usług partnerów, którzy już coś zrobili, gdzieś zaimplementowali i mogą to pokazać. Może to być zrobione w obszarze naszej branży, tego co nasza firma robi. A z drugiej strony, jeżeli naprawdę chcemy zmieniać pewnego rodzaju branżę i budować swoją przewagę konkurencyjną, to musimy mieć pewnego rodzaju zwiększoną chęć do ponoszenia ryzyka.

Pamiętajmy, że wszelkiego rodzaju nowe technologie i rozwiązania, nawet jeżeli wygląda na to, że biznes kejsy wychodzą pozytywnie, niosą ze sobą odpowiednie ryzyko, że założone cele mogą się nie sprawdzić albo nie zadziałać. Dlatego zachęcam przede wszystkim do budowania prototypów, do sprawdzania koncepcji, do tego żeby nie brnąć w olbrzymie monolityczne projekty, które mają być realizowane przez rok, dwa, trzy. Tylko podchodzić do nich w taki sposób, żeby wymyślać w jakim obszarze może być wniesiona wartość, sprawdzić czy ta wartość ma szansę być wniesiona, a następnie podjąć ryzyko jej implementacji. Bo to jest jedyny sposób na wyprzedzenie konkurencji naszej branży.

Jeżeli będziemy bezczynnie czekali tylko i wyłącznie na to, żeby współpracować i budować rozwiązania, które ktoś już zaimplementował na rynku i z sukcesem, to znaczy że nigdy nie będziemy tymi, którzy na tym rynku będą wygrywali dzięki technologii. Zawsze będziemy podążającym za kimś i być może z czasem zrobimy to rozwiązanie nawet lepiej niż nasza konkurencja, ale nadal to nie my będziemy tymi innowacyjnymi, zmieniającymi oblicze branży i o których będa mówili na prezentacjach.

W momencie kiedy mamy do czynienia z nowymi pomysłami i technologiami, musimy zaakceptować pewnego rodzaju ryzyko, chyba że przenosimy dokładnie jeden do jednego rozwiązanie, które już przez kogoś zostało zaimplementowane.

Vladimir:
Jeżeli chcemy być liderami, nie możemy się bać, a tylko eksperymentować. Natomiast musi być zdrowy rozsądek. Muszą to być bardzo tanie eksperymenty, szybka informacja zwrotna, ale jeżeli nam na tym nie zależy zawsze będziemy krok do tyłu.

Piotr:
Tak i osoby które do tej pory nie spotkały się z metodykami zwinnymi prowadzenia projektów i mają bardzo często problem z akceptacją tego bądź definicją tego, co może być uznane za proof of technology czy proof of concept. I bardzo często dążą do tego, żeby swoją wizje świata idealnego przenosić na wymagania na proof of concept. I to się nigdy nie sprawdzi.

Pamiętam jak w Polsce zaczynał kiełkować trend Cloud Computingu czy usług chmurowych. Wiele firm postanowiło że chcą mieć takie infrastruktury, zbudowane u siebie. Zaczęło budować specyfikacje tego co chcą, specyfikacje które wysyłali do dostawców opisywały rozwiązania, które może zaistnieją na rynku za 5-6 lat, firmom którzy w tym się specjalizują. I taki sposób nigdy nie zadziała.

Vladimir:
Powiedziałeś kiedyś, że “Kluczową kompetencją staje się zdolność adaptacji do przemian oraz wykorzystania trendów.” Z jednej strony nic nowego, bo w biznesie zawsze chodziło o zmiany. Wydaje się, że jednak w Twojej frazie jest głębszy sens. Człowiek zdecydowanie wolnej adaptuje się do zmian, niż technologia. Przez technologie zmiany będą napędzane jeszcze szybciej. Proszę podziel się swoją opinią na ten temat… I dokąd to wszystko pędzi? Gdzie będziemy za 20 czy nawet 10 lat?

Piotr:
Pierwsza rzecz jest taka, że największym stoperem rozwoju technologii i implementacji technologii na koniec dnia, są ludzie, nasze obawy i brak otwartości.

Wyobraźmy sobie bardzo prosty przykład. Mam sieć sklepów czy hurtowni (załóżmy na terenie całego kraju), chcę zwiększyć profitowość sprzedaży, chcę obniżyć koszty magazynowania, chce zoptymalizować logistykę. Dlaczego nie wykorzystać w modelu planowania, przewidywanie i prognozowanie pogody. Dane które są dostępne, które firmy w wielu miejscach świata używają czy testują. Co nas przed tym powstrzymuje? Wstrzymuje niechęć do podejmowania ryzyka i niechęć do zmiany. Pomimo tego, że podświadomie (w tym przykładzie) wszyscy czują że informacja dwa tygodnie wcześniej o tym, że na przykład w wakacje polskie wybrzeże będzie nie słoneczne i warto tam dostarczyć parasole, powinna być zautomatyzowana. Dlatego że wtedy siadają koszty operacyjne i podnosi się nasza wydajność. Dzięki temu, na przykład w skali sieci sklepów, obniżają się koszty logistyki, podnosi się marżowość produktu, podnosi się wielkość pojedynczego koszyka.

To jest jeden przykład z życia jakiejś bardzo konkretnej branży, która mogłaby wykorzystać pewnego rodzaju dane pogodowe do usprawnienia swoich wewnętrznych procesów, optymalizacji sprzedaży i zarządzania asortymentem.

W którą stronę to idzie. Dosyć ciekawie to opisują w książce Race Against the Machine profesorowie z MIT. Którzy pokazują tezę taką, że idziemy w stronę świata w którym w pewnym momencie będziemy musieli ludziom płacić za nie robienie niczego. Nastąpi taki poziom automatyzacji, taki poziom zastąpienia ludzi, że albo całe branże i całe grupy zawodowe będą się transformowały, albo będą powstawały grupy zawodowe ,którym trzeba będzie płacić wynagrodzenie za nie robienie niczego. I to jest bardzo ciekawie opisane w książce Race Against the Machine którą bardzo serdecznie polecam.

Na pewno stoimy w perspektywie czasu przed wyzwaniami nie stricte technologicznymi, ale przed wyzwaniami stricte socjologicznymi i to pewnie będzie obszar do zagospodarowania przez wielu badaczy i wiele firm.

Trochę powtarzamy czasy rewolucji przemysłowej. Pamiętajmy, że historia lubi się powtarzać, tak jak przeszliśmy z epoki kamienia w epokę koła, później przez wiele innych etapów do rewolucji przemysłowej, która też miała wiele zmienić. Weszły maszyne parowe, które też zmieniły sposób w jaki ludzie pracowali i wytwarzali dobra. W chwili obecnej żyjemy w świecie rewolucji bardzo mocno cyfrowej, gdzie zmienił się tylko obszar, który napędza tę rewolucję z pary na dane. Co nam to przyniesie…zobaczymy! Zakładam że samo dobro.

Vladimir:
Czyli jesteś nastawiony optymistycznie…

Piotr:
Bardzo. Inaczej nie byłoby postępu.

Vladimir:
Zapytałem o przyszłość technologiczną, teraz zapytam o przyszłość prywatną. Może zdradzisz trochę o planach które masz, zwłaszcza związane z tematem uczenia maszynowego czy sztucznej inteligencji?

Piotr:
Bardzo trudne pytanie. Na pewno chcę uczestniczyć w jak największej ilości projektów w których uczenie maszynowe przekuwa się na realną wartość dla końcowego klienta.

Na pewno chciałbym uczestniczyć w projektach, które łączą uczenie maszynowe z daleko posuniętą robotyzacją. Bardzo ciekawym obszarem rozwiązań są powstające egzoszkielety, wsparcie ich sztuczną inteligencją, opomiarowanie. To są rzeczy, które mogą przynieść w perspektywie niedalekiego czasu niesamowity postęp, zwłaszcza w obszarze rehabilitacji osób niepełnosprawnych, po wypadkach, przykutych do łóżka. To są rzeczy, które będą zmieniały naszą rzeczywistość i otwierały nowe możliwości przed ludźmi, którzy do tej pory tych możliwości nie mieli. Chciałbym być częścią takich zmian. Traktuje to jako podróż w nieznane, ale jestem gotowy ją odbyć.

Vladimir:
Ostatnie pytanie na dzisiaj. Czy w razie potrzeby słuchacze mogą kontaktować się z Tobą i jeżeli tak, to jak mogą to zrobić? Czy jesteś otwarty na takie kontakty?

Piotr:
Jak najbardziej. Najszybciej można się ze mną skontaktować przez Twitter. Mój nickname po prostu PiotrPietrzak.

Vladimir:
Dziękuję Ci bardzo za twój czas.

Podsumowanie

Rozmowa z Piotrem mogła jeszcze trwać co najmniej godzinę… Jest to człowiek pasji i dość rzadko spotyka się osobę, która pracuje w tak dużej firmie na wysokim stanowisku i jest tak otwarty w rozmowie (również już po nagraniu podcastu). Spędziliśmy jeszcze jakiś czas na omówieniu różnych tematów i wyzwań które są obecnie.

Ciekaw jestem Twojej opinii. Podziel się na itunes zastawiając komentarz, czy na stronie biznesmysli.pl albo na facebook. Będę bardzo za to wdzięczny.

Już dostaję od słuchaczy pytania na różne tematy związane z uczeniem maszynowym. Jeżeli również masz jakieś – to pisz śmiało do mnie, na stronie kontakt znajdziesz formularz. Również, jeżeli zależy Ci bardzo, żebym skupił się nad którymś tematem bardziej, to proszę daj mi tym znać, zbieram takie głosy i to pomaga mi ustalić dalsze priorytety. W najbliższym czasie mam już plan szeregu wywiadów z ciekawymi ludźmi z branży. Z drugiej strony, myślę, że warto robić tematy gdzie skupiam się nad pewnym zagadnieniem, jak to było w kilku pierwszych odcinkach. Co o tym myślisz?

Podziękowania

Tomasz Wóźniak zostawił recenzję na itunes z pięciu gwiazdkami. Dzięki wielkie Tomku :).

Patryk Wójcik również dziękuję Tobie za Twoją aktywność, udzielanie komentarze na blogu, facebook.

Dziękuję również za like, tweety, polubienia – bardzo mi miło, że to co robię ma odzew :).

Ogłoszenia
Zacząłem ten odcinek od konferencji zorganizowanej przez Apple. Jeżeli chcesz posłuchać więcej detali po polsku to polecam odcinek #13, podcastu Szymona Drejewicza  – Data Science po polsku. Szymon bardziej skupia się na procesie, również ten podcast może być bardzo ciekawy jeżeli rozważasz zrobić swoją karierę jako “data scientist”.

Miałem okazję być gościem podcastu “Lepiej Teraz” który prowadzi Radosław Budnicki. Jeżeli jeszcze nie słuchałeś tego podcastu – to gorąco polecam. Radek jest coachem na co dzień i ma talent do znajdowania ciekawych i inspirujących ludzi, których zaprasza na rozmowę. Mój wywiad jest w odcinku nr. 59, gdzie między innymi dowiesz się więcej o mnie. Zapraszam do posłuchania podcastu “Lepiej Teraz”.

W sobotę, 17 czerwca odbyła się konferencja dla podcasterów i słuchaczy podcastów – Polcaster 2017. Miałem okazję również opowiedzieć o trudnościach jakie miałem, kiedy zaczynałem Biznes Myśli i jak je pokonywałem.

Podcast ma dopiero trzy miesiące i staje się coraz bardziej popularny. Już był w TOP 20 wszystkich podcastów i TOP 2 w kategorii biznes.

To jest super… ale często nie widać jakie trudności są pomiędzy. Wyjścia ze strefy komfortu, wątpliwości i wiele innych emocji. Chciałem opowiedzieć swoją historię i podzielić się tym jak to przeżywałem i  radziłem sobie z tymi wyzwaniami. Mało tam jest o moim bohaterstwie, ale dużo o tym jak małymi krokami i wsparciu właściwych osób możesz osiągnąć wszystko co tylko chcesz. Tego bardzo Ci życzę… żeby w Twoim otoczeniu znalazły się osoby które pomogą Ci rozwinąć Twoje skrzydła.

Bardzo polecam obejrzeć to osobam które wychdozą ze strefy komfortu i mają dużo wątpliwości.

27 czerwca, w Krakowie będę miał przyjemność powiedzieć więcej na temat sztucznej inteligencji, a mianowicie o ryzyku i możliwościach które nam daje. Również będzie na VR – wirtualnej rzeczywistości. Jeżeli będziesz w Krakowie w tym czasie, chcesz posłuchać tych tematów a może spotkać się ze mną, to gorąco zapraszam.

To tyle na dzisiaj. Dziękuję za Twój czas, Twoją energię i do usłyszenia w następnym odcinku.

Artykuł Sztuczna inteligencja i IBM – rozmowa z Piotrem Pietrzakiem – CTO w IBM pochodzi z serwisu Biznes Myśli.

Dosłownie dwa tygodnie temu skończyła się konferencja Google I/O. To coroczne technologiczne wydarzenie, gdzie Google chwali się swoimi wynalazkami, po raz pierwszy odbyła się w roku 2008. W tym roku właściwie nie było żadnych wynalazków…  W dużym uproszczeniu można powiedzieć, że Google przemyśla „wszystkie” swoje produkty w kontekście AI first. Wzór jest bardzo prosty, bierzesz dowolny produkt dodajesz AI i dostajesz wow :).

Sundar Pichai, który jest CEO Google zwraca uwagę na to, że właśnie to jest ważny kierunek rozwoju i Google koncentruje się na tym. Teraz to brzmi jeszcze bardziej wiarygodnie, żeby zacząć interesować się tematem. Sundar ostatnio powiedział:

„Uczenie maszynowe i sztuczna inteligencja odblokowała pewne możliwości, które były nie do pomyślenia jeszcze kilka lat temu”.

Co o tym myślisz?

Dzisiaj gościem jest Barbara Fusińska, która jest Data Solution Architect w Microsoft.

Również czeka na Ciebie zniżka na konferencję… szczegóły na samym końcu.

Vladimir
Cześć Basia, powiedz trochę więcej o tym kim jesteś, czym się zajmujesz, gdzie mieszkasz…

Basia
Cześć Vladimir. W tym momencie mieszkam w Londynie, przeprowadziłam się kilka lat temu i obecnie jestem Data Solution Architect, pracuje w  Microsoft. Chciałbyś dowiedzieć się co więcej oznacza ten tytuł, bo on jest dość enigmatyczny?

Vladimir
Tak chciałbym, ale najpierw zapytam coś innego. Co ostatnio czytałaś i czego nauczyłaś z tej książki?

Basia
Nie wiem czy mogę powiedzieć, że sporo czytam, ale czytam zwykle kilka książek na raz. Ostatnio czytałem książkę która jest zatytułowana “The Hard Thing About Hard Things” ona mówi o doświadczeniach pana Bena Horowitza  dotyczące tego w jaki sposób on prowadził kilka startupów i do czego to doprowadziło.

Książka opowiada o bardzo ciężkich decyzji oraz ciężkich sytuacjach o których zwykle ludzie nie mówią, bo starają się mówić o startupach gdy one się udają, odnoszą sukces natomiast  w sytuacjach kiedy trzeba zwolnić swojego przyjaciela albo szefa działu albo zdobyć klienta w niekonwencjonalny sposób. O takich rzeczach zwykle ludzie nie mówią. On napisał całą książkę na ten temat.

Czego ona mnie nauczyła? Nauczyła ona, że biznes nie jest prosty. Może już wiedziałam to wcześniej… ale on na konkretnych przykładach pokazuje, że to jest praca 24h na dobę i mimo, że jesteśmy osobami technicznymi i chcemy założyć startup techniczny to jednak dużo tych miękkich umiejętności biznesowych trzeba posiąść. Było to takie otwarcie oczu. Polecam bardzo czytanie tej książki.

Z innych książek, uwielbiam kryminały, ostatnio przeczytałam trzy książki na raz. „Zabójstwach w polskich Tatrach” oczywiście to wszystko było wymyślone, ale ja po prostu uwielbiam kryminały.

Vladimir
Czy polecasz pierwszą książkę dla osób które chcą zacząć swój własny startup czy ogólnie dla wszystkich ta książka może być przydatna?

Basia
Myślę, że dla wszystkich. Oczywiście, jeżeli ktoś chce zacząć startup – to szczególnie polecam. W dzisiejszych czasach warto wiedzieć na temat tego, że jednak prowadzenia biznesu się łączy z wieloma konwencjonalnymi rzeczami. Polecam.

Vladimir
Powiedziałaś, że pracujesz w Microsoft jako Data Solution Architect. Czym się zajmujesz na co dzień. Jakiego typu problemy rozwiązujesz i w jaki sposób?

Basia
To jest taka enigmatyczna nazwa. Mam takie wrażenie, że Microsoft wymyślił to stanowisko. Jeżeli wiesz co robi Cloud Solution Architect, czyli osoba która się zajmuje rozmawianiem z klientami, rozmawianiem o technologiach i o tym jak konkretny firmy mogą wdrożyć konkretne technologii u siebie, ale ponieważ to jest Cloud Solution Architect skupia się głównie na chmurze.

W przypadku Microsoft jest to Azure. Data Solution Architect zajmuje się podobną rzeczą, z tym że skupia się na danych. Obejmuje wszystko co jest związane z danymi, od baz danych, hurtowni danych, data lake. W przypadku Azure mamy Cognitive Services, Cortana, Bot Framework. Czyli wszystkie rzeczy które są związane z danymi, z analizą danych. Jestem osobą która wchodzi do firmy i stara się pomóc firmie wdrożyć Azure. Współpracuje z innymi Data Solution Architect, także z Cloud Solution Architect.

Można powiedzieć, że jesteśmy technicznymi sprzedawcami. Z tym, że nie sprzedajemy chmury, tylko staramy przekonać firmę jak najlepiej mogą wykorzystać te technologie.

Vladimir
Myślę, że to jest bardzo ciekawe. Z jednej strony posiadasz wiedzę techniczną, z drugiej strony potrafisz mówić w sposób zrozumiały również dla biznesu. W moim doświadczeniu jest tak, że czym więcej rozmawiam z przedstawicielami firm, osobami decyzyjnymi to rozumiem, że jest duża przepaść w rozumieniu co to jest uczenie maszynowe i jak to może być pomocne w biznesie. Między innymi dlatego powstał ten podcast. Proszę podaj trzy przypadki użycia nad którymi miałaś okazję pracować. I jakie były korzyści z tych rozwiązań dla biznesu?

Basia
Myślę, że bardzo często ludzie się ekscytują – bo jest coś nowego i fajnego co zostało rozdmuchane przez media. Dużo rzadziej się spotykają się osoby które myślą w jaki sposób konkretnie przekuć to na rozwiązanie biznesowe. W efekcie rozwiązanie które przyniesie korzyść finansową (w końcu o to chodzi w firmach, żeby zarabiać pieniądze). Mam kilka przykładów.

Jeden jest taki dość sztampowy, czyli jak użyć Chatbot Framework (czyli chatbota) do zamawiania jedzenia. Firma zajmowała się produkcją jedzenia i dowozem, zamiast zatrudniać osoby po drugiej stronie, zastąpiły część automatycznym chatbotem. Na początek to był taki proof of concept, ale okazało się, że całkiem nieźle to działa. Jak była korzyść? Nie trzeba była zatrudniać ludzi którzy tylko odbierają telefony, można było znaleźć dla nich bardziej ciekawsze zadania.

Vladimir
Myślę, że to jest ciekawy przykład – o detale będę pytał trochę później, a teraz jedziemy do kolejnego przykładu.

Basia
Kolejny przykład. Wiele jest takich rozwiązań związanych z bazą danych. Rozwiązanie klasyczne często nie daje sobie rady, albo za dużo jest tych danych, albo przychodzą one z różnych źródeł bardzo szybko i trzeba je przerabiać w szybkim tempie. Firmy chcą trzymać te dane, tak jak przychodzą, bo w tej chwilę może nie wykorzystują tego, ale w przyszłości ktoś nad tym się pochyli i będą mogli. W tym momencie chcą zapisać te dane gdzieś. Klasyczne bazy danych nie dają sobie rady.

Miałem kilka wdrożeń kiedy firmy użyły albo data lake, dokumentowych baz danych albo całej mikstury. Przyspieszyło to pracę i wdrożenie, bo nie trzeba było zastanawiać nad tym które dane zachowywać, w jaki sposób je zmienić, w jaki sposób wstawić jakieś transformację albo agregację, bo prostu dane szły do zapisu, a potem dalej można się zastanawiać, że można z nimi zrobić. Takich przykładów jest kilka, powiedziałabym, że jeżeli ktoś pracuje w chmurze nad danymi, to jest to najczęstszy przypadek.

Mieliśmy kilka ciekawych projektów związanych z machine learning. Azure też oferuję kilka rozwiązań w tej kwestii. Takim najciekawszym, moim zdaniem, nietypowym, współpracowaliśmy z browarem gdzie trzeba było przewidzieć (zoptymalizować) cenę butelki piwa w różnych krajach. Jeżeli cena była za wysoka, to klienci mogli nie kupować piwa, natomiast jeżeli była za niska to mniej pieniędzy firma by na tym zarobiła. Trzeba było wyśrodkować cenę ucząc się na danych która firma posiadała, w wyniku czego zoptymalizowaliśmy cenę butelki piwa.

Vladimir
Ciekawie to brzmi. Zapytam się trochę więcej o tak zwanej sztucznej inteligencji. W drugim odcinku wspomniałem, że chodzi o trzy elementy: dane (ich jakość oraz ilość), moc obliczeniowa (dostępność i jej koszt) oraz algorytmy (zaawansowany i zoptymalizowane do potrzeb). Czy z tym zgadzasz się, być może chcesz coś dodać albo wyróżnić któryś z czynników?

Basia
Na pewno to są ważne rzeczy. Do mocy obliczeniowej rozdzieliłabym dwie rzeczy. Jedna to, że mamy teraz chmury i za całkiem małe pieniądze, można użyć chmury żeby spróbować algorytm i oszczędzić sobie czasu, niż uruchamiać go na własnym komputerze czy laptopie. Po prostu wystarczy wynająć coś co jest gdzieś tam w internecie, inny komputer. To jest jedna rzecz. A druga to powiedziałabym hardware, czyli GPU. To jest względnie nowa architektura która pozwala na szybsze obliczenia z macierzami. Właśnie ta nowa architektura i nowe różne które powstają w tym momencie, bo różne firmy pracują nad tym.

Vladimir
Powiedziałaś, że chmura to jest cudzy komputer. Czasem to może być zaskakujące, bo wydaje się, że chmura jest gdzieś i tak fajnie liczy. Nie wiem czy kogoś nie zaskoczyliśmy teraz…

Basia
No tak jest. Że to jest w chmurach, bo nie do końca wiadomo gdzie do jest. Często wiadomo w jakim kraju jest, ale nie dokońca gdzie. Nie wszystkie firmy podają lokalizację. Na dodatek to nie jest tak do końcu, że to jest tylko czyjeś komputer. To są maszyne wirtualne, to jest cały management. Po to, żeby wziąć ten ból głowy który mają ludzie, którzy zajmują się komputerami on-site i żeby zajął się tym ktoś inny.

Właśnie provider który dostarcza tą chmurę. Również wszystkie rzeczy związane z bezpieczeństwem. Dlatego to jest coś więcej… Ale rzeczywiście ogólna zasada jest taka, że tam jest gdzieś obcy komputer do którego my się podłączamy. W uogólnieniu to jest tak proste, ale tak naprawdę to jest bardziej skomplikowane.

Vladimir
Teraz omówiliśmy nasz pierwszy element, czyli infrastruktura czy moc obliczeniowa. I to na co zwróciłaś uwagę, że w tej chwilę nie jest to tak skomplikowane, żeby odpalić komputer porównywalny do superkomputerów jeszcze 10 lat temu, podłączyć do niego laptop i między innymi właśnie Azure daje taką możliwość. Zgadzasz się?

Basia
Tak.

Vladimir
Dobra. Przejdźmy teraz trochę dalej. Porozmawiajmy o algorytmach, ale trochę dalej niż gołe algorytmy. Microsoft bardzo aktywnie pracuje nad platformami które umożliwiają między innymi użycie machine learning w prosty sposób. Są takie platformy jak, Cognitive Services, Bot Framework, Deep Learning, Data and Analytics Platform. Zaczniemy od pierwszej platformy. Co to jest Cognitive Services i kto jest potencjalnym odbiorcą?

Basia
Powiedziałabym, że Cognitive Services to bardzo dobry krok marketingowy i nie tylko Azure (Microsoft), robi to wiele firm, np. Watson z IBM. Różne serwisy który AWS także oferuje, tylko oni nie mają jakiejś konkretnej nazwy. Microsoft wziął wszystkie serwisy i wrzucił je do jednego worka, żeby to zgrabnie nazwać.

Kto jest odbiorcą? Powiedziałabym, że odbiorcą są firmy, które nie chcą zatrudniać zespołów data scientist, ponieważ ktoś już zrobił tę robotę za nich, już zbudował model. Na przykładzie rozpoznawania twarzy. Ktoś zrobił już ten cały algorytm i udostępnił je jako usługę.  Taką usługę można wynająć i wstawić do własnego systemu. Od strony technicznej to jest wywołanie REST i jak ktoś jest programistą to może to po prostu wywołać i wstawić do systemu. To jest bardzo wygodny sposób na to, żeby wzbogacić Twój system w machine learning, w artificial intelligence (bo to tak naprawdę jest to samo, są tylko różne odcienie tego).

Przestrzegam przed czymś. Tak jak ja bardzo lubię pojęcie democratizing of AI, to jest drogą którą wiele firm idzie. W szczególności Microsoft. Chodzi tutaj o demokratyzację  sztucznej inteligencji, żeby to było dostępne jak najbardziej dla wszystkich. I już jest. W tym momencie, tak naprawdę wiele firm dają podobne usługi i można nawet za darmo sprawdzić, pobawić się, pouczyć się. Natomiast widziałam takie sytuacje, kiedy ludzie się bawią, wstawiają do systemu, wywołują usługę i ona coś zwraca.

Pytanie jest czy robią to świadomie? Czy mając taki blackbox,  potrafią wnieść wartość do systemu? Niewiadoma czy osoba która używa to niewłaściwie potrafi zinterpretować prawidłowo wyniki. Powiedziałabym tak: używać blackbox, ale wiedzieć co one robią, czego oczekują, jakie informacje dostaniemy i jak możemy ocenić czy są właściwe. Jak możemy stwierdzić czy to się nadaje, czy nie nadaje się do naszego systemu?

Vladimir
Poruszasz bardzo ciekawe tematy. Bo z jednej strony bardzo fajne jest użyć uczenia maszynowego jako gotowe serwisy, a z drugiej strony czy osoba która będzie tego używać, czy potrafi to użyć, więc może troszkę rozwińmy ten temat. Przed tym wywiadem sprawdziłem, już jest dostępne 29 usług. Na przykład computer vision, umożliwia rozpoznawać jakie obiekty są na zdjęciu czy emotion API które wykrywa wszystkie twarze na zdjęciu i pokazuje jakie mają emocje. Jest możliwość poprzez przeglądarkę wrzucić dowolne zdjęcie i sprawdzić wynik po kilku sekundach.

Warto wspomnieć o projekcie wspólnie zrobionym przez Uber i Microsoft dla identyfikacji kierowców bazując na ich zdjęciu. Kierowca wsiada do samochodu, odpala Uber aplikację, która prosi go zrobić selfie i w ten identyfikuje go.

Albo okulary dla niewidomych które umożliwiają zobaczyć co jest dookoła

Można wymyślić jeszcze sporo podobnych zastosowań w biznesie. Proszę wytłumacz, co się dzieje pod spodem od momentu kiedy ładuję zdjęcia i dostaje wynik?

Basia
Patrząc na takie proste API do rozpoznawania twarzy. Jeżeli w Twoim systemie jest potrzeba, żeby rozpoznawać twarze na zdjęciu. To właściwie tutaj nie ma miejsca na pomyłki, wrzucasz zdjęcia i dostajesz “kwadraty” które mówią tutaj gdzie są twarze. To jest dość proste i konkretnie w tym przypadku to nie jest takie ważne co tam się dzieje pod spodem.

Natomiast są takie usługi, jedna z nich to Recommendation API ona jest jedną  z Cognitive Services. Jest to trochę tak reklamowane, że bierzesz ten serwis wrzucasz do swojego systemu i od jutra czy za godzinę Twój system będzie rekomendował odpowiednie produkty dla Twoich klientów. No to tak nie będzie działać… Najpierw trzeba wrzucić Twoje dane, wytrenować model itd. Co się dzieje pod spodem to zależy o jakiej usługi mówimy. Tak w dużym uproszczeniu, machine learning polega na tym – że bierzemy dane historyczne na których algorytm się uczy, wykrywa pewne reguły czy zasady.

Można pomyśleć, że to jest zbiór reguł który określa później jak te reguły powinny wyglądać. One nie są interpretowalne dla ludzi, ale tam jest jakieś matematyczne równanie i rozwiązywania. Musimy mieć te historyczne dane, na tym polega to całe uczenie się. Po pewnym czasie te algorytmy się uczą i model staje się wytrenowany i możemy go upublicznić. To jest właśnie to co Cognitive Services oferuje, czyli już ten wytrenowany model, on wie co robić, wie jak klasyfikować, jak znajdować i obliczać nowe przykłady. Tylko stawiamy go z tyłu jakieś nowej usługi. Mamy wytrenowany model i możemy go teraz wynajmować Tobie klienci. To tak w dużym uproszczeniu wygląda.

Vladimir
Przede wszystkim należy zwrócić uwagę, że nie ma magii. Nie da się tylko kupić usługi i spodziewać się, że będzie działał system rekomendacyjny. Musimy najpierw dostarczyć dane, te dane powinny być odpowiednio przygotowane, to nie mogą być śmieciowe dane. Już wtedy mając dobre dane, możemy liczyć, że algorytm, w tym przypadku system rekomendacyjny pomoże nam rozwiązać problem. Czy dobrze zrozumiałem?

Basia
Tak, bardzo dobrze. Wracając na przykład do usługi która rozpoznaje konkretną osobę na zdjęciu, ta usługa z której korzysta Uber. Ona też nie może mieć modelu który wytrenował się wcześniej, nie można go po prostu wstawić do systemu. Należy mieć zdjęcia tych kierowców z Ubera. Trzeba przygotować nasz system do tego. Jest kilka takich przykładów, gdzie rzeczywiście, bez żadnego ryzyka możemy użyć tych usług, ale są również bardziej skomplikowane które wymagają większej integracji na tym lub innym poziomie.

Vladimir
Dobrze, że zwróciłaś uwagę na to. Bo często chce się tej magii, nic nie robiąc dostać gotowe rozwiązanie. Dlatego trzeba być świadomym, że trzeba będzie włożyć pewien wysiłek nawet wtedy kiedy mamy moc obliczeniową (np. chmura), mamy algorytmy, to jednak te dane trzeba odpowiednio przygotować.

Basia
Myślę, że  to jest wielka rola dużych firm, które chcą, żeby klienci używali ich usług… Jasne, że chcą, bo z tego zarabiają pieniądze. Ale użytkownice nie chcą wkładać wysiłku, to jest też normalne. Tutaj trzeba znaleźć balans, żeby ułatwić jak najbardziej, ale tego nie można robić bezmyślnie. Bo to jednak jest skomplikowana matematyka pod spodem. Pewne rzeczy można wstawić do blackbox’a, a inne rzeczy trzeba przemyśleć, zintegrować, no i tak jak już mówiliśmy włożyć trochę wysiłku.

Vladimir
Ciekawym przypadkiem i to może dość popularnym w użyciu może być analiza tekstu, włączając sentiment analysis taka zwana analiza nastrojów. Tego typu rozwiązania umożliwiają śledzenie opinii, rozumienia ogólnej tak zwanej temperatury nastrojów, zwłaszcza kiedy było jakieś wydarzenie (dobre czy złe, np. kiedy usługa przestała działać). Wiem, że jest wspierany angielski oraz hiszpański, jakie jeszcze języki są wspierane? Czy wspiera język polski?

Basia
Sprawdziłam to specjalnie, jeżeli chodzi o analizę i sentiment analysis język polski jest wspierany, ale to jeszcze jest w preview.  Portugalski, francuski, hiszpański, angielski to są języki które są wspierany już całkowicie. Natomiast w preview to są języki: duński, niemiecki, fiński, włoski, holenderski, norweski, polski, rosyjski, szwedzki i turecki.

Vladimir
W takim razie, już za niedługo możemy się spodziewać, że język polski będzie dopracowany i będziemy mogli użyć go do produkcji. Prawda?

Basia
Myślę, że to będzie jeszcze wielka praca… każdy język ma swojej ogólne ciekawy przypadki a angielski jest najłatwiejszy do analizy tekstów.

Vladimir
Dokładnie. Są inne biblioteki które rozwiązują tego typu problemy, natomiast z językiem polskim to zawsze było skomplikowane. Ostatnio byłem na konferencji i wiem, że są firmy które pracują nad tym 10 czy nawet już 15 lat, za bardzo o tym nie mówiąc, pisząc swoje własne rozwiązania    i podobnie im to jakoś działa. Ale ewidentnie to nie jest trywialny problem. To wymaga dużego wysiłku.

Warto wyjaśnić jeszcze jedną rzecz. Jeżeli mówimy o usługach, to one pod spodem mają tak zwany pre-trained model, po polsku pewnie to będzie wytrenowany model. Jak możesz wytłumaczyć co to jest pre-trained model i na jakich danych te modele są trenowane?

Basia
Po pierwsze nie wszystkie algorytmy wspierają taki inkrementacyjny update model. Mówiliśmy już o tym jak działa machine learning. Mamy historyczne dane, algorytm po nich chodzi – sprawdza, wypracowuje swoje współczynniki i na końcu jest wytrenowany.

W pewnym momencie algorytm mówi, albo my mówimy: “Dość, już starczy uczenia się”. Już powinno być dobrze bo sprawdzamy jakieś metryki. Wiele algorytmów nie jest w stanie inkrementacyjnie dodać, ulepszyć się. Ale są takie które to potrafią. W zależności od tego co siedzi pod spodem, możemy wytrenować model, a potem tylko dodawać nowe dane i on będzie się uczył iteracyjnie, zmieniając tylko troszeczkę te swoje współczynniki.

Vladimir
Czy możesz podać przykład o jaki model chodzi teraz? Który model można właśnie adaptować używając własnych danych?

Basia
Wydaje się mi, że Luis działa w ten sposób. To jest model który stoi za analizą tekstu w Bot Framework. Ponieważ odbiera różne sygnały od użytkowników, to jest ta cała konwersacja, to inkrementacyjnie się ulepsza. Tam jest używany deep learning z tyłu, tu możemy pomyśleć o takim algorytmie.  Duża ilość algorytmów klasycznych, oni muszą wziąć dane i nauczyć się od początku. To jest bardzo interesujące i bardzo często ludzie o to pytają, natomiast jeśli jesteśmy poza deep-learning to właściwie takich algorytmów jest bardzo niewiele.

Vladimir
Wspomniałaś o Luisie, więc przejdźmy w tym kierunku. Najpierw porozmawiamy, co to jest Bot Framework. Pozwól, że wspomnę jedną rzecz, miałaś prezentację na konferencji NewCrafts, gdzie między innymi zaznaczyłaś, zacytuję Ciebie: “Celem tej prezentacji jest pomóc uczestnikom przejść od poziomu, gdzie nigdy nie tworzyli chatbota, do stworzenia tego, który potrafi prowadzić rozmowę”. Brzmi to ciekawie i chciałbym rozwinąć ten temat. Ale najpierw, może warto zdefiniować czym jest chatbot?

Basia
To był mój zamysł, żeby trochę odrzeć z magii te chatboty. Chatbot to jest rozmowa gdzie z jednej strony jest komputer (maszyna). I to jest wszystko. Tam nie musi być żadnej sztucznej inteligencji, oczywiście wtedy to nie jest tak interesujące. Też dawałem tego talk’a z myślą o tym jak sztuczną inteligencję zaaplikować w tym przypadku. Natomiast same pojęcia chatbot to jest coś mechanicznego z jednej strony konwersacji. Jeżeli na przykład bardzo wyspecjalizujemy takiego chatbota on będzie mówił Ci jaka jest pogoda. Możemy sobie wyobrazić bardzo prymitywną rozmowę która będzie działała. Po prostu piszesz nazwę miasta, np. Londyn, Kraków czy Warszawa, po przecinku datę i ten chatbot odpowiada jaka jest pogoda. Tutaj jest mało magii bo to mógł być zwykły select do bazy danych w której trzymamy dane o pogodzie.

Vladimir
Zacząłeś mówić o pogodzie i chatbot’ach. To mi od razu przypomniał się chatbot Poncho, który już teraz jest dość popularny. Tak jeszcze podsumowując. Chatbot to jest, w dużym uproszczeniu to jest zwykły program który w środku zawiera jakieś reguły. Oczywiście, jeżeli chcemy bardzo skomplikowany chatbot – to musi być również bardziej złożony w środku. Ale w gruncie rzeczy to jest zwykły program który próbuje z nami komunikować się. Zgadza się?

Basia
Zgadza się.

Vladimir
To idziemy w szczegóły jeżeli chodzi o to oferuję Microsoft. Co to jest i co oferuje Bot Framework dla biznesu?

Basia
Jeżeli myślimy o takim prostym chatbocie.  Bot Framework ma taką koncepcję, że baterie są w komplecie, ale można je usunąć. Jeżeli chcemy zbudować bardzo prosty chatbot pogodowy, to możemy zrobić to bardzo prosto. Ponieważ mamy SDK w którym możemy zbudować system odbierający wiadomości. Mamy connector, który może połączyć się z różnymi kanałami wiadomości, np. ze Skype, nawet z sms’ami, mailem, można również wstawić na stronę. Jest trzeci element który dotyczy hostowania, tego chatbota. Bo to jest po prostu usługa.

Znowu mamy RESTowy API. Jak zbudujemy chatbota, możemy go upublicznić. Ja na przykład, na potrzeby tego talka, który wspomniałeś, mój chatbot jest na skype, można go znaleźć i sobie porozmawiać. W prosty sposób jest hostowany na Azure. Jeżeli mówimy o tej ciekawej części, wrzucenie sztucznej inteligencji, to na etape kiedy wysyłamy wiadomości od użytkownika to możemy zaaplikować wszystko co nam się chce. To może być zwykły select do bazy danych, ale również zaaplikowana sztuczna inteligencja. To może być Luis, który jest częścią Cognitive Services który Microsoft oferuje, ale to może być jakikolwiek inny algorytm, jakikolwiek inny system.

Vladimir
Właśnie, wspomniałeś już po raz drugi o Luis, więc warto przejść do szczegółów. Kim jest Luis i co tak naprawdę robi? Dlaczego jest przydatny dla biznesu?

Basia
Luis to jedna z usług Cognitive Services która właśnie zajmuje się analizą tekstu, nie taką o której mówiliśmy wcześniej. Nie szuka sentymentów, nie sprawdza języka itd, jest przydatny przede wszystkim dla rozmowy. Bo co nam jest przydatne w rozmowie, jeżeli chcemy to inteligentnie poprowadzić? Chcemy się dowiedzieć o co użytkownik pyta oraz nie chcemy zmuszać go do jakiegoś specjalnego formatu jego odpowiedzi, czyli chcemy, żeby ta rozmowa przebiegała jak najbardziej naturalnie. Powiedzmy, niech będzie przykład z pogodą, ale niech będzie to bardziej naturalna rozmowa. Pozwólmy użytkownikowi powiedzieć: “Jak będzie jutro pogoda w Krakowie?”.

Zadaniem Luisa, tego modelu, który trzeba będzie wytrenować jest to, by po pierwsze dowiedzieć się, że użytkownik pyta się o pogodę – to jest nazywane intent. Nie wiem czy po polsku “intencja” jest dobrym słowem… Chcemy się dowiedzieć, czego chcę użytkownik – kontekst tego pytania. Żeby wyłuskać te dane – Kraków i jutro. Znów ja bym ostrzegła, że to nie jest tak, że się bierze Luisa i to zacznie magiczne działać dla wszystkiego. Trzeba taki model zbudować, wytrenować i wtedy dopiero użyć.  No bo skąd taka usługa miała wiedzieć, że nasza aplikacja jest o pogodzie?

Może być o czymkolwiek innym, więc my musimy podać ilość przykładów na których model będzie się uczył. Musimy przede wszystkim powiedzieć modelowi wyłuskaj dla mnie te, a nie inne informacjie. Wyłuskać daty czy imiona, raczej jest dość łatwo. Jeżeli chcemy coś specyficznego – to trzeba to zbudować.

Vladimir
Luis umożliwia rozumieć mowę użytkownika w bardziej przyjazny sposób, nie tylko “Jak jest pogoda w Krakowie?”, tylko może zapytać na różne sposoby: “Czy jutro będzie padało?” czy “Jak jutro będzie temperatura?”. Tak jak już podkreślałaś wcześniej, bardzo ważne jest najpierw pokazać Luisowi w jaki sposób on to może rozumieć, czyli przykładowe konwersacjie.

Teraz jeszcze dopytam o języki. Czy Luis również wspiera polski?

Basia
Nie, nie ma… sprawdziłem to też. Jeśli chodzi o języki jest ich dwanaście wspieranych: American English, Canadian French, Italian, Dutch, German, Spanish, Portuguese, Japanese, Chinese. To są języki które wspieramy, ale nie wszystkie mają rozbudowany model jeżeli chodzi o standardową funkcjonalność.

Vladimir
Jeżeli chcesz użyć teraz Luis w języku polskim, to może być dość trudne. Natomiast jest pewne obejście tego i jedna firma tak zrobiła. W piątym odcinku, Tomek Wesołowski opowiadał o Edwardzie (inteligentny asystent sprzedaży). Oni to robią tak, najpierw język polski tłumaczą na angielski, a później już analizują tekst. Tutaj też można było spróbować pójść tym tropem.

Basia
To jest bardzo dobry pomysł. Tłumaczenie z polskiego istnieje i takie rozwiązania też widziałam.

Vladimir
To jest dość sprytne. Trzeba nadal mieć świadomość, że z jednej strony to może zacząć działać, a z drugiej strony w trakcie tłumaczenia potrafimy coś zgubić. Dlatego to bardzo zależy od kontekstu. Trzeba było sprawdzić, na ile taki krok pośredni faktycznie pomaga rozwiązać problem. W przypadku jeżeli konwersja jest dość prosta – to może zadziałać, dla bardziej zaawansowanych przypadków (gdzie są używane różne skomplikowane wyrazy) to może być wyzwanie.

Jeszcze dopytam się o kilka rzeczy logistyczne. Pytanie jest takie z punktu widzenia infrastruktury, taki chatbot jest w stanie odbierać 10 wiadomości dziennie, czy 10 mln wiadomości dziennie? Czy gdzieś pomiędzy? Czy da się skalować to efektywnie?

Basia
Tak jak mówiłam, to jest usługa REST’owa, więc w zależności od tego gdzie i jak będzie hostowane. To już jest rozwiązany problem. To niczym nie różni się od hostowania strony. Nawet powiedziałabym, że to jest o wiele łatwiejsze, bo to tylko tekstowe wiadomości. Nie musimy renderować cały stron, więc skalowanie to jest problem rozwiązany już. Tak najbardziej, może być tysiące czy miliony wiadomości.

Vladimir
To brzmi bardzo ciekawe, zwłaszcza jak agencja marketingowa lub inne firmy które potrzebują uruchomić chatbota w jakiś konkretny dzień kiedy coś tam się dzieje, albo wtedy kiedy awaria się wydarzyła to wtedy trzeba wyskalować od 10 tys. wiadomości do 10 mln. wiadomości. Potem jak tego już nie potrzebują wrócić. Z tego co zrozumiałem jest to wyklikowalne i można zrobić w kilka minut, a może nawet sekund… Zgadzasz się?

Basia
Tak. Jest również wiele rozwiązań które potrafią dynamicznie się dostosować do tego ile mamy użytkowników, którzy pukają do naszych drzwi.

Vladimir
Ok. Nawet nie musimy klikać, system sam się dopasuje do naszych potrzeb. Jeszcze, żeby faktycznie zrozumieć to o czym mówimy przeróbmy przykład. Na początku już wspomniałeś o podobnym. Przykład jest taki. Załóżmy, że mam biznes który dostarcza pizzę. Chcę zrobić możliwość zamówienia pizzy przez chat. Z możliwością wyboru pizzy, rodzaju ciasta, dodatków. Jak wygląda taka konfiguracja i ile czasu to może zająć implementacja?

Basia
To wszystko zależy jaki fault tolerance będziemy mieli, jakiej jakości chcemy mieć naszego chatbota. Pierwsza decyzja która należy podjąć, to gdzie wstawiamy chatbota. Czy to będzie Skype, czy to będzie na naszej stronie. Jeżeli to będzie jeden ze standardowych kanałów, to właściwie jest jedno kliknięcie, jeżeli chodzi o deployment. Na przykład SkyScanner ma takiego chatbot który zbudował razem z Microsoft.

To jest zwykły bot, którego można dodać sobie do znajomych na skype. Ta część, jeżeli chodzi o deployment ona jest raczej dość prosta, no chyba że nie mamy standardowego kanału, to wtedy trzeba go dopisać.

Vladimir
Załóżmy, mamy standardowy kanał. To może być Skype czy na stronie. Potrzebuje w tym przypadku wejść na stronę Microsoft, stworzyć nowego bota, wybrać kanał. Pytanie jest w jaki sposób, mogę mu powiedzieć jakie pizze mam i jak mogę go nauczyć?

Basia
To jest inna część, to jest właśnie ta część która będzie rozmawiać. To jest najbardziej czasochłonna część. Musimy wymyślić scenariusz, jak chcemy żeby ta rozmowa przebiegała.  Myślę, że to jest najbardziej czasochłonna część. Cała reszta jest drugorzędna. Wyobraź sobie, że klient przychodzi do chatbota, wita się, mówi “Dzień dobry, chciałbym zamówić pizzę”.

Teraz musimy się zastanowić, co ten chatbot będzie odpowiadał. Czy on będzie po prostu mówił “Tak. Słucham. Jaką pizzę?”. Co jeżeli użytkownik w pewnym momencie zmieni zdanie, np. będzie chciał dodać jeszcze pizzę bo zapomniał? Czy my będziemy chcieli wrzucić jeszcze jakieś rekomendacje do rozmowy? Patrząc co ten użytkownik w przeszłości zamawiał. Jeżeli chcemy to zrobić bardzo prosto, to możemy zrobić kroki tej konwersacji: główne dania, dodatki i napoje.

Ze zwykłymi pętlami “if” skacząc do specyficznych momentów tej konwersacji. Jeżeli chcemy, żeby to było takie bardziej naturalne to wtedy ten scenariusz, musi być bardziej skomplikowany. Żeby to była jak najbardziej naturalna konwersacja. Cała reszta to jest tak naprawdę zakodowanie kilku “if’ów”. Kodowania w tej kwestii naprawdę nie ma dużo. Tutaj też będzie duża robota, ale ona z chatbotem nie jest związana – zrealizowania zamówienia. Jak już zbierzemy te wszystkie informacje od użytkownika, to musimy napisać coś co do naszego systemu to zamówienia wstawi. Kogoś powiadomi, że ma zrobić tą pizzę i dostarczyć to wszystko.

Vladimir
Podsumowując. Możemy podzielić to na trzy części.

Pierwsza część to jest interfejs, kanały w jaki sposób komunikujemy się z chatbotem. To może być Skype, Facebook Messenger albo strona internetowa. W tym przypadku to robi się bardzo prosto i tutaj nie ma co się martwić.

Druga część, to należy zebrać wszystkie, albo przynajmniej za ostatni miesiąc czy rok, przykładowe dyskusje, w jaki sposób ludzie zamawiają pizzę. I zrozumieć jakie są możliwe kroki. Jeżeli człowiek mówi o tym, to co może być dalej. Na przykład czy następne pytanie będzie o dodatki czy rozmiar pizzy. Przygotować takie drzewa, gdzie można  po nim podróżować podczas konwersacji.

Trzecia część, to jest tak zwana egzekucja. Kiedy już wszystko wiemy, trzeba faktycznie to zrobić. W jakiś sposób zintegrować się z naszym systemem wewnętrznym albo wysłać maila komuś.

Dobrze, wydaje się, że to jest w miarę zrozumiałe na wysokim poziomie. I ta druga część, jest największym wyzwaniem. Drogi czytelniku jeżeli masz już przygotowany scenariusz, to prawdopodobnie przygotowanie chatbota nie będzie dla Ciebie dużym wyzwaniem.

Mam do Ciebie jeszcze takie pytanie. Ten podcast słuchają ludzie, którzy mają wpływ na to, czy użyć uczenia maszynowego czy nie w firmie. Tak jak zawsze to bywa, wszystko co jest nieznane wzbudza wątpliwości (a przynajmniej powinno, bo inaczej wiele błędnych decyzji można podjąć). Pytanie do Ciebie, co doradzisz osobom czy firmom, które wcześniej nigdy nie używali uczenia maszynowego ale mają zamiar to zrobić? Dlaczego warto i na co powinny uważać?

Basia
Po pierwsze, powiedziałabym, żeby uważać na wszelkiego rodzaju konsultantów od machine learning. I to nie oznacza, że konsultanci od machine learning są szarlatanami. Wiem, że są bardzo podekscytowani tym co robią i ta ekscytacja potrafi zamglić wartość biznesową. Wrócę do tego, co mówiłam na początku. Dla firmy najważniejsze jest to, żeby zarabiać pieniądze. Mówię, to jak najbardziej uczciwie, bo właśnie to firmy robią. Jeżeli celem firmy jest nauka i rozwój pracowników, wtedy prostu należy w to wejść, spróbować nowych rzeczy.

Natomiast, jeżeli myślimy pod kątem, co tam nam może dać, czyli tej firmie (w sensie pieniędzy). Należy bardzo ostrożnie do tego podejść. Ponieważ uczenie maszynowe to jest proces który bierze nasze dane historyczne i będzie potrafiło przewidzieć coś w przyszłości dla nas. Należy popracować nad zadaniem tego pytania. Co my chcemy zmienić w naszej firmie. Na przykład chcemy się skupić na sprzedaży i chcemy je ulepszyć. Co to oznacza ulepszyć? Mamy jakieś podejrzenie, że zmiana tego – zmieni to. Skupić się na tym pytaniu biznesowym. Co my chcemy przewidzieć w przyszłości. Wtedy, jeżeli mamy takie pytanie, albo pracujemy razem z Data Scientist nad sformułowaniem tego pytania. To myślę, że machine learning tutaj ma bardzo dużo do zaoferowania.

Jak to już będzie stworzone, jak przebiegnie ta cała egzekucja całego tego programu czy projekt, to już jest sprawa drugorzędna. Tutaj naprawdę podkreślam po raz kolejny, że machine learning bazuje się na danych historycznych, a one mogą nam powiedzieć na temat trendów oraz przyszłości. Trzeba się zastanowić, co to może być. Przeanalizować te dane. Czasami jak się analizuje te dane, to pytania stają się bardzo wyraźne albo nagle nam wpada do głowy następne pytanie. Myślę, że należy zatrudnić kogoś, kto na danych się zna, ale skupiać się na wartości biznesowej. Dobrze by było, żeby osoba od danych pracowała razem z osobą która zna się na tej konkretnej domenie biznesowej. Wie z czym to się je. Jak dwie osoby będą pracować razem to wtedy “the sky is the limit”.

Vladimir
Najpierw zrozumieć problem który chcemy rozwiązać, a potem znaleźć narzędzia. Uczenie maszynowe jest potężnym narzędziem, ale to też nie jest magia. Jeżeli chcemy po prostu użyć uczenia maszynowe, nie wiedząc co chcemy ulepszyć, to raczej nic z tego nie wyjdzie.

Basia
Coś wyjdzie. Użyjesz którąś z usług albo biblioteki jakieś cyferki wyjdą, tylko pytanie jest, czy to będzie miała jakikolwiek sens :)?

Vladimir
Dokładnie. Może wyjść coś, czego kompletnie się nie spodziewamy. Bo zawsze się spodziewamy ulepszyć nasz biznes, a nie tylko użyć modnej technologii, która nic nam nie daje z punktu widzenia korzyści dla biznesu.

Kolejne pytanie, jaką widzisz przyszłość AI lub sztucznej inteligencji i jak nasz świat może wyglądać za 20 a może nawet i 10 lat?

Basia
Masz na myśli, to co nam te różne filmy sprzedają, że maszyny będą nami władać? To jest możliwe, ale nie powiedziałabym, że w przeciągu 10 czy 20 lat. Co ja widzę w tym momencie, jaki jest trend. Wiele rzeczy będzie zautomatyzowane, ale ja myślę o tym w dobry sposób. Mimo że automatyzacja, może powodować krótkoterminowe frustracje. Na przykład jak zautomatyzujemy linię produkcyjną, to wtedy ludzie stracą pracę. Jednak to zawsze jest dobre dla technologii i ogólnie dla cywilizacji.

Takie mam wrażenie. Ponieważ ja w to wierzę, jeżeli przestaniemy jako ludzie wykonywać powtarzalne rzeczy, które mogą być zautomatyzowane, to możemy się skupić na rzeczach fajnych które sprawiają nam przyjemność, które dotyczą kreatywności. Właściwie na tym, na czym polega ludzkość. Co mogą ludzi dodać od siebie, nie pracując jako maszyny.

Vladimir
Bardzo miło mi jest to słyszeć. Nie umawialiśmy w żaden sposób z Basią, żeby ona powiedziała dokładnie to, o czym mówiłem kilka odcinków temu. Bardzo mnie cieszy, że Basia ma podobną opinie. Też trzymam kciuki, żeby faktycznie tak się stało. Po pierwsze uczenie maszynowe albo tak zwana sztuczna inteligencja pomogła nam wyeliminować tę pracę rutynową. A po drugie, żebyśmy my jako ludzkość skupili się na bardziej kreatywnych, bardziej otwartych pytaniach, wyzwaniach, niż tylko chodzenie do pracy od 8 do 5. Bardzo przyjemnie mi jest to słyszeć.

Na swoim blogu wspominałaś, że chcesz stworzyć cykl artykułów dla osób które mają doświadczenie w oprogramowaniu, a chcą zmienić kierunek w stronę tak zwanego data science. Również wspominałaś o warsztatach. Podziel się swoimi planami na przyszłość?

Basia
Jestem w trakcie pisania, ale inne obowiązki jak konferencje i inne nie pozwoliły mi robić to tak szybko jak się chce. Natomiast tak, myślę, że za niedługo otworzę swoją własną firmę konsultacyjną. Chciałbym się skupić na edukacji. Żeby jakoś okiełznać to morze lub nawet ocean różnego rodzaju kursów, informacji dotyczących machine learning i AI. Ponieważ, przez to przechodziłam i chciałbym, żeby to istniało na początku mojej drogi.

Zacznę od podstaw, bo uważam, że wbrew temu że wiele stron w internecie mówi. Chcę zacząć od podstaw, jak użyć różnych bibliotek, różnych algorytmów do tego, żeby rozpoznać i zastosować je do takich typowych zbiorów danych. Przejdę również do takich zbiorów danych które są bardziej interesujące, które zazwyczaj są bardziej skomplikowane i wymagają większej wiedzy.

Nie jestem zwolennikiem tego, żeby wyrzucić kogoś na głęboką wodę, żeby wtedy szybciej się nauczył. Wiem, że człowiek może naprawdę zatonąć jeśli nie umie pływać. Można się zniechęcić jeżeli projekt jest za trudny. Chciałbym budować te umiejętności stopniowo. Zaczynając od prostych ale konkretnych rzeczy. Chciałbym, żeby to wszystko było oparte na kodzie, a nie opowiadaniu historii. Będzie to trochę mieszanka, zarówno R jak i Python.  Teraz na przykład tensorflow jest bardzo interesującą biblioteką i używaną w języku Python.

Jeżeli chodzi o warsztaty. Mam gotowy warsztat “Machine Learning in R”, również ma warsztat który tłumaczy czym jest machine learning. Ten warsztat bazuje się na Azure Machine Learning. To jest jedna z technologii w chmurze Azure.

Mam też warsztat, który uczy jak korzystać z Bot Framework. I tam będę uczyć jak zbudować chatbot. Nie wiem, czy oglądałeś IT Crowd tam jest taka “Answering machine”. Jak ktokolwiek dzwoni do supportu, to ta maszyna ciąglę odpowiada: “Have you try to turn on and off again”. Coś takie zasymulować, taki dzień lub dwa. Żeby od początku nie mając nic, co taką konwersacje poprawdzi.  Tam będą elementy Bot Framework i Luis.

Takie trzy tematy mam w tym momencie.

Vladimir
To brzmi bardzo ambitnie. Trzymam kciuki, żeby Ci się udało. Oglądałem przynajmniej dwie prezentacje. Jedna z nich była o języku R i według mnie bardzo fajnie Ci to idzie. Jeszcze raz, trzymam kciuki i mam nadzieje, że wszystko Ci się uda.

Basia
Dziękuję.

Vladimir
Ostatnie pytanie na dzisiaj. Jeżeli ktoś będzie chciał z Tobą skontaktować się, to jak to może zrobić?

Basia
To jest bardzo proste –  barbara <małpka> fusinska.com. Jestem na twiterze. Mam oprócz tego gmail: barbara.fusinska <małpka> gmail.com. Jestem jedyną osobą na świecie który ma takie imię i nazwisko. Przynajmniej w internecie. Jeżeli ktoś mnie wygugluje, to jestem na pewno ja.

Vladimir
Dziękuję Ci bardzo za Twój czas.

Co myślisz o tym co powiedziała Basia? Basia zwracała szczególną uwagę, na to, że nawet wtedy, gdy jest ktoś kto rozwiązuje nasze problemy związane z uczeniem maszynowym, takie jak moc obliczeniowa, skalowalność, wytrenowane modele to nadal zdrowy rozsądek trzeba mieć, żeby potrafić to użyć. Należy uświadomić sobie, że dane mają naprawdę duży wpływ na rozwiązanie.

Dla mnie było ta rozmowa ciekawa, bo myślę, że podobne platformy to jest jeden z kierunków który w przyszłości pomoże używać uczenia maszynowego na większych obrotach. Są inne platformy i mam plan również podzielić się z Tobą wiedzą na ten temat.

Podziękowania

Zacznę od komentarzy na itunes, bo są tam dwa z pięcioma gwiazdkami – co mnie bardzo cieszy. Jeden jest od osoby z Białorusi z Brześcia. Dziękuję Ci brest_by. A drugi jest od Donald Trąba który napisał “Warto! Ciekawy podcast”. Dzięki wielkie, bardzo mi miło to słyszeć i czerpać z tego energię, żeby kontynuować to co robię. Podziel się swoją opinią, dla Ciebie to jest dosłownie minuta, a zrobisz dwie dobre rzeczy: osoby które będą potrzebować tego podcastu, będą mogły to zrobić łatwiej, bo tak działa wyszukiwarka w itunes. A po drugie, naładujesz moją baterię. Z góry dziękuję.

Dziękuję również za maile które dostaję i gdzie staram się pomóc. Zacytuję jeden z maili, a właściwe jego końcówkę:  Vladimir robisz świetną robotę. Tak trzymać i proszę kontynuuj nagrywać swój podcast. Świat naprawdę potrzebuje takich ludzi jak ty. Bardzo dziękuję Ci Krzysiek, za takie słowa.

Dzięki również za retweety i udostępniania na facebooku.

Jeszcze jedna rzecz, która może być ciekawa dla Ciebie. W zeszłym tygodniu został opublikowany odcinek: doradca finansowy ze sztuczną inteligencją. Gorąco polecam do wysłuchania. Również przy okazji pozdrawiam i dziękuję Marcinowi Iwuciowi. Bardzo przyjemnie się z nim rozmawiało i jego sposób myślenia (również już w prywatnych rozmowach) pokazuje, że myślę o tym jak pomóc ludziom, a nie być konsumentom. Bardzo bliskie jest mi takie podejście… i dlatego tak inspirujące.

Kilka dobrych wieści na koniec.

W sobotę, 17 czerwca, odbędzie się konferencja Polcaster. To już jest trzecia edycja i bardzo polecam odwiedzić ją osobom, które zamierzają uruchomić swój własny podcast albo już go mają. Będę miał również wykład – opowiem o wyzwaniach które miałem kiedy zaczynałem tworzyć Biznes Myśli i jak je pokonałem. Jeżeli masz czas, chcesz się spotkać ze mną to gorąco zapraszam. Wstęp jest bezpłatny, wymagana jest jedynie rejestracja. Do zobaczenia.

Już wspomniałem wcześniej o mojej innej inicjatywie Data Workshop. To są warsztaty gdzie pokazuję jak zacząć używać uczenie maszynowe w praktyce, bez żadnych studiów doktoranckich. Celem jest pokazać jak rozwiązać realny problem po linii najmniejszego oporu. Uczenie maszynowe jest bardzo złożonym tematem i zrozumieć wszystkiego po prostu się nie da, ale zrozumieć jak to używać – jak najbardziej. Dlaczego o tym mówię? Przy współpracę z organizatorami konferencji Chat Bot Summit udało się dostać zniżkę na konferencję która odbędzie się w Berlinie 26 czerwca. Zniżka to 20%, wystarczy wpisać promokod „dataworkshop20” bez żadnych spacji wszystko z małej litery. Proszę daj znać jeżeli zdecydujesz się tam wybrać.

To tyle na dzisiaj. Dziękuję Ci bardzo za Twój czas i energię.

Książka polecana przez gościa

Artykuł Rozmowa z Barbarą Fusińską – Data Solution Architect w Microsoft pochodzi z serwisu Biznes Myśli.