Z tego odcinka dowiesz się:

• czym zajmuje się Łukasz Siatka,
• co to jest to TPU i jakie problemy rozwiązuje,
• czy TPU ma przewagę nad GPU,
• jak w praktyce wykorzystywane jest TPU,
• co zrobić, żeby wejść w świat deep learningu,
• kiedy opłaca się kupować własną kartę, a kiedy lepiej przejść na chmurę,
• na czym polega rola sound engineera,
• jakie są największe wyzwania w uczeniu maszynowym,
• które obszary w uczeniu maszynowym rozwijają się najszybciej,
• jak wdrożyć uczenie maszynowe w swoim biznesie,
• czym zajmuje się organizacja Machine Learning Study Group,
• jakie są stanowiska w Facebooku, czy podobnej wielkości firmach, związane z uczeniem maszynowym i analizą, jakich kompetencji wymagają,
• od czego zacząć naukę uczenia maszynowego i gdzie się uczyć.

Google już rok temu zapowiedział strategię AI First. Zabrał się za to na poważnie, ilość projektów, który w ten czy inny sposób wykorzystują uczenie maszynowe rośnie w postępie wykładniczym. Nie tylko Google, ale również inne firmy działają podobnie. Na ostatniej konferencji Google IO CEO Google Sundar Pichai zaprezentował tzw. Google Duplex. Bardzo polecam obejrzenie krótkiego wideo.

https://www.youtube.com/watch?v=bd1mEm2Fy08

Idea jest prosta: mamy wirtualnego asystenta, w tym przypadku jest to Google Assistant, który będzie robił coraz więcej za Ciebie, w końcu jest asystentem. Może na przykład zarezerwować wizytę u fryzjera, czy stolik w restauracji. Ta rozmowa była bardzo ciekawa, nie trywialna, w szczególności jeżeli chodzi o restaurację. Można z niej wyciągnąć taki wniosek, że po pierwsze: Google Assistant próbuje udawać człowieka, by ten, kto odbierze nie czuł, że dzwoni bot, po drugie: staje się coraz bardziej intelektualny, czyli fajnie łapie kontekst, udaje mu się zadawać fajne pytania, które zależą od tego, co usłyszy od rozmówcy, po trzecie: może się wydarzyć, że po obu stronach będą boty, które będą udawać ludzi – brzmi to ciekawie, ale jest możliwe.

Nagrałem już odcinek, który więcej mówi o asystentach i jak to może zmienić naszą przyszłość. Myślę, że jest to kwestia czasu, być może 5 lat, może troszkę więcej. Tacy asystenci zaczną wchodzić w nasze życie i staną się na tyle powszechni, że już po jakimś krótkim czasie nie będziemy w stanie wyobrazić sobie życia bez takich asystentów. Podobnie mamy teraz z komórkami, kto jeszcze 10 lat temu nie mógł przeżyć bez komórki, a jak to jest teraz? No właśnie.

Dzisiaj chciałem szerzej poruszyć temat infrastruktury, również zająć się Google. Już dawno temu chciałem zaprosić Łukasza, który jest dzisiejszym gościem, jednak pewne ograniczenia, nie do końca zależne od Łukasza, spowodowały, że trochę się to przeciągnęło w czasie. Dobra wiadomość jest taka, że udało się nam spotkać i nagrać odcinek. Łukasz wcześniej pracował w Google, teraz pracuje w Facebooku, wykonuje wiele różnych ciekawych rzeczy, dla mnie jest taką skrzynką pełną wiedzy, bo potrafi odpowiedzieć na wszystkie pytania. Być może ma jakieś limity, ale jak na razie nie udało mi się go zaskoczyć, jego wiedza jest tak szeroka, że nasze rozmowy mogłyby trwać wieczność.

Co jakiś czas mamy okazję wspólnie działać na różnych eventach, hackatonach i są to zawsze bardzo inspirujące spotkania i rozmowy, dlatego pomyślałem, że fajnie byłoby zaprosić Łukasza, żeby podzielić się z większym gronem. Ta rozmowa była momentami bardzo techniczna, ale się nie przerażajcie, bo było również sporo wskazówek biznesowych, jak i edukacyjnych, czyli jak się zabrać do uczenia maszynowego.

Cześć Łukaszu. Przedstaw się, kim jesteś, czym się zajmujesz, gdzie mieszkasz?

Cześć. Jestem Łukasz, mieszkam w Krakowie, ale sporo podróżuję. Zawodowo łączę kropki, czyli zmieniam świat upraszczając procesy, tworząc nowe, wdrażając innowacyjne technologie do branż odległych od informatyki i mało podatnych do tej pory na automatyzację. Dosyć często wywracam też ludzkie życie do góry nogami, czyli uczę ludzi zadawać pytania – aktualnie jestem w Facebooku, ale współpracuje też z firmą Lonsley, która wdraża innowacyjne rozwiązania z zakresu uczenia maszynowego i sztucznej inteligencji w wielu średniej wielkości firmach i korporacjach.

Bardzo dziękuję Łukaszu, że znalazłeś chwilę, żeby porozmawiać. Myślę, że to będzie bardzo interesująca rozmowa – zacznę od standardowego pytania: co ostatnio czytałeś?

Czytam dużo – może to się wydawać dość dziwne w kontekście aktualnego trendu, ale przeważająca większość treści, które konsumuję to publikacje naukowe. Ostatnie trzy, które czytałem w minionym tygodniu i które uznałem za warte uwagi, to przede wszystkim „Exploration by Distribution Reinforcement Learning” to publikacja autorstwa Yunhao Tang, Shipra Agrawal. Autorzy prezentują w niej dość ciekawe podejście do tematu rozproszonego uczenia ze wzmacnianiem, czyli „reinforcement learning” i w tej publikacji korzystają z wnioskowanie bayesowskiego w połączeniu z głębokim uczeniem ze wzmacnianiem, czyli deep reinforcement learning.

Drugą publikacją, którą ostatnio czytałem jest „Multimodal Machine Translation with Reinforcement Learning”, która powstała na Carnegie Mellon University w Stanach Zjednoczonych. W tej publikacji autorzy pokazują podejście do multimodalnego tłumaczenia maszynowego, które korzysta nie tylko z tekstu, ale i z obrazu. Autorzy sprawdzają ich algorytm na zbiorze Multi30K, który zawiera opisy obrazków po angielsku i niemiecku, ale też korzystają ze zbioru Flickr30K, który zawiera same obrazki.

Model ten przyjmuje dwa kanały wejściowe – jeden z obrazem, jeden z tekstem i używa metryk ewaluacji translacji jako nagrody, uzyskując lepsze wyniki niż tradycyjne metody uczenia nadzorowanego.

Trzecią publikacją, którą ostatnio czytałem jest „Zero-Shot Visual Imitation” autorstwa kilku specjalistów z UC Berkeley z Kalifornii. Oni przedstawiają, że aktualnie dominujący paradygmat uczenia się naśladowania, czyli tego imitation learning, bardzo mocno zależy od nadzoru przez eksperta, który kieruje tego agenta uczącego się, czego i w jaki sposób ma się uczyć naśladować. W tej publikacji przedstawione zostało alternatywne podejście, które bazuje na tym, że agent uczący się, sam eksploruje najpierw świat bez jakiegokolwiek nadzoru, a dopiero potem dokłada nową politykę wykonywania akcji, a rolą eksperta w tym wszystkim jest jedynie komunikacja oczekiwań w trakcie działania programu.

Bardzo fajne publikacje – dość mocno techniczne. Myślę, że część osób będzie bardzo zainteresowana, postaram się podlinkować te publikacje w notatkach. Pracowałeś wcześniej w Google, czym się tam zajmowałeś? Oczywiście opowiedz tylko o tym, o czym możesz powiedzieć, bo wiem, że same ciekawe rzeczy robiłeś.

Przez ten czas miałem przyjemność działać z wieloma wspaniałymi ludźmi z kilku zespołów – mogę wręcz powiedzieć, że robiłem praktycznie wszystko. Organizowałem wydarzenia, zarządzałem projektami nietechnicznymi, byłem technicznym project managerem, zajmowałem się też akustyką pomieszczeń na wydarzeniach, pracowałem nad kilkoma projektami związanymi z przetwarzaniem audio. Miałem też przyjemność prowadzić kilka eksperymentów związanych z nowoczesnymi metodami przetwarzania dźwięku, jak i pracować nad produktem w zespołach z kategorii ATAP, czyli Advanced Technology and Projects – pracujących między innymi nad Soli i TPU.

TPU to akcelerator obliczeniowy, który zaprojektowany został do wydajnego wykonywania operacji na tensorach, przez co świetnie sprawdza się w wielu kwestiach związanych z uczeniem maszynowym.

Zaś Soli to taki specyficzny interfejs, pozwalający na bezdotykową interakcję, która bazuje na gestach. Układ ten emituje fale elektromagnetyczne, a przedmioty, które znajdują się w zasięgu tych fal, rozpraszają tę energię – część z niej odbijają w stronę anteny czegoś, co roboczo możemy nazwać radarem. Przetwarzane są wszystkie właściwości tego sygnału, między innymi niesiona energia, opóźnienie – analizowane też są przesunięcie fazowe czy poziom modulacji częstotliwości. Mając te informacje, możemy odczytać wiele parametrów na temat obiektów, jak ich charakterystykę, dynamikę, wliczając w to kształt, rozmiar, materiał z którego są zbudowane, orientację, odległość i szybkość przemieszczania się.

Soli ma przede wszystkim zastosowanie w technologiach ubieralnych, czyli wearables, czy też w szeroko pojętym internecie rzeczy zwanym roboczo IOT. Dzięki Soli urządzenia takie jak na przykład Twój telefon, będą mogły być spokojnie w kieszeni, a Ty będziesz mógł sterować tym urządzeniem, wykonując gesty w powietrzu albo chwytając się za guzik w płaszczu. Soli w połączeniu z rozszerzoną rzeczywistością pozwala na tworzenie nowych interfejsów – interfejsów przyszłości klasy człowiek-komputer.

Pociągnę ten wątek dalej, zwłaszcza, jeżeli chodzi TPU, ale najpierw dodam trochę kontekstu – jest bardzo dużo newsów o tym, jak sztuczna inteligencja osiąga kolejne sukcesy i zawdzięczamy to przede wszystkim deep learningowi.

Jest wiele wyzwań – między innymi potrzebne są dane. Drugie wyzwanie jest takie, że potrzebna jest moc obliczeniowa. Myślę, że wiele osób kojarzy karty graficzne GPU w Nvidii i zwykle to się wprost kojarzy się z tym, że trzeba kupować karty graficzne.

Natomiast Google wprowadził nowy alternatywny produkt – to jest właśnie TPU. Czy mógłbyś wyjaśnić, tak bardzo upraszczając, czym jest to TPU i dlaczego została stworzone, jaki ma rozwiązać problem?

TPU jest akceleratorem obliczeniowym, który został zaprojektowany do wydajnego wykonywania operacji na tensorach, czyli wektorach w reprezentacji macierzowej, przez co świetnie sprawdza się w wielu kwestiach związanych z uczeniem maszynowym. Ze względu na to, że jest to układ projektowany tylko i wyłącznie do wykonywania tych operacji, a nie jak w przypadku na przykład procesorów czy kart graficznych, które pojawiały się wcześniej w machine learningu czy w deep learningu, ma on świetną wydajność i efektywność prądową – niedawno wyszła już trzecia rewizja tego układu i jest około 50 razy bardziej wydajna od układów GPU porównując topowe układy, licząc układ w układ. Jest przy tym ponad 100-krotnie bardziej wydajna per wat zużytej energii, a w stosunku do CPU, ta różnica jest jeszcze większa.

Początki TPU sięgają okolic 2005-2006 roku – wtedy kilka zespołów w Google’u rozpoczęło pracę nad układami wspierającymi obliczenia.

Projektowanie układów ASIC zazwyczaj trwa latami i nie inaczej było tutaj – premiera była planowana na okolicę roku 2020, a gdy na przełomie roku 2012 i 2013 było jasne. że taki układ musi powstać możliwie szybko, by firma była w stanie uniknąć wielomiliardowych wydatków związanych z rosnącym zapotrzebowaniem na moc obliczeniową i związaną z tym dodatkowo infrastrukturą, która byłaby konieczna, zdecydowano się rozszerzyć zespół i rozpocząć pracę nad układem, który miał za zadanie bardzo szybko wykonywać operacje niskiej precyzji, dokładnie 8-bitowe, na macierzach. Mimo niskiego taktowania ten układ bardzo dobrze sobie radzi. Już w drugiej połowie 2014 roku, po około 15-17 miesiącach pracy, pojawiło się coś, co nazywamy TPU pierwszej generacji.

Zostało przedstawione na Google I/O dopiero w 2016 roku, jako element obecny w infrastrukturze firmy od ponad roku. Wszystko co dalej, to tak naprawdę tylko konsekwentny rozwój istniejącego produktu – nie jest to też oczywiście jedyny tego typu produkt, bo Google, czy też teraz Alphabet, rozwija też układy do efektywnego przetwarzania sieci neuronowych, grafów, jak i układy do kryptografii.

Z grubsza uczenie maszynowe ma dwie fazy, dwa procesy. Pierwszy jest, kiedy model trenujemy – to jest zwykle bardzo czasochłonne, a drugi, kiedy robimy predykcję. Pamiętam jak mniej więcej 2 lata temu byłem na konferencji, w trakcie której występował przedstawiciel Nvidii i opowiadał o karcie graficznej GPU, no i musiało paść oczywiście pytanie o TPU, co oni o tym myślą, czy to oznacza, że teraz przegrywają.

Wtedy to była pierwsza generacja dostępna w tamtych czasach publicznie i człowiek z Nvidii odpowiedział, że TPU pierwszej generacji jest lepsza w tej drugiej fazie, czyli kiedy robimy predykcję, ale gorsza w tej pierwszej, kiedy trenujemy. Google podobnie odpowiedział w temacie wersji drugiej TPU, że tam zostało to dość mocno zoptymalizowane. Powiedz, jak to widzisz, czy teraz TPU wygrywa w dwóch fazach?

Przede wszystkim jest to układ, który nie musi mieć przeznaczonych bloków do tego, by przetwarzać grafikę. TPU zajmuje się tylko i wyłącznie przetwarzaniem informacji wektorowych, co zawdzięcza też odpowiedniej architekturze i dzięki temu można redukować zużycie energii i poprawiać wydajność w obliczeniach niskiej precyzji.

TPU to też nie jest akcelerator, który ma za zadanie liczyć coś na przykład w 32 bitach czy w 16, on został zaprojektowany do tego, by mieć maksymalnie dobrą wydajność w obliczeniach niskiej precyzji właśnie w 8 bitach. Poza tym trzeba też zwrócić uwagę na to, że przedstawiciel danej firmy nie jest w stanie wypowiadać się krytycznie o produkcie, który oferuje jego firma, bo wtedy można byłoby go określić jako kiepskiego sprzedawcę.

Nawet jeżeli porównamy na przykład TPU drugiej generacji z GPU z rodziny Pascal albo chociażby TPU trzeciej generacji z GPU z nadchodzących rodzin Volta albo Turing i Ampere sytuacja nie ulega zmianie. Przewaga TPU czy też generalnie dedykowanych układów do obliczeń jest ponad 50-krotna nad rozwiązaniami GPU. Warto też wspomnieć, że tak naprawdę Google nie jest jedyną firmą, która zajmuje się tworzeniem rozwiązań do obliczeń, zarówno Amazon, jak i Facebook również pracują nad swoimi układami.

Facebook swego czasu współpracował z Nervana Systems nad układem, który miał efektywnie przetwarzać konwolucyjne sieci neuronowe i działało to całkiem dobrze, aczkolwiek żaden inny framework poza Neonem, który został stworzony przez Nervana Systems, nie dorobił się porządnego wsparcia dla tych układów. Ze względu na niską popularność Neona można się domyślać, co faktycznie działo się z tymi układami.

Jest też między innymi Adapteva, która tworzy swoje rozwiązania przy współpracy z DARPA, ale na tym rynku jest też Intel, który nie tylko pracował nad swoimi rozwiązaniami przez lata, ale posiada też takowe, które za wiele miliardów dolarów przejął wraz z zakupem firm takich jak na przykład Movidius, który tworzy niesamowicie wydajne układy pod computer vision, które osiągają wydajność nawet 150 gigaflopów na wat, jak i Mobily, który jest izraelskim start-upem, który tworzył układy pod computer vision – są one montowane w autonomicznych pojazdach jako asystenci dla kierowcy, czy też chociażby Nervana, którą Intel nie tak dawno przejął. Inne firmy takie jaka IBM czy Tesla także pracują nad swoimi układami z większym lub mniejszym skutkiem.

Przechodząc teraz trochę na warstwę bardziej praktyczną, bo TPU jest bardzo ciekawym rozwiązaniem, którym warto się zainteresować, podobnie jak słynne AlphaGo, który wygrał z mistrzem go i był trenowany na TPU. SEO DeepMind Demis Hassabis napisał na Twitterze, że TPU hardware, na którym był trenowany AlphaGo, teraz jest dostępny dla każdego.

Co prawda nie jest aż tak łatwo powtórzyć ten sam wynik, bo w publikacji nie są podane wszystkie szczegóły (Alpha Go i Alpha Go Zero), ale mniejsza o to. Bardziej mnie interesuje, czy kojarzysz takie przykłady z życia wzięte, oprócz AlphaGo, kiedy TPU naprawdę się sprawdził.

Z pewnością mogą to być na przykład szachy z projektu AlphaZero, który był następcą AlphaGo. Jednakże TPU było bardzo szeroko wykorzystywane na pewnym etapie przy trenowaniu modelu dla asysty kierowcy, a wręcz do tworzenia autonomicznego pojazdu.

Generalnie TPU wykorzystywany jest w większości prac badawczych korzystających na przykład z sieci konwolucyjnych, wielowarstwowych perceptronów, czy też tak zwanych LSTM-ów, czyli Long Short-Term Memory Networks.

Jest bardzo fajna prezentacja z 2017 roku, która zawiera więcej szczegółów technicznych, zalinkuję ją w notatkach dla osób zainteresowanych. 

Bardzo mnie interesuje trzy, może pięć takich praktycznych porad dla osób, które chcą wejść w świat deep learningu. Na co powinny zwracać uwagę. Niekoniecznie muszą być to rady techniczne, spróbuj to jakoś powiązać z biznesem, bo wiele osób z biznesu nas słucha.

Pierwsza porada: dobieraj odpowiednie narzędzia do konkretnego zadania, potrzeby czy też strategii w pracy, nie warto zamykać się na jedną technologię czy narzędzie, dlatego że korzystając z wielu z nich, oszczędzasz przede wszystkim czas, ale też pieniądze.

Druga porada jest taka: pamiętaj, że twoje dane są co najmniej tak samo ważne jak pieniądze, dziel tworzone przez siebie rozwiązania na mniejsze części, a te części uruchamiaj w osobnych kontenerach, które mogą być zarządzane przez systemy orchestracyjne typu kubernetes. Pamiętaj o tym, by każdą z tych części, którą wydzielisz z projektu, osobno monitorować, będzie ci znacznie łatwiej lokalizować błędy i je rozwiązywać, w szczególności na etapie skalowania projektu.

A trzecia porada, jest taka, że nie warto komplikować zbytnio swoich modeli, znacznie bardziej istotne jest dobranie odpowiedniego zbioru treningowego niż dostrajanie modelu, im bardziej skomplikowany jest twój model, tym większe problemy napotkasz na etapie skalowania, jak to mówią simplicity is the key.

Dostaję bardzo często pytanie, na które nie ma prostej odpowiedzi i teraz z przyjemnością przekieruję je do Ciebie. Może warto dodać, że TPU jest dostępne tylko jako usługa, czyli Google nie sprzedaje TPU jako sprzęt, jest dostępne na Google Cloud. Co jest lepsze, zainwestować i kupić swoją kartę czy jednak wynajmować ją w chmurze. To pytanie jest dość ogólne, prawdopodobnie ta odpowiedź brzmi: to zależy. Czy mógłbyś wskazać, kiedy opłaca się kupować własną kartę, a kiedy opłaca się przejść na chmurę.

Z jednej strony powiedziałbym, że zawsze, ale taka naprawdę trudno jest zająć jednoznaczne stanowisko w tym temacie, wszystko zależy od tego, czym dokładnie się zajmujesz i w jaki sposób korzystasz z zasobów. Na podstawie tych informacji trzeba przekalkulować, kiedy warto wybrać jedną czy drugą opcję i przerzucić się wtedy, gdy coś w aktualnej infrastrukturze Cię ogranicza, a ta inna opcja faktycznie to daje.

W czasach, gdy możemy wynajmować sprzęt na godziny, a czasami nawet na sekundy, posiadanie własnego sprzętu w niektórych przypadkach mija się z celem. Powoli nasze urządzenia stają się wyłącznie terminalami do pracy w swego rodzaju środowisku rozproszonym dostępnym w chmurze.

Z pewnością jednak polecam posiadanie własnych układów obliczeniowych wszelkim osobom i firmom, które przetwarzają delikatne dane, czyli takie, które nie mogą opuszczać data center na przykład ze względu na rozporządzenia typu RODO czy w Europie – GDPR.

To chyba jeden z najistotniejszych argumentów, kiedy opłaca się trzymać ten sprzęt lokalnie, bo jeżeli chodzi o koszt karty, to czasami nie bierze się pod uwagę kosztów ukrytych, jak rachunek za prąd. Ta karta również się starzeje, kiedyś się popsuje albo będzie mniej atrakcyjna, bo będzie można wynająć coś lepszego.

Już na tym etapie tak naprawdę można przejść kompletnie na wynajem sprzętu z tego powodu, że cena jego jest de facto na granicy opłacalności między zakupem a wynajmem, więc docieramy do momentu, w którym możemy faktycznie mieć ten sprzęt fizycznie u siebie, ale musimy zajmować się nim sami, czyli mamy sprawy związane z opłatami, z administracją sprzętem, musimy się przejmować softwarem, versus możemy wybrać wygodę i korzystać na przykład z platformy w chmurze.

Przy czym istotne jest to, że dopóki nie liczymy 24 godziny na dobę przez na przykład dziewięć-dziesięć miesięcy w roku, to tak naprawdę jednostki obliczeniowe w chmurze, w takiej powiedzmy podstawowej konfiguracji, w zupełności wystarczają. Tak jak wspomniałeś, sprzęt też się starzeje i gdy korzystamy ze sprzętu w chmurze, nie interesuje nas wymiana, jeżeli coś się zepsuje, też nie przerywamy obliczeń, tylko uruchamiamy nasz kontener z aplikacją na jakimś innym klastrze.

Zgadzam się z tym, że koszt staje się coraz mniejszy. Google Cloud oferuje dwukrotnie niższy koszt niż Amazon, więc to GPU staje się naprawdę tanie, ale jest jeszcze taka inna szkoła, która mówi, że tak naprawdę możesz wynająć więcej CPU.

Na dzień dzisiejszy Google Cloud umożliwia 96 rdzeni w wersji dla zwykłego zjadacza chleba. Idea jest taka, że odpalasz swój algorytm na procesorach, tutaj co prawda są pewne triki, że przy większej ilości CPU to nie robi się aż takie wydajne, ale bardzo jestem ciekawy Twojej opinii. Do notatek dołączę link do artykułu, który ten temat porusza. Co o tym myślisz?

Odpowiedź jest bardzo prosta i brzmi dokładnie „to zależy” i tak naprawdę zależy od tego, czym się zajmujesz. Jeżeli korzystasz wyłącznie z modeli sekwencyjnych typu rekurencyjne sieci neuronowe, gdy zajmujesz się na przykład przetwarzaniem języka naturalnego, to oczywiście nie ma sensu inwestować w GPU, dlatego że zdecydowanie lepszym wyjściem jest inwestycja w CPU. GPU są dobre tam, gdzie możemy zrównoleglić obliczenia, a modele sekwencyjne zdecydowanie nie są takim elementem.

W kwestii skalowalności istotnym czynnikiem jest parametr, względem którego chcemy optymalizować to, co robimy. Jeśli przetwarzamy obrazy czy też jakieś informacje wektorowe, macierzowe, to inwestycja w GPU pozwala na optymalizację względem zasobu, który jest najbardziej ograniczony, czyli czas. Jeśli dzięki dodatkowym 200$ rocznie uzyskasz efekt w postaci redukcji czasu trwania obliczeń z jednego roku do 10 miesięcy, to chyba się to opłaca, mimo że wydasz więcej.

Google Cloud oferuje jeszcze kilka innych możliwości na trenowanie modelu. Na przykład jest dostępny ML Engine, który sam osobiście stosuję. Na początku to było bardziej TensorFlow, teraz już można trenować właściwie wszystko, włączając XGBoost.

Mało, że można trenować, można też publikować, nie martwiąc się o dostępność serwera – to już jest problem Google. Czy w usługach ML Engine i Auto ML pod spodem jest TPU?

TPU zasila znaczącą większość usług Google – na przykład search, ale tak naprawdę nie jest jedynym typem akceleratora, który jest pod spodem tychże usług, jest ich znacznie więcej. Znajduje się on także pod
ML Engine i Auto ML, ale to, czy zostanie on uruchomiony, zależy od dodatkowego systemu, który tym wszystkim steruje, dlatego że to on estymuje, ile obliczeń będzie potrzebnych, żeby wykonać konkretne zadanie i to właśnie ten system sprawi, że zostanie wybrane rozwiązanie, które wykona dany task najbardziej efektywnie.

Wspomniałeś już, że pracowałeś jako sound engineer, może najpierw wyjaśnij, na czym polega ta rola.

Jako sound engineer, czyli po polsku inżynier dźwięku, chociaż tak naprawdę nie jest to związane z polskim określeniem inżynier dźwięku, pracowałem nad dźwiękiem w wielu płaszczyznach, między innymi tworząc audio do kilku gier. Główną część mojej pracy stanowiła współpraca z artystami i ich managementami, pracowałem z artystami jako ich ghost producer, czyli tworzyłem muzykę, pod którą oni się podpisywali i wydawali tą muzykę, jako ich autorską.

Przez pewien czas pracowałem również przy narzędziach do tworzenia muzyki, współtworząc jeden z najpopularniejszych edytorów i sekwencerów o nazwie Ableton, jak również wtyczki, generatory, efekty. Tworzyłem też półprodukty do tworzenia muzyki – tak zwane szablony, potocznie nazywane template’ami, oraz paczki próbek dźwiękowych, czyli sample packi, jak i gotowe brzmienia organizowane w preset banki.

Jakie są największe wyzwania albo trudności, jeżeli chodzi o uczenie maszynowe? Możesz powiedzieć, o tym obszarze, o którym opowiadałeś, związanym z muzyką, ale też możesz rozszerzyć do szerszego kontekstu. Jak myślisz, co jest największym wyzwaniem w uczeniu maszynowym?

Przede wszystkim trzeba zwrócić uwagę na zastosowania, jest ich wiele i nad ogromną ich ilością ludzie już pracują. Jeżeli chodzi o audio, to bardzo mocno rozwijane są na przykład systemy rekomendujące muzykę, systemy resyntezy dźwięku, czy też takie, które wykorzystują dźwięk w procesie protetyki słuchu, aż po systemy zabezpieczeń bazujące na biometryce. Jeżeli chodzi o ograniczenia, to pierwszym i zarazem największym ograniczeniem są ludzie, ale nie tylko pod względem ograniczonych zasobów ludzkich, działających w tym obszarze, ale także pod względem narzucania ludzkiego myślenia maszynom, które są w stanie myśleć dużo lepiej, jeżeli człowiek ich nie kontroluje.

Przykładem jest na przykład Auto ML, który osiągnął dużo lepszą efektywność nauczania następnego modelu aniżeli człowiek, gdy uczył Auto ML. Ponadto drugim takim wyzwaniem jest czas, który nieubłaganie biegnie, jak i sama energia, którą zużywamy, wartości te są coraz większe, jeżeli chodzi o zużycie energii i optymalizacja energetyczna to klucz do sukcesu.

Które obszary w uczeniu maszynowym rozwijają się najszybciej? Które rozwiną się najbardziej w ciągu 3-5 lat?

Obszary, które rozwiną się najbardziej w uczeniu maszynowym w przeciągu najbliższych trzech do pięciu lat to zdecydowanie te, na które jest i będzie największy nacisk – w tym momencie jest to przetwarzanie języka naturalnego i widzenie komputerowe. Z natury jestem optymistą, ale nie wydaje mi się, że zobaczymy zastosowanie uczenia ze wzmocnieniem, czyli reinforcement learningu, na większą skalę, chociaż osobiście bardzo bym tego chciał, w szczególności w tematach związanych z biocybernetyką i biomechaniką.

Teraz w Polsce obserwuję taki trend, że z jednej strony jest dużo osób, które słyszały o uczeniu maszynowym, myślę, przede wszystkim o osobach decyzyjnych, ale nadal nie wiedzą, jak do tego podejść, bo nikt nie chce wydawać pieniędzy czy zużywać dostępne zasoby tylko po to, żeby poeksperymentować. Podaj proszę trzy złote porady dla biznesu – jak najlepiej podejść do wdrożenia uczenia maszynowego w swoim biznesie.

Po pierwsze poznaj swój biznes, być może twoja firma nie posiada odpowiedniej ilości danych do efektywnego wdrażania uczenia maszynowego, wtedy znacznie lepiej jest znaleźć narzędzia, które ułatwią ci pracę, zamiast tracić zasoby na wdrożenie rozwiązania, które z dużym prawdopodobieństwem nie będzie działało dobrze. Po drugie zwróć uwagę na to, czy potrzebna jest ci automatyzacja zadań, czy może dostarczenie jakichś insightów z konkretnych informacji, przede wszystkim musisz zidentyfikować problemy, które uczenie maszynowe ma rozwiązać. Po trzecie skup się na tym, co musisz robić, a wszystko pozostałe, w tym też przygotowanie i wdrożenie rozwiązania, które wykorzystuje uczenie maszynowe, zdeleguj ekspertom, dzięki temu uzyskasz znacznie większą efektywność biznesu.

Właśnie o tym pomyślałem, bo jeśli ktoś się na tym nie zna, to ciężko mu te dwie pierwsze porady zrealizować, a trzecie porada pomoże zrealizować dwie poprzednie. Czy to oznacza, że chyba najbardziej efektywna ścieżka zbadania, gdzie jesteś, jaki ma być następny krok, to zwrócenie się do ekspertów.

Tak – zwrócenie się do ekspertów i następnie rozmowa z nimi o twoich oczekiwaniach, problemach, które napotykasz na swojej drodze biznesowej, a oni z pewnością doradzą ci, jakie rozwiązanie powinno się wdrożyć, żeby te wszystkie problemy rozwiązać i dostarczyć ci jednocześnie maksymalnie dużo informacji, na podstawie której będziesz mógł podejmować trafne decyzje biznesowe.

Dobrze, to chyba już mamy najważniejszą poradę. Te trzy wskazówki wydają się bardzo ważne, ale z ekspertami różnie bywa, znalezienie eksperta nie jest łatwe, ale przynajmniej te trzy punkty, które wymieniłeś mogą ukierunkować, o co należy zapytać tego eksperta. Zmienię znów troszkę temat, bo jesteś bardzo aktywny w działaniach, dużo podróżujesz i działasz też pro bono, organizujesz meet-upy, spotkania, hackathony. Jesteś założycielem grupy Machine Learning Study Group, która działa w Krakowie. Powiedz, czy masz jakieś konkretne plany, co chciałbyś osiągnąć, co cię motywuje do działania.

Machine Learning Study Group to organizacja, która wspiera studentów, doktorantów, ale też absolwentów studiów, specjalistów z branży IT, przedsiębiorców, inwestorów w stawianiu swoich pierwszych kroków w uczeniu maszynowym. W czasie trwania wydarzeń i szkoleń przez nas organizowanych uczestnicy dowiadują się, czym jest uczenie maszynowe, jakie wyzwania stoją przed osobami na stanowiskach data scientist i machine learning engineer, z jakich narzędzi korzystają osoby na tych stanowiskach oraz w jaki sposób efektywnie przetwarzać i prezentować dane.

Współpracujemy w tym momencie z czołowymi firmami i jednostkami naukowymi na świecie, takimi jak na przykład Stanford, MIT, University of Toronto, Lonsley, Google, DeepMind, Brainly. Jeżeli chodzi o nasze plany na przyszłość, zajmujemy się tym, żeby nasz wzrost był możliwie szybki i dostarczaniem absolutnie topowej wiedzy naszym kursantom.

Bardzo szlachetny cel. Wspomniałeś, że teraz pracujesz w Facebooku, powiedziałeś, czym się zajmowałeś w Google. Czy możesz zdradzić, czym się zajmujesz w Facebooku?

Moja pozycja nazywa się machine learning manager i dołączyłem do zespołu, który nazywa się core machine learning. Zarządzam zespołami pracującymi nad projektami z zakresu uczenia maszynowego, które związane są nie tylko z przetwarzaniem dźwięku, ale też wspierają w pracy zespoły nazywające się video creators. W Facebooku, tak jak i w wielu innych firmach tego rozmiaru, pozycji związanych z uczeniem maszynowym i analizą danych jest sporo. Różnią się one wymaganymi kompetencjami, trzy podstawowe związane z uczeniem maszynowym to software engineer in machine learning, applied machine learning engineer oraz core machine learning engineer.

Pierwsza z pozycji, czyli software engineer in machine learning, jest to pozycja, na której największy nacisk, poza oczywiście teoretycznymi podstawami informatyki, kładzie się przede wszystkim na wiedzę z zakresu inżynierii systemów, czyli system design – takie osoby nie muszą znać się na modelowaniu danych i metodach ewaluacji, aczkolwiek przydatna może okazać się podstawowa wiedza z zakresu stosowania bibliotek i algorytmów uczenia maszynowego.

W przypadku pozycji drugiej, czyli applied machine learning engineer, największy nacisk kładziony jest na umiejętność doboru i stosowania algorytmów uczenia maszynowego i korzystania z bibliotek, takich jak na przykład TensorFlow czy Caffe, podstawowa wiedza z zakresu inżynierii systemów, czyli system design oraz modelowania i ewaluacji danych jest przydatna, ale nie wymagana.

Ostatnie stanowisko, czyli core machine learning engineer, jest stanowiskiem kładącym nacisk na teoretyczny aspekt uczenia maszynowego, czyli nie tylko dlaczego to działa, ale w jaki sposób to działa i dlaczego to nie ma prawa nie działać – takie dociekanie istoty problemu przez podwójne zaprzeczenia. Stanowisko to związane jest z oczekiwaniami dotyczącymi wiedzy z zakresu statystyki, modelowania i ewaluacji danych oraz oczywiście umiejętności projektowania i stosowania algorytmów z zakresu uczenia maszynowego. Na takim stanowisku najczęściej pracują ludzie, którzy mają solidne wykształcenie kierunkowe, czyli na przykład doktorat.

W przypadku ludzi, którzy zajmują się analizą danych również są trzy podstawowe stanowiska. Pierwsze stanowisko to data science analyst i skupia się ono na analizie danych i wizualizacji. Ludzie na takim stanowisku operują na danych wykonując na przykład kwerendy w SQL, a następnie przygotowują wykresy i komunikują swoje znaleziska do product managerów.

Drugie stanowisko, które znajduje się w zespole data science to data engineer. Ludzie na tym stanowisku zajmują się przygotowaniem infrastruktury i platformy, jak i podstawowym przetwarzaniem danych i doborem narzędzi, to właśnie wśród tych ludzi znajdują się osoby, które pracują intensywnie na przykład z Hadoopem czy z Sparkiem.

Trzecie stanowisko to core data scientist. Na tym stanowisku pracują ludzie posiadający tylko i wyłącznie wykształcenie kierunkowe na poziomie co najmniej doktoratu i pracują oni nad rozwiązaniami wymagającymi dużej wiedzy teoretycznej, jak na przykład modelowanie i ewaluacja danych, modelowanie predykcyjne, systemy rekomendacyjne.

Bardzo dużo różnych ról podałeś – bardzo Ci za to dziękuję. Na konferencjach, różnych wydarzeniach jestem regularnie pytany: jak zacząć? Nagrałem już na ten temat webinar i podam do niego link w notatkach. Ale chcę też zapytać Ciebie, od czego jest najlepiej zacząć?

To co powiem teraz, może się okazać dość kontrowersyjne w dobie wszechobecnych bootcampów, które wkraczają również do branży data science, ale ja osobiście polecam studia na renomowanej uczelni. W ich trakcie możesz zdobyć podstawową wiedzę potrzebną do pracy z uczeniem maszynowym, wystarczy opanować podstawy matematyki i programowania, które pojawiają się na studiach licencjackich lub inżynierskich i które są wymagane na przykład na studiach informatycznych, matematycznych albo fizycznych. Dzięki tej wiedzy będziesz w stanie skutecznie zagłębiać się w materiały z zakresu uczenia maszynowego i nie tylko rozumieć, jak to działa, ale też dlaczego to działa. Jeżeli chodzi i same wskazówki, to myślę, że jest pięć kluczowych kwestii.

Pierwsza to: wybierz się na staż czy praktyki z tego zakresu i zdobądź techniczne wykształcenie. Dobre kierunki, które możesz studiować to na przykład informatyka teoretyczna, czyli Theoretical Computer Science, inżynieria oprogramowania, czyli Software Engineering, informatyka stosowana, czyli Applied Computer Science, ekonomia, czyli Economics, statystyka, czyli Statistics, matematyka, inżynieria systemów zwana też Systems Engineering – kierunek bardziej popularny poza granicami Polski, inżynieria zarządzania, czyli Management Engineering, inżynieria komputerowa, czyli Computer Engineering, ale także kierunki typu elektronika i telekomunikacja, czyli Electronics and Telecommunication Engineering, automatyka i robotyka, czyli Automatic Control and Robotics, która zawiera bardzo dużo elementów z computer vision, jak i inżynieria środowiska, czyli Environmental Engineering, która też jest traktowana jako kierunek techniczny. Będzie ci łatwiej dostać się na ten staż czy praktyki, a gdy w trakcie nich będziesz się rozwijać i pokażesz to, to jest duża szansa na to, że dostaniesz propozycję pracy w tej dziedzinie w tej firmie.

Drugą poradą jest to, byś opanował język SQL. Dlaczego akurat SQL? Jest to dość prosty język do nauczenia się i powszechnie używany w analityce, wszelkiej maści business intelligence i wielu innych dziedzinach. Niezależnie od tego, gdzie będziesz pracować, jako na przykład data scientist czy machine learning engineer, zawsze będziesz mieć do czynienia z językiem SQL, bo będziesz musiał skądś te dane wyciągnąć, na przykład z baz danych czy hurtowni, a następnie wykonać na nich jakieś operacje. Niemalże wszystkie firmy przygotowują infrastrukturę w taki sposób, aby dana osoba mogła operować na danych wykonując odpowiednie kwerendy w języku SQL.

Moja trzecia porada: naucz się korzystać z takich narzędzi typu IPython, Tableau, R, Excel, czy czegokolwiek innego, by manipulować, wizualizować i interpretować dane, i tak większość twojej pracy będzie zależała od SQL. Python i R wyglądają najbardziej technicznie i są zorientowane na kodowanie, więc mogą być preferowane przez znaczną większość potencjalnych pracodawców i współpracowników, jednakże w praktyce nie ma wielkiego znaczenia, które z tych narzędzi wybierzesz. Możesz być bardzo dobrym analitykiem danych, korzystając chociażby samego Excela, efekt i tak zależy od tego, jak sprawnie radzisz sobie z pracą z danymi, rozwiązywaniem problemów i jak dobrze komunikujesz swoje znaleziska. Dopiero na podstawie tego można budować sprawnie działające rozwiązania, korzystając na przykład z Pythona.

Czwartą poradą jest to, byś nauczył się, czym są metryki sukcesu i metryki mierzalne, czyli success metrics i tracking metrics. Weźmy jako przykład aplikację typu YouTube, załóżmy, że będzie ona przechodziła redesign, ale i też zostaną dodane do niej funkcjonalności z zakresu uczenia maszynowego. W jaki sposób ustalisz, czy działania te okazały się sukcesem? Metryki sukcesu, to jest coś, co widzi cały zespół i na czym się skupia, w tym przypadku może to być między innymi ilość aktywnych użytkowników, czy ilość unikalnych użytkowników każdego dnia. Metryki mierzalne to są właśnie te czynniki pośrednie, które są związane z osiąganiem metryk sukcesu.

Może to być na przykład: ile czasu spędza przeciętny użytkownik w aplikacji, ile filmów dziennie ogląda, ile filmów sam wrzucił na platformę, czy też ile razy został wykonany tak zwany Force Quit, czyli wymuszone zamknięcie. Mierzyć trzeba także te negatywne metryki, bo co jeżeli dana aplikacja zawiera bardzo dużo błędów i się na przykład wyłącza w danym momencie, co jest powodem, dla którego użytkownicy spędzają w tej aplikacji bardzo dużo czasu. Istotne jest przede wszystkim, by metryki były jak najmniej podatne na oszustwa i jakąkolwiek manipulację, a przy tym reprezentowały w jakiś sposób sukces firmy.

Ostatnią moją poradą jest to, by każdy nauczył się komunikować z ludźmi. Większość pracy to komunikacja z ludźmi, jeśli nie będziesz umieć odpowiednio komunikować swoich znalezisk, to bardzo ciężko będzie zbudować cokolwiek na podstawie tych informacji i ciężko będzie zbudować skuteczne rozwiązanie, w szczególności jeżeli podążysz ścieżką data scientist, istotne jest to, byś umiał czy też umiała przemawiać publicznie. Ogromna część twojej pracy to będą spotkania z ludźmi i prezentacje, konieczne są też umiejętności z zakresu pisania chwytliwych treści, które trafiają do ludzi, najłatwiej dotrzeć ze swoimi znaleziskami do osób, w szczególności tych z innych zespołów, przez opisywanie swoich znalezisk w postaci artykułów, e-maili, postów. Treści pisane są świetnym medium do docierania do wielu ludzi, w szczególności w pracy. Mój znajomy z pracy powiedział kiedyś:

„If you made an interesting analysis, but no one is there to read your analysis, did you ever make an analysis?”

Jest to w zasadzie strzał w dziesiątkę odnośnie tego, jak bardzo istotne są umiejętności miękkie w pracy.

I jeszcze ode mnie taki jeden bonus, czyli naucz się modelować predyktywnie – predictive modelling. Wiele osób optymalizuje swój proces nauki względem tego zagadnienia, bo wydaje im się, że znaczna część pracy z danymi, czy to jako data scientist, czy machine learning engineer, czy jako jakiś analityk dotyczy właśnie tego, czyli prognozowania, finansów, automatyzacji zadań. Można w jakimś stopniu powiedzieć, że mają rację z tymi finansami, bo niezależnie od zajmowanego stanowiska twoim celem jest spowodować, że firma zacznie zarabiać więcej. Wiedza z zakresu predictive modelling w szczególności przyda się, gdy będziesz zajmować się systemami predykcyjnymi i systemami rekomendacyjnymi. Poza tym zawsze możesz też powiedzieć swoim znajomym, że zajmujesz się forecastingiem i to jest cool :).

Bardzo dziękuję Łukaszu za te wszystkie porady. Myślę, że dla osób, które chcą wejść świata uczenia maszynowego będą bardzo pomocne. I ostatnie już pytanie na dzisiaj: jak można znaleźć Ciebie w sieci?

Jestem obecny na w zasadzie wszystkich popularnych platformach społecznościowych, wystarczy wyszukać mnie po imieniu i nazwisku.

Bardzo fajnie nam się rozmawiało, jesteś kopalnią wiedzy według mnie. Bardzo dziękuję, że udało się nam spotkać i nagrać tę rozmowę. Życzę Ci wszystkiego dobrego w Facebooku, Lonsley i w wielu innych Twoich inicjatywach.

Dzięki raz jeszcze Vladimir za zaproszenie i do usłyszenia po raz kolejny przy jakiejś następnej nadarzającej się okazji.

Łukasz przygotował dla Ciebie prezent. Wystarczy zapisać się na newsletter i dostaniesz ten prezent mailowo. Zapisz się na stronie tego odcinka, a jeżeli już jesteś zapisany, to sprawdź swoją skrzynkę, bo prezent już na Ciebie czeka. Przy okazji bardzo polecam dodać do kontaktów mail info(at)biznesmysli.pl, dzięki temu masz prawie stuprocentową gwarancję, że maile ode mnie będą trafiać we właściwe miejsce.

Tak jak obiecywałem w poprzednim odcinku, w tym odcinku będzie kolejna opinia uczestnika drugiej edycji kursu „Praktyczne uczenie maszynowe”. Dzisiaj jest nim Wojtek – bardzo inspirująca osoba. Miał pakiet premium, więc spędziliśmy sporo czasu na konsultacjach, ale były one dość unikalne, musiałem dość intensywnie myśleć, żeby odpowiadać na pytania zadawane przez Wojtka, były bardzo trafnie i absolutnie nie trywialne. Z jednej strony było to trochę męczące, bo wymagały myślenia, a z drugiej strony bardzo pozytywne, bo mózg musiał zacząć się kręcić na odpowiednich obrotach, żeby te odpowiedzi znajdować.

Cześć Wojtek. Przedstaw się, kim jesteś, czym się zajmujesz, gdzie mieszkasz.

Cześć Vladimirze.
Nazywam się Wojtek Mac, mieszkam w Warszawie, z wykształcenia jestem fizykiem, w tej chwili pracuję w Orange. Pracuję w Orange już od 15 lat, zajmowałem się w tym czasie różnymi rzeczami, głównie szeroko pojętą analityką, przez wiele lat zajmowałem się również billingiem, a ostatnio zajmuję się automatycznymi kanałami obsługi klientów i pracujemy nad tym, żeby one były efektywne, oszczędzały pracę ludzi, ale jednocześnie, żeby klientom było w miarę wygodnie się z nami kontaktować i żeby rozwiązywać ich problemy, jak najłatwiej dla nich.

O tym jeszcze porozmawiamy, ale najpierw powiedz, co ostatnio czytałeś.

Ostatnią uzupełniłem taką jedną zaległość po śmierci Hawkinga, zrobiłem taki krótki remanent w głowie, więc przeczytałem „Wszechświat w skorupce orzecha”, jest to pozycja sprzed wielu lat, ale jakoś tak mi umknęła wcześniej i stwierdziłem, że to jest dobry moment. żeby sobie przypomnieć.

To bardzo dobra lektura, słyszałem o niej kilka razy, ale też nie miałam jeszcze okazji przeczytać. Warto chyba po nią sięgnąć.

Na pewno warto, ale zależy, co kto lubi. Ja lubię styl Hawkinga, który nie daje oczywistych odpowiedzi, pozwala trochę pomyśleć, a z drugiej strony jest w miarę łatwy dla osób, które nie mają silnego backgroundu fizycznego.

Ty akurat masz doświadczenie fizyczne, działasz już ponad 15 lat w Orange. Powiedz, skąd się wzięło u Ciebie zainteresowanie uczeniem maszynowym i kiedy to się zaczęło?

Bardzo trudno jest powiedzieć, kiedy to się zaczęło, bo tak naprawdę jeszcze na studiach miałem jakąś styczność z sieciami neuronowymi, chociaż one były mniej dojrzałe niż dzisiejsze uczenie maszynowe. Jak wszyscy wiedzą, w dzisiejszym świecie trudno uniknąć kontaktu z uczeniem maszynowym, z sieciami, ze sztuczną inteligencją – atakuje nas wszędzie, we wszystkich audycjach, programach, książkach i wszędzie słyszymy o tym, więc warto wiedzieć, o co chodzi i nie dawać sobie opowiadać głupot, warto się trochę zastanowić, jak to działa, do czego to służy, gdzie są jego obecne granice, możliwości.

Opowiedz proszę swoją historię, jak trafiłeś na kurs.

Na kurs trafiłem w bardzo prosty sposób. Mój szef słuchał Twojego podcastu, przyszedł kiedyś i powiedział, że jest taki fajny podcast, może by go posłuchać, a dwa dni później powiedział, że tam jest taki fajny kurs uczenia maszynowego, może by kogoś na niego wysłać. Wybraliśmy jednego z naszych kolegów, za 2 dni wymyśliliśmy, że może wyślemy na niego dwóch, no i tak od słowa do słowa w końcu okazało się, że cały nasz zespół zapisał się na kurs, a na koniec ja też.

Stwierdziłeś, że głupio będzie, jak cały zespół będzie o czymś rozmawiać, a Ty nie będziesz wiedział, o co chodzi?

Jest w tym trochę prawdy. Poza tym ja w tej chwili już sam kodu nie piszę codziennie, ale to zawsze jest fajnie, jak się dotknie własnymi rękoma czegoś, co jest takie bliskie produkcji, a nie tylko taką działalnością menadżersko-zarządczą. Ten kurs był fajny pod tym względem, że pozwał samodzielnie sobie coś podłubać, popracować. Fajne było to, że sobie przypomniałem troszeczkę, jak to jest pisać coś samemu.

Na co dzień nie programujesz, prawdopodobnie nie miałeś też dużej styczności z Pythonem, ale oglądałem Twój kod i całkiem fajnie sobie radziłeś. Powiedz, jak tego się nauczyłeś? Po nocach?

W Pythonie rzeczywiście wcześniej nie pisałem dużo, żeby nie powiedzieć prawie nic. Mogę opowiedzieć później, jak to się zaczęło z Pythonem, natomiast w życiu trochę napisałem kodu w różnych językach od Fortranu, przez różne odmiany Pascala C, czy różnych basiców. W Pythonie pierwszy kod napisałem ze 2 lata temu, kiedy moja córka w gimnazjum brała udział w jakimś konkursie informatycznym Logia i oni właśnie pisali w Pythonie. Jak ona coś pisała, to ja jej zaglądałem przez ramię, a może tata mi coś podpowie, a może razem coś zrobimy i tak od słowa do słowa nauczyłem się przy okazji Pythona. Oczywiście to jest inny Python, zupełnie inne biblioteki niż te na kursie, ale początek miałem. Ale jak się zna ileś języków, to nauczenie się kolejnego nie jest rzeczą niewykonalną albo wymagającą strasznie długiego czasu.

To prawda. Jeśli poznajesz języki, które się różnią od siebie, to ciężko jest cię zaskoczyć czymkolwiek.

Aczkolwiek Python jest rzeczywiście takim fajnym językiem, który jest bardzo elastyczny i to mi się w nim spodobało – umożliwia zoptymalizowanie długości kodu.

Też za to lubię Pythona, że to jest jeden z najprostszych języków. Między innymi dlatego ten język staje się teraz coraz bardziej popularny w uczeniu maszynowym, bo zamiast skupiać się na języku, skupiasz się na rozwiązaniu problemu. To jest taka zaleta Pythona. A jaką największą wartość dostałeś na tym kursie? Co Ci się najbardziej spodobało?

Chyba największą wartością jest to, że mam taki przegląd różnych metod, różnych algorytmów począwszy od lasów losowych, aż po sieci konwolucyjne – to są nazwy, które się człowiekowi normalnie ocierają o uszy, ale dopóki się samemu takiej prostej rzeczy nie napisze, to się nie zrozumie. Ja mam takie empiryczne podejście do świata, dopóki nie dotknę, to nie rozumiem. Jak się tak trochę podotyka ich samemu, to potem jest łatwiej rozmawiać z innymi ludźmi, którzy są nawet o kilka rzędów bieglejsi w przedmiocie. Można znaleźć łatwiej wspólny język, wiedzieć, gdzie są ograniczenia, ułatwia to kreatywne pomysły, bo nie wymyśla się czegoś, co zupełnie nie ma sensu. W tej chwili wydaje mi się, że to jest dość duże zagrożenie, jeśli chodzi o uczenie maszynowe i wszelakie sieci samouczące się, bo to jest modne, więc każdy przychodzi i mówi: „my tutaj użyjemy uczenia maszynowego i rozwiążemy wszystkie twoje problemy albo sztuczna inteligencja sama przyjdzie, sama zrobi, sama posprząta i jeszcze za to zapłaci”. Nie można wpaść w taką pułapkę, że to wszystko za ciebie rozwiąże, więc dobrze wiedzieć, mieć taką intuicję, do czego to się rzeczywiście nadaje, a do czego nie. Myślę, że jak się samemu czegoś spróbuje, to wtedy jest łatwiej.

Nawiązując trochę do Twojej intuicji – w trakcie kursu był konkurs, w którym robiliśmy predykcje kosztu samochodem. Dla mnie inspirujące było Twoje podejście – osoby, które były w czołówce miały 5, 10 a nawet 15 prób, Ty miałeś jedną próbę, po której byłeś prawie na pierwszym miejscu, a po drugiej próbie jeszcze bliżej. Zrobiłeś bardzo mało tych strzałów, ale były bardzo trafne. Czy faktycznie wyczuwałeś, co warto robić, czy po prostu więcej czasu spędzałeś na myśleniu i później dopiero podawałeś rozwiązanie?

Szczerze mówiąc, nie potrafię odpowiedzieć jednoznacznie na to pytanie. Na początku nie strzelałem w ciemno, tylko najpierw chciałem coś zrobić, trochę uporządkowałem te dane, zrobiłem coś, co wydawało mi się, że należy zrobić i tak wyszło, jak mówisz. W kolejnych krokach już spadłem, jak inni wzięli się też za optymalizację kodu. Nie wiem dlaczego nie wrzucałem tyle, może nie poświęciłem na to więcej czasu, bo w pewnym momencie przygotowanie kolejnego modelu, żeby on miał jakiś sens, trwało. Jak wszyscy się rzucili na serwer i zaczęli uruchamiać swoje modele, to często to liczenie długo trwało, żeby wygenerować nową sensowną wersję, bo trzeba było parę rzeczy sprawdzić, więc to chyba z tego wynika.

Obserwując osobowość ludzi, wydaje mi się, że każdy ma inne podejście, ale z wiekiem przychodzi takie podejście, że próbujesz więcej przewidzieć naprzód, a dopiero potem próbujesz, ale jak coś przewidzisz, to ta rzecz działa albo jest lepiej zoptymalizowana, bo mamy w głowie tę sieć neuronową bardziej zaawansowaną niż sztuczna inteligencja, więc można zastosować optymalizację przed zbudowaniem modelu.
Jak zamierzasz wykorzystać wiedzę zdobytą na kursie?

Jak już powiedziałem, w pracy zajmuję się optymalizowaniem obsługi klientów, czyli żeby tak zrobić, żeby jak najmniej się ludzie po naszej stronie napracowali, a klienci byli nadal zadowoleni i dobrze obsłużeni. Ludzi można zastąpić jakimiś maszynami, automatami, różnymi narzędziami, które mogą mieć w sobie mniej lub więcej tej sztucznej inteligencji, ale obecnie, kiedy te algorytmy sztucznej inteligencji są coraz lepsze, coraz doskonalsze, coraz szerzej stosowane. Coraz większe są doświadczenia ludzi z tym, jak je wykorzystywać do różnych zastosowań również takich jak konwersacje z klientami, do znajdowania odpowiedzi na pytania, do analizowania, czego potrzebują klienci – bardziej zaawansowane algorytmy są już dostępne i aż grzech po nie nie sięgnąć. W naturalny sposób będziemy musieli zacząć po nie sięgać, już trochę to robimy.

Ja kodu już nie piszę, ale żeby rozmawiać z dostawcami, żeby wiedzieć, czego potrzebujemy, żeby współpracować z programistami u nas, którzy piszą taki kod czy nawet ze swoim własnym zespołem, trzeba samemu też coś wiedzieć. To jest to coś, co było głównym motorem, dla którego poszedłem na kurs. No i mam nadzieję, że mi się to przyda w pracy w najbliższym czasie, a w dłuższej perspektywie to na pewno.

Wyobraź sobie, że teraz Twojego głosu słucha osoba, która zastanawia się, czy ten kurs jest dla niej, jak myślisz dla kogo jest ten kurs?

Myślę, że są dwie grupy osób, które mogą mieć największe korzyści z takiego kursu. Jedna grupa to są osoby, które jeszcze nie miały styczności z uczeniem maszynowym, ale chciałyby zacząć, mają jakiś podkład programistyczny, na przykład są informatykami, ale się takimi analizami czy tworzeniem takich modeli nie zajmowały, ale chciałyby jakoś zacząć, a mają takie empiryczne podejście, żeby najpierw spróbować, zobaczyć, co wyszło, a potem dopiero douczyć się tam, gdzie widzą, że mają braki, czy gdzie to jest interesujące. Myślę, że dla takich osób jest to bardzo fajny kurs, żeby zobaczyć, bo nie zaczynamy od szerokiego podkładu teoretycznego, tylko robimy, patrzymy, co wyszło, a jak wyjdzie, to wtedy można poczytać sobie, rozszerzyć wiedzę, więc to jest taki dobry start.

Druga grupa osób to być może takie osoby jak ja, które w tym momencie nie szukają bardzo głębokiego i szerokiego teoretycznego podkładu, ale chcą zobaczyć, jak to działa, zrozumieć, poczuć, doświadczyć. Wydaje mi się, że do takiego zastosowania ten kurs też jest bardzo fajny.

I ostatnie już pytanie na dzisiaj. Jestem bardzo ciekaw Twojej opinii, jak nasz świat może się zmienić w najbliższej przyszłości w perspektywie 5-10, a może nawet 15-20 lat. Jakie masz przemyślenia na ten temat?

Już widać, że nasz świat się bardzo zmienia i to bardzo szybko. W ciągu ostatnich 3-5 lat widać tę eksplozję. Takie najważniejsze kierunki to po pierwsze wszystkie urządzenia, które zastępują pracę człowieka – autonomiczne samochody, wszelkiego rodzaju roboty w fabrykach, różne roboty, które za nas piszą, odpowiadają, nawet lodówki zaczynają być mądre.

Czasami to jest po prostu zastępowanie pracy człowieka tylko po to, żeby się nie męczył, czasami one są sprawniejsze od człowieka, bo robią coś szybciej, z większą precyzją, z mniejszą ilością błędów. I to jest moim zdaniem jeden z takich aspektów, w których sztuczna inteligencja będzie bardzo ważna. Druga rzecz to są wszystkie interfejsy komunikujące się z ludźmi – dawno dawno temu były guziki i korbka, później ludzie wydawali tajne komendy w różnych językach tylko dla wtajemniczonych, a teraz coraz więcej jest takich interfejsów, gdzie z tymi maszynami się po prostu rozmawia, tak samo jak z innymi ludźmi, co dla wielu ludzi jest wygodne, przyjemne, prostsze.

Myślę, że tutaj na pewno doświadczymy bardzo dużej zmiany w najbliższym czasie, w naszych domach zadomowią się różni wirtualni asystenci. Taka trzecia działka to wszelkie rzeczy związane z optymalizacją i kontrolą, bo my jako ludzie próbujemy różne procesy optymalizować, ale mimo że nasze mózgi są tak wspaniałe, do niektórych rzeczy nadają się słabiej i jeżeli zaczynają się jakieś procesy z dużą ilością danych, gdzie zależności są nieliniowe, to bywa że nam jest trudniej znaleźć dziurę w całym, a dla algorytmów uczących może być to łatwiejsze i to też widać już w tej chwili w wielu zastosowaniach.

Bardzo Ci dziękuję za Twoją opinię i za to, że udało Ci się znaleźć czas, bo wiem, że z czasem jest generalnie ciężko, więc fajnie, że się udało.

Ja również bardzo dziękuję. Było mi bardzo miło z Tobą porozmawiać.

Na koniec przypomnę, że trzecia edycja kursu zaczyna się od 29 października 2018 roku. Dokonując zakupu do 15 czerwca, uzyskasz bonus o wartości ponad 2.000 złotych, otrzymasz między innymi bilet na jednodniowe szkolenie tzw. Tour, który odbędzie się we wrześniu 2018 roku – wybierzesz sobie jedno z pięciu dostępnych miast. Dostaniesz też bezpłatną wejściówkę na konferencję dla absolwentów edycji, ale również dla osób zainteresowanych praktycznym uczeniem maszynowym – będą tam różne inspiracje, intensywny networking.

Dodatkowo otrzymasz ponad 20 godzin moich webinarów, w których odpowiadam na pytania z życia wzięte, które zadawali różni ludzie, więc pytania są naprawdę zróżnicowane. Dostaniesz moduł zerowy, w którym robię mocne wprowadzenie do Pythona i bibliotek, żeby jeszcze bardziej ułatwić Twoje życie podczas kursu, ale również po nim, żebyś mógł/mogła zastosować tę wiedzę w praktyce.

Na koniec wspomnę jeszcze o webinarach, które organizuję, jeden bezpłatny odbył się 15 maja i jest dostępny (i prezentacja).

Kolejny jest zaplanowany na 12 czerwca i tematem będzie wprowadzenie do statystyki, webinar jest bezpłatny, ale polecam się zapisać na dataworkshop.eu/free-webinar.

Artykuł Łukasz Siatka – ex Googler, Facebooker pochodzi z serwisu Biznes Myśli.

Z tego odcinka dowiesz się:

• czym zajmuje się Konrad Błaszkiewicz,
• czym są obliczeniowe nauki społeczne Computational Social Science,
• jakie są większe problemy do rozwiązania w obszarach psychologii, socjologii,
• jak smartfony zmieniają badania psychologiczne,
• jaki ma cel i jaki problem ma rozwiązać program Menthal,
• czy ludzie piszą prawdę w kwestionariuszach,
• czy smartfony mogą pomóc w badaniach nad depresją i wczesnym jej wykrywaniu,
• co robią najbardziej inspirujące osoby z dziedziny Computational Social Science,
• co może pomóc poznać, co myślą i czują dzieci z autyzmem,
• jakie informacje o człowieku można poznać analizując jego aktywność na Facebooku,
• jakie zastosowanie mogą mieć badania na sieciach społecznościowych w biznesie,
• czy w sieciach społecznościowych można się schować,
• jak naukowcy podchodzą do tematu etyki,
• do jakich celów można wykorzystać badania prowadzone w sieciach społecznościowych.

Świat zmienia się szybciej niż myślisz, to pewnie już wiesz. Żyjemy w czasach, kiedy Mark Zuckerberg musi się tłumaczyć przed Kongresem, że maile niekoniecznie wysyła się przez WhatsAppa i z wielu innych rzeczy związanych ze sprawą Cambridge Analytica. To wszystko stało się ostatnio bardzo głośne. Zależało mi na tym, żeby trochę opowiedzieć o tym temacie, chociaż jest tam dużo dezinformacji wprowadzonej przez dziennikarzy, którzy niespecjalnie się na tym znają, jak również podejścia marketingowego, z pomocą którego próbuje się udawać, że coś tam się dzieje, a to niekoniecznie ma miejsce.

Gdy próbowałem badać ten temat bardziej naokoło i zrozumieć, co było, a co nie było możliwe, to pomyślałem, że fajnie byłoby zaprosić osobę, która pracuje w podobnych tematach związanych z badaniem psychologii, socjologii, ogólnie rzecz biorąc nauk społecznych i zaprosiłem taką osobę.

Dzisiejszym gościem jest Konrad Błaszkiewicz – doktor na Uniwersytecie w Bonn. Konrad po raz pierwszy w życiu uczestniczy w podcaście, więc troszkę się przejmował, ale daruj mu to, bo ten człowiek jest naprawdę niesamowity i bardzo inspirujący. Szczerze mówiąc chciałbym, żeby wśród naukowców czy w biznesie było coraz więcej takich osób pozytywnych, nastawionych na to, żeby ludziom pomagać.

Cześć Konrad, przedstaw się kim jesteś, czym się zajmujesz, gdzie mieszkasz?

Cześć Vladimir. Nazywam się Konrad Błaszkiewicz, na co dzień mieszkam w Warszawie. Jestem doktorantem na Uniwersytecie w Bonn. Pracuję nad projektem, który nazywa się Menthal, w którym na dużą skalę analizujemy, jak ludzie korzystają z telefonów komórkowych, jaki mają wpływ na ich codzienne życie, jak można wykorzystać telefony komórkowe do zajęć psychologicznych, psychiatrycznych, medycznych czy nauk medycznych.

Wszystkie te tematy są bardzo ciekawe, będziemy o nich rozmawiać. A teraz pytanie: co ostatnio czytałeś?

Jestem człowiekiem, który lubi zaczynać bardzo dużo książek, często czytam dużo książek na raz, bardzo lubię audiobooki. Ostatnio czytałem książkę pod tytułem „Bit by Bit: Social Research in the Digital Age”, której autorem jest naukowiec z Princeton – Matthew Salganik. Jest to taki podręcznik nauk społecznych dla ery cyfrowej. Absolutnie fantastyczna książka, która jest dosyć nieznana w środowisku data science, a mogę ją polecić każdemu, kto pracuje z danymi i jest zainteresowany naukami społecznymi. Bardzo lubię klasykę i ostatnio czytałem również książkę  „Wojna i pokój” Tołstoja.

Przejdźmy teraz do tematu. Ale najpierw trochę kontekstu. Czym są obliczeniowe nauki społeczne (Computational Social Science)? Najlepiej będzie jeśli podasz praktyczne przykłady.

Podejście w obliczeniowych naukach społecznych polega na wykorzystaniu różnych metod obliczeniowych, nowych technologii. Wydaje mi się, że najciekawszą częścią jest wykorzystanie nowych metod pozyskiwania danych. Często jest to pozyskiwanie cyfrowych śladów działalności człowieka, czy to w sieciach społecznościowych, czy badanie zachowania poprzez telefony komórkowe, różne sensory. Możemy również wykorzystać te techniki obliczeniowe by symulować różne zachowania. Jest to nowe podejście do klasycznych nauk społecznych, które opierają się o dawne metody, jak scenariusze i przełożenie ich na nowe technologie.

Zajmujesz się analizą danych na pograniczu psychologii lub socjologii, ogólnie rzecz biorąc, nauk społecznych. Zadam Ci dość fundamentalne pytanie: dlaczego zdecydowałeś się zająć nauką właśnie w tym obszarze?

Jest to temat, który zawsze był dla mnie ciekawy, aczkolwiek życiowo dużo lepiej wychodziły mi rzeczy związane z naukami ścisłymi: informatyką, matematyką, fizyką. Pod koniec moich studiów poznałem profesora Alexandra Markowetza z Uniwersytetu w Bonn, który miał parę pomysłów ma to, jak można przełożyć techniki informatyczne, by można robić badania psychologiczne. W pewnym momencie Profesor Markowetz zapytał się mnie, czy chciałbym zacząć pracować nad projektem Menthal. Chcieliśmy wykorzystać smartfony do badań psychologicznych, wydaje się, że są to doskonałe urządzenia do tego celu. Odpowiedziałem, że brzmi to fajnie, bardzo chętnie spróbuję. Zacząłem to jako po prostu ciekawy projekt, a okazało się, że to jest coś, czym obecnie zajmuję się w stu procentach, w tej chwili kończę mój doktorat związany z tym projektem.

Zanim przejdziemy do projektu Menthal, warto byłoby określić, jakie są większe problemy do rozwiązania w obszarach psychologii, socjologii i tak dalej.

Te nauki istnieją od wielu lat i bardzo często opierają się na zbieraniu danych, które ciężko przełożyć na większą skalę, bardzo często opierają się na scenariuszach wypełnionych przez badanych, na badaniach laboratoryjnych, w których ściągamy grupę ludzi, obserwujemy, co oni robią, oni są obserwowani na żywo przez naukowców, którzy spisują swoje notatki. W związku z tym, że tych ludzi musimy ściągnąć do naszego przysłowiowego labu, to bardzo często te badania są prowadzone na studentach, bo oni są dostępni, często bywa tak, że studenci muszą brać udział w badaniach jako wymaganie do zaliczenia przedmiotów.

Nie chcę uogólniać, jest wiele bardzo dobrych badań, które są robione na większą skalę, ale wiadomo, że to powoduje bardzo duże koszty. Nawet jeśli prowadzimy badania korespondencyjne, musimy je wysłać, a potem odczytać wyniki. Dużo badań jest prowadzonych telefonicznie, zatelefonowanie do 10.000 osób jest naprawdę dobrym wynikiem, bo musimy do tych 10.000 osób zadzwonić, oni muszą zgodzić się na udzielenie odpowiedzi na pytania. Jest to spore wyzwanie.

Inny problem z naukami społecznymi jest taki, że dużą część badań jest ciężko zreplikować. Wydaje mi się, że te nauki obliczeniowe, informatyka, data science są odpowiedzią na bardzo tych wyzwań. Mamy łatwy dostęp do danych na temat setek milionów osób. Prowadząc badania na przykład na Facebooku momentalnie mamy dużo większa próbkę. Te dane możemy łatwo automatyczne zebrać, przeanalizować i ten proces możemy w całości zapisać w kodzie. W ten sposób inni naukowcy bez problemów mogą to odtworzyć.

Wydaje mi się, że czeka nas przełom i sposób prowadzenia dużej części badań zostanie zmieniony zupełnie. Przykładem może być psychologia, a z tymi badaniami jestem związany naukowo – moim zdaniem smartfony są doskonałym narzędziem do prowadzenia badań psychologicznych, ponieważ bardzo wiele osób ma smartfony, zazwyczaj nosimy jest cały czas przy sobie,  korzystamy z nich nawet przez 5-6 godzin dziennie, patrząc w ekran, mają wiele różnych sensorów, które potrafią zobaczyć dużo aspektów naszego zarachowania, a do tego pozwalają nam na interakcję z tym człowiekiem, możemy w odpowiednim momencie zadać mu odpowiednie pytanie. Wydaje mi się, że to jest absolutnie doskonałe narzędzie do takich badań psychologicznych.

Powiedziałeś, że na Facebooku można mieć dostęp do danych milionów osób, myślę, że wiele osób pomyślało o Cambridge Analytica. Jeszcze wrócimy do tego tematu.

Jeszcze w tym temacie przyszedł mi do głowy przykład konkretnych badań dotyczących szerokich nauk społecznych i tego, jakie możliwości dają takie badania. Badania prowadził naukowiec Joshua Blumenstrock i opublikował je 2-3 lata temu w jednym z najbardziej prestiżowych czasopism naukowych Science. Ten naukowiec badał, jak bogaci są ludzie w Rwandzie i uzyskał dostęp do połączeń telefonicznych. Mając dostęp do pełnego rejestru rozmów półtora miliona osób, zadzwonił do około tysiąca z nich i zadał pytania dotyczące ich stanu posiadania.

Były takie pytania: „czy posiadasz rower”, „czy posiadasz dostęp do bieżącej wody”. Miał te dwie grupy, ten tysiąc osób oraz większą grupę półtora miliona, i dla obu tych grup miał bardzo dużo danych związanych z tym rejestrem połączeń i on wyuczył klasyfikator na podstawie danych mniejszej grupy, by określił również stan posiadania dla pozostałej grupy półtora miliona badanych.

Ciężko było te badania odnieść do czegokolwiek, co istniało wcześniej, bo on dostał zupełnie nową informację, której nie był w stanie sprawdzić do końca. Okazało się, że po zagregowaniu do pewnych statystyk na temat regionów, te badania mają praktycznie taką samą dokładność, jak statystyki rządowe, które do tej pory były takim złotym standardem, a były 50% tańsze niż wszystkie dotychczasowe badania. To jest taki fajny przykład tego, jak wykorzystanie nowych technologii pozwala osiągać zupełnie nowe badania. To, co zrobimy z tym dalej, to jest otwarte pytanie. Możemy wykorzystać to, żeby wysłać pomoc humanitarną w te regiony, które mają się najgorzej, możemy je wykorzystać do innych eksperymentów społecznych – pozwala to na zupełnie nowe podejście do takich problemów.

To jest bardzo ciekawy przykład. Myślę, że teraz w głowach słuchaczy rodzą się różne pomysły, jak to można zastosować. Dopytam jeszcze: jakie dokładnie informacje posiadał ten człowiek o tych profilach? Czy to była częstotliwość dzwonienia do kogoś, czy coś innego?

Wydaje mi się że dostał pełen rejestr rozmów telefonicznych – tak zwane metadane – najprawdodobniej były to informacje typu „ten numer zadzwonił do innego numeru o tej godzinie” i z tych danych jesteśmy w stanie odtworzyć z iloma osobami ten człowiek się porozumiewał, czy ta komunikacja była zazwyczaj tylko wychodząca, czy może przychodząca, jak duży jest rozmiar sieci społecznej, jak często te osoby rozmawiają, o jakich porach. No i okazuje się, że takie cechy, które można wydobyć z tych danych, mają zdolność produkcyjną.

Rozumiem, to bardzo ciekawy i praktyczny przykład. Myślę, że teraz warto przejść do projektu, którym zajmujesz na co dzień. Projekt ma nazwę Menthal. Powiedz więcej, jaki ma cel i co chcecie osiągnąć, jaki problem próbujecie rozwiązać.

Mówiłem wcześniej o tym, że smartfony są doskonałym narzędziem do prowadzenia badań psychologicznych. Więc my zadaliśmy sobie pytanie, czy przy pomocy smartfonu moglibyśmy odczytać, czy człowiek jest w danym momencie zestresowany, jak zmienia się jego samopoczucie. Zastanawialiśmy się, czy moglibyśmy wcześniej ostrzegać ludzi przed stanami depresyjnymi albo rozpoznawać takie stany depresyjne, bo wydawało nam się, że to jest coś takiego, co ma bardzo duże znaczenie, co może faktycznie pomóc wielu osobom, a jednocześnie jest to naprawdę bardzo ciekawy i trudny problem do pracy.

Zaczęliśmy pracę od stworzenia prostych aplikacji, które przechwytywały różne aspekty tego, jak korzystaliśmy z telefonów komórkowych. Pracowaliśmy na początku na małą skalę – zapraszaliśmy osoby do labu, one wypełniały kwestionariusze, dawaliśmy im tę aplikację na dwa tygodnie. Pracowaliśmy z Wydziałem Psychologii w Bonn i dzięki temu mieliśmy dostęp do skanerów mózgu i pewnych markerów genetycznych. Próbowaliśmy całościowo zbadać różne aspekty tego, co możemy się dowiedzieć o tym zachowaniu. Mieliśmy kilka pierwszych wyników z tych badań.

Pierwszy z nich to sprawdzenie tego, co wydawało się nam oczywiste, ale często rzeczy oczywiste nie są takie proste w naukach społecznych – to, że coś wydaje się nam oczywiste, to nie znaczy, że tak jest. Bardzo często rzecz przeciwna też wydaje się oczywista. To, co chcieliśmy sprawdzić, czy to co zmierzymy,  jest naprawdę dużo lepsze od tego, co powiedzieliby nam o sobie ludzie. Okazało, że faktycznie to, co opowiadali nam ludzie o swoim korzystaniu z telefonu, było praktycznie nie skorelowane z tym, jak oni korzystali z niego naprawdę. Mieliśmy takie śmieszne wyniki, że ekstrawertycy wolą dzwonić, a introwertycy wolą wysyłać SMS-y. W jednym ze wczesnych wyników okazało się, że to, jak często sprawdzamy Facebooka jest związane z objętością istoty szarej w regionie mózgu, który się nazywa nucleus accumbens, nie znam niestety polskiej nazwy, ale jest to region, który bardzo często wiąże się z uzależnieniami.

To były wszystko eksperymenty na małą skalę – do 100 osób. Stwierdziliśmy, że nie ma powodu, byśmy robili to wszystko na małej skali, kiedy z tych naszych aplikacji może korzystać każdy, kto ma telefon z Androidem, bo to był system, na który się zdecydowaliśmy. Postanowiliśmy zrobić takie badanie na większą skalę, a więc musieliśmy stworzyć aplikację, z której ludzie faktycznie chcieliby skorzystać, która będzie dawała ludziom coś w zamian, bo nie każdy będzie chętny, żeby ściągnąć aplikację tylko dlatego, żeby wspomóc naukę. Różnych aplikacji jest bardzo dużo, one często obciążają telefon i tak naprawdę nie mamy żadnych takich pobudek, żeby pobrać taką aplikację. Interesowało nas to, jak ludzie faktycznie korzystają ze smartfonów. Stwierdziliśmy, że stworzymy aplikację, która będzie taką wagą cyfrową, która będzie pokazywała ludziom, w jaki sposób korzystają ze smartfonów, pokazywała, jak dużo korzystają z różnych aplikacji i miała pomóc ludziom sprawdzić, czy faktycznie są uzależnieni od smartfonów, czy korzystają z nich za dużo, czy zabierają im za dużo czasu i to było hasło, które nam przyświecało i nim promowaliśmy tę aplikację. Oczywiście wszyscy użytkownicy aplikacji musieli wyrazić zgodę na zbieranie danych na potrzeby naszych badań. Ta aplikacja stała się głównym motorem naszych późniejszych badań.

Ściągnęło ją ostatecznie ponad pół miliona osób, co było dla nas wielkim szokiem, gdyż sądziliśmy, że nie będzie korzystało z niej więcej niż kilka tysięcy osób, a to pozwoliło nam zacząć badania na zupełnie innej skali i podejść do tego zupełnie inaczej.

Ta liczba pobrań – pół miliona ludzi z ponad 100 krajów – jak widzisz taką liczbę, to chce się powiedzieć WOW i każdy, kto ma start-up albo własny biznes, chciałby osiągnąć podobny wynik. Z jednej strony mieliście coś użytecznego, ale z drugiej strony jest dużo aplikacji, które mają coś użytecznego, czemu akurat w waszym przypadku było tak dużo pobrań, czy była jakaś przemyślana promocja, wsparcie medialne czy coś innego? Możesz zdradzić szczegóły?

Wydaje mi się, że to była kilka czynników. Nasz pomysł trafił na bardzo dobry czas, włożyliśmy oczywiście w to trochę pracy, ale tak naprawdę mieliśmy bardzo dużo szczęścia. Wszystko działo się głównie w Niemczech i to trafiło w taki czas, kiedy właśnie uzależnienie od telefonów komórkowych i pytanie czy korzystamy z nich za dużo, było bardzo gorącym tematem w Niemczech, więc media bardzo szybko podchwyciły, że istnieje taka aplikacja. Wydaje mi się, że pomogło nam to, że to był projekt uniwersytecki, ludziom dużo łatwiej było zaufać uniwersytetowi i badaczom niż jakiejś firmie, więc bardzo szybko pojawiły się pierwsze wzmianki w prasie i nastąpiła jakby lawina zmianek, która spowodowała, że ludzie zaczęli ściągać aplikację.

Pamiętam, że przeżyliśmy taki wielki szok w drugim miesiącu od wypuszczenia aplikacji, kiedy okazało się, że staliśmy się numerem 1 w kategorii productivity w Google Store. Byliśmy przed Dropboxem – nie mogliśmy w to uwierzyć. Trwało to kilka dni, gdy wzmianka o aplikacji pojawiła się w jednej z najbardziej popularnych niemieckich telewizji. To pokazuje, jaka jest siła tych mediów. To, co my jeszcze zrobiliśmy, to staraliśmy się, żeby ta aplikacje nie była taka jak standardowe aplikacje akademickie, żeby faktycznie dawała ludziom jakieś fajne informacje, żeby to wszystko wyglądało ładnie. Podeszliśmy do tego w taki sposób, powiedzmy, startupowy, że bardzo szybko wypuściliśmy prostą aplikacje i potem i wprowadzaliśmy zmiany, testowaliśmy, jak to się podoba, co się sprawdza i bardzo serio podeszliśmy do kwestii promocji.

Trochę mieliście farta, ale wasze podejście było startupowe, przemyślane. Macie pięćset tysięcy użytkowników, być może nawet trochę więcej, zbieracie dane, no i właśnie: jakie dane zbieracie?

OK, tak naprawdę te dane, które dla nas były najciekawsze, to były dane na temat korzystania z tego smartfonu, dotyczące, z jakich aplikacji korzystał użytkownik i w jakim czasie, kiedy pojawiały się jakieś interakcje z telefonem, nie patrzyliśmy na to, co się dzieje w aplikacjach, uznaliśmy, że to jest ta granica prywatności, uznaliśmy, że nie chcemy znać treści wiadomości. Patrzyliśmy na metadane dotyczące rozmów i SMS-ów, aczkolwiek gubiliśmy pełne informacje, z kim rozmawiamy, chcieliśmy tylko wiedzieć, że rozmawiam z tą osobą 5 razy jednego dnia, 2 razy kolejnego dnia, nie interesowało nas, że to jest ten konkretny numer.

Zbieraliśmy dodatkowo kwestionariusze dotyczące osobowości użytkowników, które opcjonalnie mogli wypełniać użytkownicy. Mieliśmy taki prosty kwestionariusz, który pomagał oceniać osobowość, a po wypełnieniu użytkownicy dostawali ładny wykresik, jaki jest ich profil osobowości. Dodatkowo użytkownicy mieli taką opcję, że dwa razy dziennie pojawiało im się pytanie: „jak teraz się czujesz?”, w odpowiedzi mogli ustawić buźkę, czy są zadowoleni, czy niezadowoleni. Użytkownicy dostawali później, jako feedback, kalendarz pokazujący, jak się czuli każdego dnia, wyświetlaliśmy również te informacje na mapie, mogli zobaczyć, jak się w konkretnych miejscach.

Zbieraliśmy te dane, ale staraliśmy się nie robić tego cały czas, mniej więcej co pół godziny zbieraliśmy lokalizacje. Interesowało na nie to, w jakich lokacjach jest człowiek tylko, jak się porusza, czy ten człowiek siedzi cały czas w domu, czy porusza się tylko na osi dom-praca, a może często wychodzi wieczorem. To było coś absolutnie kluczowego z punktu widzenia badań nad depresją. Jeszcze mieliśmy akcję dotyczącą satysfakcji z życia i podstawowych cech demograficznych takich jak płeć, wiek i wykształcenie.

To już wiadomo, jakie dane były zbierane. A jakie predykcje można zrobić na podstawie takich danych? Pewnie można zrobić wiele rzeczy, więc może skupmy się na 3-5 najciekawszych, mniej oczywistych przypadkach.

Predykcje z tych danych to jest jeden aspekt. Z naszej perspektywy bardzo ważną rzeczą jest nawet nie predykcja, ale sam opis tych danych w kontekście korelacji albo tego, jak wyglądają rozkłady tych danych w sensie statystycznym, bo tak naprawdę takie badania są często prowadzone przez różne firmy, które opisują rynek aplikacji mobilnych, ale w tej skali nie było dużo badań dotyczących tego, jak ludzie korzystają z telefonów komórkowych. Taka informacja jest bardzo ciekawa dla badaczy, którzy się tym zajmują. Wracając do tematu predykcji, to jest faktycznie coś takiego, co się automatycznie nasuwa ludziom, którzy zajmują się machine learningiem.

Pojawiło nam się parę ciekawych rzeczy. Część rzeczy jest jakby oczywista i bardzo prosta do przewidzenia – to na przykład była płeć, wiek. Trudniejsze jest przewidywanie osobowości – tu się okazywało, że proste klasyfikatory nie były bardzo skuteczne. Trzeba zauważyć, że jeżeli chodzi o testowanie osobowości, kwestionariusze, które wypełniamy nie są doskonałym wymiarami, że często powtarzalność tych wyników jest rzędu 60%, więc to też musimy wziąć pod uwagę, jeżeli chodzi o przewidywanie osobowości.

Okazało się, że jesteśmy w stanie w dużym stopniu określić, kiedy ludzie śpią, po czasie, kiedy nie korzystają z komórek. Jest to coś, czego nie planowaliśmy wcześniej. Otrzymaliśmy bardzo fajny estymator wielkości snu. Nie jesteśmy w stanie przewidzieć tego, jak ktoś długo śpi dla każdego, na przykład dla osób, które korzystają bardzo mało z telefonów komórkowych, te dane, które dostajemy są słabe. Pierwsza rzecz, którą wiele osób robi rano, to wyłączenie budzika albo sprawdzenie wiadomości. Ostatnia rzecz, jaką ludzie robią przed snem, to położenie telefonu komórkowego.

Oczywiście to nie jest doskonała miara, bo może być powiedzmy pół godziny różnicy między tym czasem, a faktycznym czasem snu, ale magia tego polega na tym, że mamy dane na temat tego, jak ludzie śpią dla 100 tysięcy osób. Jest to jedno z największych badań, jakie były kiedykolwiek przeprowadzone, jeżeli uznamy, że faktycznie jest to sensowna miara snu. To było coś, co zupełnie nas zaskoczyło. To, do czego dążymy w długim czasie, to chcielibyśmy rozpoznawać symptomy stanów depresyjnych. Jest to dużo trudniejszy problem, który wymaga połączenia różnych prostszych aspektów, na przykład połączenia pewnych cech osobowości, tego, jak dużo człowiek się porusza, jak długo śpi – sen jest bardzo kluczową rzeczą przy określaniu stanów depresyjnych, jak komunikuje się z innymi ludźmi, czy jest to komunikacja głównie przychodząca czy wychodząca, z iloma osobami się na co dzień komunikujemy, jak dużo czasu spędzamy w aplikacjach związanych z komunikacją. To wszystko są aspekty, które musimy wziąć pod uwagę, jeżeli chcemy przewidywać stany depresyjne. To jest problem, nad którym dopiero pracujemy i jest to gdzieś daleko na horyzoncie, ale do tego chcielibyśmy zdecydowanie dążyć.

Rozumiem, że większość osób to były osoby z Niemiec. Jaka jest średnia długość snu w Niemczech?

W tej chwili nie mam dostępu do tych danych, patrzyłem na te dane około pół roku temu, mieliśmy kilka różnych estymatorów, które dawały różne wyniki, ale ostatecznie było to około 7 godzin. Gdy rozmawialiśmy z osobami, które zajmują się snem, to oni mówili, że jest to troszkę za dużo. Widać, że było jakieś przesunięcie około 20 minut.

Myślę, że jest to ciekawe i moglibyśmy na ten temat rozmawiać bardzo długo. Zadam teraz pytanie z troszkę innej działki, ale też powiązane z tematem rozmowy. Jesteś ze środowiska akademickiego i znasz pewnie wiele osób czy grup na innych uczelniach, zajmujących się podobnymi tematami. Powiedz o kilku z nich, najbardziej interesujących, inspirujących czy wręcz zadziwiających.

Mówimy o badaniach z kręgu Computational Social Science i często ich fundamentem były badania prowadzone na sieciach społecznościowych. Było bardzo wielu naukowców, którzy byli dla mnie ogromną inspiracją, do nich należą Duncan Watts, który wymyślił tak zwane małe światy, również Barabási, który działał w tych sieciach. Dziesięć lat temu był to najgorętszy temat.

Kolejne niesamowite grupy związane były z MIT Media Lab, które robiły badania bardzo podobne do naszych. MIT Media Lab lubią tworzyć różne śmieszne urządzenia, które dają na przykład swoim studentom i oni zbierają dane. Stamtąd wywodzi się znany badacz Alex Pentland, autor książki „Social Physics”.

Oni robili badania sieci społecznych w prawdziwym świecie, dali pięćdziesięciu studentom smartfony i dodatkowo sensory, które potrafiły łapać to, jak ci ludzie rozmawiali ze sobą w rzeczywistości, dzięki temu można było zbadać, jak wyglądają pełne sieci społeczne dla grupy osób.

Z tamtego teamu wywodzi się Rosalind Picard, która wykorzystuje telefony komórkowe, ale również bardzo różne sensory, które wybierają takie dane jak puls, częstotliwość bicia serca, jak skóra przewodzi prąd i takie sygnały fizjologiczne bardzo często pozwalają dostać dużo ciekawych informacji, co się dzieje z człowiekiem.

Z jej grupy wywodzą się bardzo ciekawe start-upy jak Empatica i Affectiva. Empatica na przykład tworzyła urządzenia, które pozwalają zobaczyć, co myślą i co czują dzieci z autyzmem – niesamowite, absolutnie fantastyczne badanie.

Ostatnia osoba, o której chciałem wspomnieć, która jest interesująca a jednocześnie kontrowersyjna, to Michał Kosiński z Uniwersytetu Stanforda. Wiele osób pewnie o nim słyszało w związku z badaniami Cambridge Analytica. On jako pierwszy opublikował badania, które mówiły, że z aktywności na Facebooku, tego, co człowiek lajkuje, można określić osobowość człowieka, jak również bardzo wiele innych ważnych zmiennych dotyczących człowieka, jak na przykład poglądy polityczne, status społeczny, w przybliżeniu iloraz inteligencji.

Ten naukowiec w ostatnich latach zasłynął też innym bardzo kontrowersyjnym badaniem – zebrał zdjęcia z profili z jednego z serwisów randkowych online i na tej podstawie wyliczył klasyfikator, który był w stanie przewidzieć, czy dana osoba należy do mniejszości seksualnej. O tym badaniu było ostatnio bardzo głośno.

Z punktu widzenia naukowego te badania są dość ciekawe, bo wystarczy kilka zdjęć i można na ich podstawie powiedzieć sporo o danej osobie. Zmienię temat. Jakie zastosowanie to może mieć w biznesie? Pewnie jest wiele „czarnych” scenariuszy, jak manipulacja ludźmi, namówienie ich, co kupować lub na kogo głosować. Czy są przykłady, gdzie można to wykorzystać na korzyść ludzkości? Mam na myśli, że przeciętny Kowalski stanie się np. bardziej szczęśliwy przez to, że zastosujemy taki model. Czy masz takie przykłady?

Przychodzą mi na myśl dwa przykłady.

Mówiłem wcześniej o start-upach wywodzących się z MIT Media Labu, chyba Affectiva stworzyła oprogramowanie pozwalające na rozpoznanie emocji osoby z głosu lub sekwencji wideo. To rozwiązanie może być wykorzystywane przy różnych infoliniach lub gdy mamy barierę kulturową – jeśli rozmawiamy z osobą z Japonii, a Japończycy wyrażają emocje w niecodzienny, niejasny dla nas sposób, to aplikacja pozwala nam rozpoznawać te emocje i ułatwia komunikację. Taka aplikacja może mieć zastosowanie przy interfesjach człowiek-komputer, chatbotach. To jest jeden taki aspekt.

Absolutnie fascynujące wydaje mi się być zastosowanie czujników pozwalających na lepsze odczytywanie emocje dzieci z autyzmem. Sądzę, że prawie każdy rodzic dziecka autystycznego chciałby wiedzieć więcej, zrozumieć, co się dzieje, co dziecko myśli.

Drugi przykład, który dla mnie jest bardzo ciekawy i wydaje mi się, że jest to temat, który biznesowo stanie się bardzo ważny za kilka lat. To są właśnie tematy związane z różnymi chorobami psychicznymi i ich wczesną diagnostyką. Kilka lat temu człowiek, który był szefem naszego instytutu w National Institute of Mental Health (NIMH) w Stanach Zjednoczonych Thomas Insel, legendarny naukowiec, jeżeli chodzi o nauki związane z mózgiem, powiedział, że to, w jaki sposób teraz określamy choroby psychiczne jest absolutnie nieakceptowalne, jest to oparte o pewien podręcznik, który określa, że dane cechy oznaczają konkretną chorobę.

On twierdzi, że w tej chwili możemy to robić dużo lepiej właśnie przy pomocy smartfonów, czujników i dzięki nim lepiej zrozumieć, co się dzieje z tym człowiekiem, to może dotyczyć depresji, choroby dwubiegunowej. To daje nam zupełnie nowe możliwości diagnostyki, określenia tego, czym faktycznie jest ta choroba, co się dzieje z tą osobą przez cały czas. Nie jest tak, że rozmawiamy z tą osobą kilka razy w miesiącu czy kilka razy na rok, jesteśmy w stanie zobaczyć, co się dzieje z tą osobą w każdej chwili. Pojawiają się bardzo ciekawe metody terapii, które są skomputeryzowane. Wydaje mi się, że to jest absolutnie bardzo ważny temat, który będzie się rozwijał i prawdopodobnie może zrewolucjonizować na dłuższą metę nasze nasze zrozumienie takich schorzeń.

Bardzo Ci dziękuję za te przykłady. Porozmawiajmy teraz o etyce. Żyjemy w czasach, kiedy formy mające dostęp do danych, mają narzędzia do manipulacji. Bardzo głośna jest sprawa, o której wcześniej wspomnieliśmy, Cambridge Analytica. Trochę mi to przypomina historię ze Snowdenem, kiedy ludzie nagle się obudzili, że ktoś może ich dane zbierać, ale w krótkim czasie wszystko wróciło do normy, jakby wszyscy o tym zapomnieli i tak naprawdę nic się nie zmieniło, może poza większą popularnością chmury. Na zdrowy rozsądek, logicznie byłoby, żeby wraz z rozwojem technologii, rozwijano również tematy etyczne, bo inaczej trafiamy w tak zwany „Dziki Zachód”. Ten kto ma broń, narzędzia – w tym przypadku jest to ML (uczenie maszynowe) – ten zwycięża. Jak to wygląda z Twojej perspektywy? Jak odbierasz ten nasz świat?

Masz sporo racji, że tematy etyczne są kluczowe. Dla naukowca, który zajmuje się takimi dużymi danymi, big data, to jest coś, co powinno być wymogiem, ponieważ mamy bardzo dużo pułapek. Jest taka znana książka w tych tematach „Weapons of Math Destruction”. Algorytmy, które uruchamiamy na tych danych, naprawdę  potrafią zrobić krzywdę wielu ludziom, dlatego powinniśmy dbać o tę etykę i szczególnie to jest ważne wśród naukowców, którzy często są awangardą tego, co się dzieje i powinni pokazywać dobrą drogę działania, badania tych danych, pracy na takich danych. Nie wiem, czy odpowiedziałem na Twoje pytanie.

Zadaję to pytanie, bo ten problem istnieje i ciekawe mnie, jak do niego podchodzi środowisko akademickie. Z jednej strony wymyślanie algorytmów to jest trochę zabawa, trochę eksperymenty, ale wydaje mi się, że dość często zapomina się o możliwych skutkach. Jeśli ktoś będzie miał te narzędzia, wykorzysta je do swoich celów – biznes niestety lubi grzeszyć, bo to daje pieniądze. Powiem, że ta sytuacja mnie martwi.

Po tym skandalu z Cambridge Analytica ludzie zaczęli reagować, np. usuwać swoje konta z Facebooka. Elon Musk robiąc kolejny PR dolał oliwy do ognia. Jednak sieci społecznościowe jak Facebook są wygodne, ludzie się od nich uzależniają. Załóżmy, że człowiek nie może z tego zrezygnować, bo się już przyzwyczaił, to jest taka grupka ludzi, która mówi: a teraz spróbujmy udawać kogoś innego, lajkujmy inne poglądy niż nasze albo w sposób losowy. Tak się zastanawiam, na ile jest możliwe ukrywanie się na dłuższą metę, bo człowiek nadal jest człowiekiem i nawet jeżeli próbuje udawać kogoś innego, to nadal jest rozpoznawalny. Nie mam próbki danych, żeby to zweryfikować, ale na poziomie intuicji odczuwam, że nie da się tego zrobić na dłuższą metę, chyba że masz rozpisany jakiś automat, algorytm, ale w tym przypadku nie jesteś człowiekiem. Jestem ciekaw Twojej opinii, co o tym myślisz?

To jest bardzo ciekawe pytanie i myślę, że bardzo blisko związane z badaniami, które prowadziliśmy.

Jeszcze chciałem udzielić odpowiedzi na pytanie, które zadałeś wcześniej, a dotyczące tego, jak naukowcy podchodzą do tematu etyki. To jest kluczowy aspekt dotyczący naukowców. Naukowcy, którzy chcą później ulokować badanie w czasopismach, które są uznawane za znaczące, muszą otrzymać zgodę na badania od Instytut IRB (Institutional Review Board), będący jakby wewnętrzną komisją, która ocenia te badania. Ocena badania z punktu widzenia etyki zazwyczaj wymaga pewnych cech tych badań, wymaga tego, żeby ludzie biorący udział w badaniu zazwyczaj wyrazili na nie zgodę. Badania muszę mieć ograniczenia i to jest to jest dość powszechny wymóg, który czasami jest traktowany po macoszemu, szczególnie w badaniach związanych z informatyką i to prowadzi do różnych konfliktów.

Było dosyć głośno na temat badania Facebooka, w którym Facebook zmieniał nieco rzeczy ludziom na profilu, żeby sprawdzić, czy pokazywanie ludziom wielu pozytywnych rzeczy na profilu powoduje, że oni wyrażają więcej pozytywnych emocji. Bardzo wielu ludzi było oburzonych, bo stwierdzili, że uczestnicy nie wyrazili do końca zgody na wzięcie udziału w tym badaniu, bo badanie było zrobione na użytkownikach Facebooka. To jest przykład takiego badania, stojącego gdzieś na pograniczu etyki.

Wracając do tematu zachowań, jak możemy się chować w tych sieciach i próbować zmylić te algorytmy, to sami mieliśmy taką zaskakującą sytuację, kiedy patrzyliśmy na nasze dane. W pewnym momencie stwierdziliśmy, że sprawdzimy, jak możemy rozpoznawać unikalnych użytkowników naszych aplikacji. Okazało się, że zbiór aplikacji, z których użytkownik korzysta jest unikalny dla praktycznie wszystkich użytkowników w naszym zbiorze. Przeprowadziliśmy badanie dla grupki 50 tysięcy osób i dla praktycznie dla 99,7% osób ten zbiór był unikalny. Co ciekawe, to badanie ktoś powtórzył w tym roku na użytkownikach iPhonów i ich wynik był praktycznie taki sam, co to znaczyło, że wystarczy niewielki kawałek informacji o człowieku, żeby wnioskować, że to jest faktycznie ten człowiek. Dodatkowo odległości pomiędzy zbiorami tych aplikacji były dosyć duże. Człowiek musiałby zainstalować 5 aplikacji, żeby jego profil pokrył się z profilem innego użytkownika, ale musiałby wiedzieć konkretnie, jakie są te aplikacje.

Podobne wyniki się potem pojawiły przy konkursie Netflixa na algorytm rekomendujący. Netflix wypuściła dane, do wygrania był milion dolarów dla osoby, która ulepszyłaby odpowiednio algorytm rekomendujący. Kiedy te dane się pojawiły, bardzo szybko kilku badaczy stwierdziło, że są w stanie na podstawie tych danych połączyć się z profilami na serwisie IMDb i na podstawie tego, jakie filmy ktoś oglądał na Netflixie, znaleźć tego człowieka na IMDb. Wydaje mi się, że bardzo podobne badania były prowadzone na temat profili na Spotify i tego, jakich piosenek ludzie słuchają. Sądzę, że takie ukrywanie się jest bardzo trudne i wymaga zmiany naszego zachowania na każdym poziomie. Musielibyśmy zmienić rzeczy, które robimy nie całkiem świadomie. Jeżeli chcemy zmienić wszystkie filmy, jakie oglądamy, muzykę, jakiej słuchamy, ludzi, z jakimi rozmawiamy, aplikacje, z jakich korzystamy w telefonie, to jest naprawdę trudna rzecz, musielibyśmy się w jakiś sposób stać innym człowiekiem albo utrzymywać naszą obecność w mediach społecznościowych w jakiś dziwny sposób.

Tak naprawdę jedyną metodą byłoby utrzymywanie absolutnej absencji od wszystkich elektronicznych sposobów komunikacji, korzystania z jakichkolwiek elektronicznych zasobów, to wtedy może by się udało. Wiem, że Tomasz Michalak z Uniwersytetu Warszawskiego ostatnio dokonał ciekawej publikacji na temat tego, jak ukryć się w sieci społecznościowej i on pokazywał, że są takie metody. Jeżeli nagle zmieniamy zasadniczo swoje zachowanie i zaczynamy rozmawiać z inną grupą osób, namawiamy naszych znajomych, żeby oni też zaczęli się porozumiewać między sobą, to jesteśmy w stanie w jakiś sposób ukryć się w tej grupie, zamaskować to zachowanie, ale jest to bardzo trudne i wymaga faktycznie zasadniczej zmiany naszego zachowania.

A spróbujmy to zrozumieć z innej strony, z punktu widzenia technicznej realizacji eksperymentu, który zrobiła Cambridge Analytica. Są pewne publikacje, które pokazują, że taki prosty model, dający bardzo fajne wyniki, może napisać nawet ogarnięty student, zakładając, że ma dostęp do danych. Kiedy czytałem ten artykuł, to z jednej strony faktycznie wygląda dość prosto, ale z drugiej strony zastanawiałem się, czy to jest dostępne prawie dla wszystkich.

Zapytam poprzez analogię. Jest taka znana firma DeepMind, która zbudowała AlphaGo, program, który wygrał z najlepszym graczem w go. Potem wydali publikację, w której wytłumaczyli, jak działa AlphaGo i generalnie wszystko jest zrozumiałe. Jednak powtórzyć ten sam wynik będzie dość trudno, bo dość istotne informacje na temat parametrów nie zostały podane i to oznacza, że aby powtórzyć ten sam wynik, to trzeba mieć zasoby. Nasuwa mi się takie pytanie, czy to, co zrobiło Cambridge Analytica, też jest mało powtarzalne, czy może jest dostępne dla każdego i jest to tylko kwestia posiadania danych.

To jest bardzo ciekawe pytanie. Wydaje mi się, że jest kilka aspektów. Jedna rzecz jest taka, że nie do końca wiemy, co Cambridge Analytica zrobiła, a co tak naprawdę oni mówią, że zrobili. Być może duża część tego, co słyszymy, jest w jakimś stopniu oparte na marketingu, być może to, co oni mieli pod spodem wcale nie było takie zaawansowane. Te publikacje, o których wspominasz, to są publikacje jednego z naukowców, o których wcześniej mówiłem, wydaje mi się, że chodzi Ci o artykuły Michała Kosińskiego. Wyniki, które są w tych publikacjach, nie są takie potężne – dokładność, z jaką otrzymujemy osobowość tego człowieka na podstawie profili z mediów społecznościowych, nie jest zbyt duża. Nie jest do końca pewne, że oni robili coś naprawdę mądrego – to jest jeden aspekt.

Druga sprawa jest taka, czy jesteśmy to w stanie powtórzyć. Prawda jest taka, że jeżeli mamy dane, to te badania są bardzo łatwe do powtórzenia, w większości są oparte na prostych klasyfikatorach liniowych. To jest bardzo częsta rzecz, jeżeli chodzi o takie badania społeczne, że ta część związana z machine learningiem zazwyczaj jest bardzo prosta do powtórzenia. Tak naprawdę główna trudność polega właśnie na zdobyciu tych danych odpowiedniej jakości, co nie jest wcale proste. Łatwo jest zdobyć dane z Facebooka. Nie wiem, czy wiesz, jak wyglądało tworzenie aplikacji dla Facebooka około roku 2012-2013? Oni faktycznie wysyłali te dane i naprawdę bardzo trudno było ich nie dostać. Wydaje mi się, że firm, które w tej chwili mają olbrzymią liczbę profili Facebookowych, jest naprawdę dużo, prawdopodobnie co trzeci amerykański start-up ma wielką bazę danych na temat użytkowników Facebooka. Był taki ciekawy artykuł człowieka, który napisał aplikację Cow Clicker na Facebooka, która polegała na tym, że po prostu klikało się na krowy, Ta aplikacja zebrała ogromną liczbę profili Facebookowych, to był taki czas, kiedy te dane Facebook wysyłał powszechnie.

Jeśli mam dane z Facebooka, chcę dostać dane na temat osobowości, jest to trudne, bo ten człowiek musi dać nam te dane, te dane do uczenia są kluczowe i one muszą być bardzo czyste, naprawdę bardzo dobrej jakości, żeby to uczenie miało sens. Tutaj wchodzi kolejny, moim zdaniem niedoceniany aspekt w machine learningu – ta najtrudniejsza część to wcale nie jest stworzenie tego algorytmu, tylko właśnie zebranie odpowiednich danych, które będą miały fajną jakość i to jest szczególnie trudne, jeżeli chodzi o dane psychologiczne, behawioralne, bo gdy pytamy ludzi, to oni po prostu mogą nas okłamać, jeżeli nie mają żadnej pobudki ku temu, żeby nam mówić prawdę. Wydaje mi się, że ciekawym podejściem jest CAPTCHA,  to jest ciekawy pomysł, jak pozyskiwać dane i jak motywować użytkowników, żeby nam dawali prawdziwe dane. Moim zdaniem takie rzeczy bardzo często będą grały teraz ważną rolę w różnych badaniach i szeroko pojętym machine learningu.

Załóżmy, że masz dostęp do wszystkich danych na Facebooku albo do jakiejś większej ilości. Jakie najgorsze albo najlepsze rozwiązanie można na tym zbudować, zakładając, że masz na to budżet. Podaj może kilka przykładów.

To jest dosyć trudne pytanie, bo tak naprawdę Facebook zatrudnia wielu fantastycznych naukowców, którzy są dużo mądrzejsi, dużo lepsi ode mnie. Wydaje mi się, że oni sami do końca nie wiedzą, co zrobić z tymi danymi, więc nie czuję się w odpowiedniej pozycji, żeby móc wymyślać najlepsze i najgorsze scenariusze. Myślę, że gdzieś tam mieliśmy próbkę tego, w jaki zły sposób możemy wykorzystać te dane. Był taki czas, że faktycznie te fałszywe newsy dominowały i były skierowane do konkretnych osób. Nie jest trudno sobie wyobrazić, jak takie technologie możemy wykorzystać do bardzo złych celów, jak możemy manipulować ludźmi na bardzo dużą skalę, jest to przerażające. Ciężko jest mi sobie wyobrazić absolutnie najgorszy scenariusz, ale możliwości są przerażające – Facebook to w pewnym momencie zrozumiał i próbuje blokować takie rzeczy. Jest to bardzo trudne, bo jest to wpisane w DNA Facebooka, który promuje te treści, które są popularne, ludzie lubią je oglądać.

Z drugiej strony wydaje mi się, że Facebook był bardzo długo atrakcyjny dla wielu naukowców w tych naukach społecznych, bo jest to w pewien sposób jedno z największych istniejących laboratoriów – mamy bardzo dużo osób, możemy zobaczyć ich zachowanie na wielu poziomach, co się z nimi dzieje, możemy wpływać na to zachowanie, prowadzić różne eksperymenty. Wydaje mi się, że wiele osób stwierdziło, że, z punktu widzenia naukowca, badacza społecznego, możliwość tworzenia takich badań jest to szansa, jaka nie istniała nigdy wcześniej w historii. Oczywiście ma to ograniczenia, ale jesteśmy w stanie pomagać ludziom rozpoznawać choroby psychiczne, pomagać ludziom, którzy mają mają duże problemy, odpowiednio kierować naszą pomoc do potrzebujących takiej pomocy – tutaj też możliwości są niesamowite. Jestem pewien, że wiele osób pracuje nad takimi rzeczami. Jednak ten medal ma dwie strony – te same algorytmy, które jesteśmy w stanie wykorzystać do dobrych  celów, możemy bardzo często wykorzystać do złych celów. Jest to naprawdę duże wyzwanie.

W takim razie trzymamy kciuki, żeby te algorytmy jednak były używane do dobrych celów. I ostatnie pytanie na dziś: gdzie można znaleźć Ciebie w sieci?

Niestety moja obecność w sieci jest dosyć mizerna, a nie mam żadnej osobistej strony, to prawdopodobnie powinienem naprawić w najbliższym czasie. Większość osób, które interesują się tymi badaniami, o których opowiadałem odsyłam do strony naszego projektu menthal.org. Tam jest dużo informacji o wszystkich badaniach, publikacjach. Jeżeli ktoś chciałby wiedzieć, nad czym ja pracuję, polecam mój profil na Google Scholar, a jeżeli ktoś chce się skontaktować ze mną bezpośrednio, najlepiej napisać o mnie mail na adres: konrad.blaszkiewicz(at)gmail.com. Mam nadzieję, że w najbliższym czasie uda mi się nadrobić braki w obecności w sieci i pojawi się moja własna strona, bo jeszcze nad nią pracuję.

Bardzo Ci dziękuję Konrad za ten czas i Twoją chęć podzielenia się swoim doświadczeniem, wiedzą, bo w świecie akademickim macie publikacje, ale jest ten świat odizolowany od publiczności, dość często dlatego, że język, którym się posługujecie, jest zbyt skomplikowany.

Dziękuję bardzo.

No właśnie, co myślisz po tej rozmowie? Czy zamierzasz usunąć swoje konto na Facebooku? Być może nie będziesz klikać, być może namówisz swoich znajomych, żeby klikali trochę inaczej czy rozmawiali z innymi ludźmi. Bardzo jestem ciekaw Twojej opinii, ale mam nadzieję, że udało się przynajmniej częściowo wyjaśnić, jakie są możliwości, ale również jakie są zagrożenia.

Jeszcze na koniec mam ogłoszenie. Zostałem poproszony o przekazanie informacji, że 26 i 27 maja odbędzie się Maraton Analizy Danych. Jeszcze powiem o kilku wydarzeniach i konferencjach, które odbędą się w najbliższym czasie, a na które zostałem zaproszony. Po pierwsze 12 maja w Lublinie odbędzie konferencja Click – jeżeli jesteś z Lublina albo z okolic bardzo serdecznie cię zapraszam. Następnie 17 maja będzie spotkanie w Poznaniu, to jest taka grupa, która rozszerza swoją działalność w różnych miastach Polski i będzie to pierwsze spotkanie w Poznaniu, więc jeżeli jesteś z Poznania albo okolic, bardzo serdecznie zapraszam. I jeszcze jedno spotkanie, które chcę wspomnieć dzisiaj – 19 maja odbędzie konferencja Greenfield w Zielonej Górze, jeżeli jesteś z okolic Zielonej Góry i 19 maja masz czas, to serdecznie zapraszam na to spotkanie.

Prawdopodobnie wiesz, że prowadzę szkolenia, jak zacząć stosować uczenie maszynowe w praktyce dataworkshop.eu. Już skończyła się druga edycja. Dostaję teraz bardzo dużo pozytywnej energii, naprawdę daje mi to poczucie, że to co robię ma sens i mam ochotę to kontynuować, pomimo tego że jest to bardzo wyczerpujące. Muszę przyznać, że zajmuje to dużo czasu i w trakcie kursu naprawdę jestem wycięty z życia, prawie nie mam kontaktu z rodziną, ale kontynuuję to, bo czuję, że to ma sens. Robię maksymalnie dwie edycje na rok, z uwagi na to, że zajmuje to tak dużo czasu, ale chciałbym podobnie jak po pierwszej edycji zrobić podsumowanie i podzielić się doświadczeniami albo opiniami ludzi, którzy wzięli udział, żeby pokazać, że poziom wiedzy osób, które przeszły przez kurs, był dość mocno zróżnicowany, ale każdy znalazł coś dla siebie i o tym chcę zrobić kolejny odcinek.

Dziękuję ci bardzo za Twój czas, Twoją energię, za to, że słuchasz Biznes Myśli i jesteśmy razem. Dziękuję, do usłyszenia, wszystkiego dobrego!

Artykuł Sztuczna inteligencja i nauki społeczne pochodzi z serwisu Biznes Myśli.