Sztuczna inteligencja i nauki społeczne

Z tego odcinka dowiesz się:

• czym zajmuje się Konrad Błaszkiewicz,
• czym są obliczeniowe nauki społeczne Computational Social Science,
• jakie są większe problemy do rozwiązania w obszarach psychologii, socjologii,
• jak smartfony zmieniają badania psychologiczne,
• jaki ma cel i jaki problem ma rozwiązać program Menthal,
• czy ludzie piszą prawdę w kwestionariuszach,
• czy smartfony mogą pomóc w badaniach nad depresją i wczesnym jej wykrywaniu,
• co robią najbardziej inspirujące osoby z dziedziny Computational Social Science,
• co może pomóc poznać, co myślą i czują dzieci z autyzmem,
• jakie informacje o człowieku można poznać analizując jego aktywność na Facebooku,
• jakie zastosowanie mogą mieć badania na sieciach społecznościowych w biznesie,
• czy w sieciach społecznościowych można się schować,
• jak naukowcy podchodzą do tematu etyki,
• do jakich celów można wykorzystać badania prowadzone w sieciach społecznościowych.

Świat zmienia się szybciej niż myślisz, to pewnie już wiesz. Żyjemy w czasach, kiedy Mark Zuckerberg musi się tłumaczyć przed Kongresem, że maile niekoniecznie wysyła się przez WhatsAppa i z wielu innych rzeczy związanych ze sprawą Cambridge Analytica. To wszystko stało się ostatnio bardzo głośne. Zależało mi na tym, żeby trochę opowiedzieć o tym temacie, chociaż jest tam dużo dezinformacji wprowadzonej przez dziennikarzy, którzy niespecjalnie się na tym znają, jak również podejścia marketingowego, z pomocą którego próbuje się udawać, że coś tam się dzieje, a to niekoniecznie ma miejsce.

Gdy próbowałem badać ten temat bardziej naokoło i zrozumieć, co było, a co nie było możliwe, to pomyślałem, że fajnie byłoby zaprosić osobę, która pracuje w podobnych tematach związanych z badaniem psychologii, socjologii, ogólnie rzecz biorąc nauk społecznych i zaprosiłem taką osobę.

Dzisiejszym gościem jest Konrad Błaszkiewicz – doktor na Uniwersytecie w Bonn. Konrad po raz pierwszy w życiu uczestniczy w podcaście, więc troszkę się przejmował, ale daruj mu to, bo ten człowiek jest naprawdę niesamowity i bardzo inspirujący. Szczerze mówiąc chciałbym, żeby wśród naukowców czy w biznesie było coraz więcej takich osób pozytywnych, nastawionych na to, żeby ludziom pomagać.

---

Cześć Konrad, przedstaw się kim jesteś, czym się zajmujesz, gdzie mieszkasz?

Cześć Vladimir. Nazywam się Konrad Błaszkiewicz, na co dzień mieszkam w Warszawie. Jestem doktorantem na Uniwersytecie w Bonn. Pracuję nad projektem, który nazywa się Menthal, w którym na dużą skalę analizujemy, jak ludzie korzystają z telefonów komórkowych, jaki mają wpływ na ich codzienne życie, jak można wykorzystać telefony komórkowe do zajęć psychologicznych, psychiatrycznych, medycznych czy nauk medycznych.

Wszystkie te tematy są bardzo ciekawe, będziemy o nich rozmawiać. A teraz pytanie: co ostatnio czytałeś?

Jestem człowiekiem, który lubi zaczynać bardzo dużo książek, często czytam dużo książek na raz, bardzo lubię audiobooki. Ostatnio czytałem książkę pod tytułem „Bit by Bit: Social Research in the Digital Age”, której autorem jest naukowiec z Princeton – Matthew Salganik. Jest to taki podręcznik nauk społecznych dla ery cyfrowej. Absolutnie fantastyczna książka, która jest dosyć nieznana w środowisku data science, a mogę ją polecić każdemu, kto pracuje z danymi i jest zainteresowany naukami społecznymi. Bardzo lubię klasykę i ostatnio czytałem również książkę  „Wojna i pokój” Tołstoja.

 

Przejdźmy teraz do tematu. Ale najpierw trochę kontekstu. Czym są obliczeniowe nauki społeczne (Computational Social Science)? Najlepiej będzie jeśli podasz praktyczne przykłady.

Podejście w obliczeniowych naukach społecznych polega na wykorzystaniu różnych metod obliczeniowych, nowych technologii. Wydaje mi się, że najciekawszą częścią jest wykorzystanie nowych metod pozyskiwania danych. Często jest to pozyskiwanie cyfrowych śladów działalności człowieka, czy to w sieciach społecznościowych, czy badanie zachowania poprzez telefony komórkowe, różne sensory. Możemy również wykorzystać te techniki obliczeniowe by symulować różne zachowania. Jest to nowe podejście do klasycznych nauk społecznych, które opierają się o dawne metody, jak scenariusze i przełożenie ich na nowe technologie.

Zajmujesz się analizą danych na pograniczu psychologii lub socjologii, ogólnie rzecz biorąc, nauk społecznych. Zadam Ci dość fundamentalne pytanie: dlaczego zdecydowałeś się zająć nauką właśnie w tym obszarze?

Jest to temat, który zawsze był dla mnie ciekawy, aczkolwiek życiowo dużo lepiej wychodziły mi rzeczy związane z naukami ścisłymi: informatyką, matematyką, fizyką. Pod koniec moich studiów poznałem profesora Alexandra Markowetza z Uniwersytetu w Bonn, który miał parę pomysłów ma to, jak można przełożyć techniki informatyczne, by można robić badania psychologiczne. W pewnym momencie Profesor Markowetz zapytał się mnie, czy chciałbym zacząć pracować nad projektem Menthal. Chcieliśmy wykorzystać smartfony do badań psychologicznych, wydaje się, że są to doskonałe urządzenia do tego celu. Odpowiedziałem, że brzmi to fajnie, bardzo chętnie spróbuję. Zacząłem to jako po prostu ciekawy projekt, a okazało się, że to jest coś, czym obecnie zajmuję się w stu procentach, w tej chwili kończę mój doktorat związany z tym projektem.

Zanim przejdziemy do projektu Menthal, warto byłoby określić, jakie są większe problemy do rozwiązania w obszarach psychologii, socjologii i tak dalej.

Te nauki istnieją od wielu lat i bardzo często opierają się na zbieraniu danych, które ciężko przełożyć na większą skalę, bardzo często opierają się na scenariuszach wypełnionych przez badanych, na badaniach laboratoryjnych, w których ściągamy grupę ludzi, obserwujemy, co oni robią, oni są obserwowani na żywo przez naukowców, którzy spisują swoje notatki. W związku z tym, że tych ludzi musimy ściągnąć do naszego przysłowiowego labu, to bardzo często te badania są prowadzone na studentach, bo oni są dostępni, często bywa tak, że studenci muszą brać udział w badaniach jako wymaganie do zaliczenia przedmiotów.

Nie chcę uogólniać, jest wiele bardzo dobrych badań, które są robione na większą skalę, ale wiadomo, że to powoduje bardzo duże koszty. Nawet jeśli prowadzimy badania korespondencyjne, musimy je wysłać, a potem odczytać wyniki. Dużo badań jest prowadzonych telefonicznie, zatelefonowanie do 10.000 osób jest naprawdę dobrym wynikiem, bo musimy do tych 10.000 osób zadzwonić, oni muszą zgodzić się na udzielenie odpowiedzi na pytania. Jest to spore wyzwanie.

Inny problem z naukami społecznymi jest taki, że dużą część badań jest ciężko zreplikować. Wydaje mi się, że te nauki obliczeniowe, informatyka, data science są odpowiedzią na bardzo tych wyzwań. Mamy łatwy dostęp do danych na temat setek milionów osób. Prowadząc badania na przykład na Facebooku momentalnie mamy dużo większa próbkę. Te dane możemy łatwo automatyczne zebrać, przeanalizować i ten proces możemy w całości zapisać w kodzie. W ten sposób inni naukowcy bez problemów mogą to odtworzyć.

Wydaje mi się, że czeka nas przełom i sposób prowadzenia dużej części badań zostanie zmieniony zupełnie. Przykładem może być psychologia, a z tymi badaniami jestem związany naukowo – moim zdaniem smartfony są doskonałym narzędziem do prowadzenia badań psychologicznych, ponieważ bardzo wiele osób ma smartfony, zazwyczaj nosimy jest cały czas przy sobie,  korzystamy z nich nawet przez 5-6 godzin dziennie, patrząc w ekran, mają wiele różnych sensorów, które potrafią zobaczyć dużo aspektów naszego zarachowania, a do tego pozwalają nam na interakcję z tym człowiekiem, możemy w odpowiednim momencie zadać mu odpowiednie pytanie. Wydaje mi się, że to jest absolutnie doskonałe narzędzie do takich badań psychologicznych.

Powiedziałeś, że na Facebooku można mieć dostęp do danych milionów osób, myślę, że wiele osób pomyślało o Cambridge Analytica. Jeszcze wrócimy do tego tematu.

Jeszcze w tym temacie przyszedł mi do głowy przykład konkretnych badań dotyczących szerokich nauk społecznych i tego, jakie możliwości dają takie badania. Badania prowadził naukowiec Joshua Blumenstrock i opublikował je 2-3 lata temu w jednym z najbardziej prestiżowych czasopism naukowych Science. Ten naukowiec badał, jak bogaci są ludzie w Rwandzie i uzyskał dostęp do połączeń telefonicznych. Mając dostęp do pełnego rejestru rozmów półtora miliona osób, zadzwonił do około tysiąca z nich i zadał pytania dotyczące ich stanu posiadania.

Były takie pytania: „czy posiadasz rower”, „czy posiadasz dostęp do bieżącej wody”. Miał te dwie grupy, ten tysiąc osób oraz większą grupę półtora miliona, i dla obu tych grup miał bardzo dużo danych związanych z tym rejestrem połączeń i on wyuczył klasyfikator na podstawie danych mniejszej grupy, by określił również stan posiadania dla pozostałej grupy półtora miliona badanych.

Ciężko było te badania odnieść do czegokolwiek, co istniało wcześniej, bo on dostał zupełnie nową informację, której nie był w stanie sprawdzić do końca. Okazało się, że po zagregowaniu do pewnych statystyk na temat regionów, te badania mają praktycznie taką samą dokładność, jak statystyki rządowe, które do tej pory były takim złotym standardem, a były 50% tańsze niż wszystkie dotychczasowe badania. To jest taki fajny przykład tego, jak wykorzystanie nowych technologii pozwala osiągać zupełnie nowe badania. To, co zrobimy z tym dalej, to jest otwarte pytanie. Możemy wykorzystać to, żeby wysłać pomoc humanitarną w te regiony, które mają się najgorzej, możemy je wykorzystać do innych eksperymentów społecznych – pozwala to na zupełnie nowe podejście do takich problemów.

To jest bardzo ciekawy przykład. Myślę, że teraz w głowach słuchaczy rodzą się różne pomysły, jak to można zastosować. Dopytam jeszcze: jakie dokładnie informacje posiadał ten człowiek o tych profilach? Czy to była częstotliwość dzwonienia do kogoś, czy coś innego?

Wydaje mi się że dostał pełen rejestr rozmów telefonicznych – tak zwane metadane – najprawdodobniej były to informacje typu „ten numer zadzwonił do innego numeru o tej godzinie” i z tych danych jesteśmy w stanie odtworzyć z iloma osobami ten człowiek się porozumiewał, czy ta komunikacja była zazwyczaj tylko wychodząca, czy może przychodząca, jak duży jest rozmiar sieci społecznej, jak często te osoby rozmawiają, o jakich porach. No i okazuje się, że takie cechy, które można wydobyć z tych danych, mają zdolność produkcyjną.

Rozumiem, to bardzo ciekawy i praktyczny przykład. Myślę, że teraz warto przejść do projektu, którym zajmujesz na co dzień. Projekt ma nazwę Menthal. Powiedz więcej, jaki ma cel i co chcecie osiągnąć, jaki problem próbujecie rozwiązać.

Mówiłem wcześniej o tym, że smartfony są doskonałym narzędziem do prowadzenia badań psychologicznych. Więc my zadaliśmy sobie pytanie, czy przy pomocy smartfonu moglibyśmy odczytać, czy człowiek jest w danym momencie zestresowany, jak zmienia się jego samopoczucie. Zastanawialiśmy się, czy moglibyśmy wcześniej ostrzegać ludzi przed stanami depresyjnymi albo rozpoznawać takie stany depresyjne, bo wydawało nam się, że to jest coś takiego, co ma bardzo duże znaczenie, co może faktycznie pomóc wielu osobom, a jednocześnie jest to naprawdę bardzo ciekawy i trudny problem do pracy.

Zaczęliśmy pracę od stworzenia prostych aplikacji, które przechwytywały różne aspekty tego, jak korzystaliśmy z telefonów komórkowych. Pracowaliśmy na początku na małą skalę – zapraszaliśmy osoby do labu, one wypełniały kwestionariusze, dawaliśmy im tę aplikację na dwa tygodnie. Pracowaliśmy z Wydziałem Psychologii w Bonn i dzięki temu mieliśmy dostęp do skanerów mózgu i pewnych markerów genetycznych. Próbowaliśmy całościowo zbadać różne aspekty tego, co możemy się dowiedzieć o tym zachowaniu. Mieliśmy kilka pierwszych wyników z tych badań.

Pierwszy z nich to sprawdzenie tego, co wydawało się nam oczywiste, ale często rzeczy oczywiste nie są takie proste w naukach społecznych – to, że coś wydaje się nam oczywiste, to nie znaczy, że tak jest. Bardzo często rzecz przeciwna też wydaje się oczywista. To, co chcieliśmy sprawdzić, czy to co zmierzymy,  jest naprawdę dużo lepsze od tego, co powiedzieliby nam o sobie ludzie. Okazało, że faktycznie to, co opowiadali nam ludzie o swoim korzystaniu z telefonu, było praktycznie nie skorelowane z tym, jak oni korzystali z niego naprawdę. Mieliśmy takie śmieszne wyniki, że ekstrawertycy wolą dzwonić, a introwertycy wolą wysyłać SMS-y. W jednym ze wczesnych wyników okazało się, że to, jak często sprawdzamy Facebooka jest związane z objętością istoty szarej w regionie mózgu, który się nazywa nucleus accumbens, nie znam niestety polskiej nazwy, ale jest to region, który bardzo często wiąże się z uzależnieniami.

To były wszystko eksperymenty na małą skalę – do 100 osób. Stwierdziliśmy, że nie ma powodu, byśmy robili to wszystko na małej skali, kiedy z tych naszych aplikacji może korzystać każdy, kto ma telefon z Androidem, bo to był system, na który się zdecydowaliśmy. Postanowiliśmy zrobić takie badanie na większą skalę, a więc musieliśmy stworzyć aplikację, z której ludzie faktycznie chcieliby skorzystać, która będzie dawała ludziom coś w zamian, bo nie każdy będzie chętny, żeby ściągnąć aplikację tylko dlatego, żeby wspomóc naukę. Różnych aplikacji jest bardzo dużo, one często obciążają telefon i tak naprawdę nie mamy żadnych takich pobudek, żeby pobrać taką aplikację. Interesowało nas to, jak ludzie faktycznie korzystają ze smartfonów. Stwierdziliśmy, że stworzymy aplikację, która będzie taką wagą cyfrową, która będzie pokazywała ludziom, w jaki sposób korzystają ze smartfonów, pokazywała, jak dużo korzystają z różnych aplikacji i miała pomóc ludziom sprawdzić, czy faktycznie są uzależnieni od smartfonów, czy korzystają z nich za dużo, czy zabierają im za dużo czasu i to było hasło, które nam przyświecało i nim promowaliśmy tę aplikację. Oczywiście wszyscy użytkownicy aplikacji musieli wyrazić zgodę na zbieranie danych na potrzeby naszych badań. Ta aplikacja stała się głównym motorem naszych późniejszych badań.

Ściągnęło ją ostatecznie ponad pół miliona osób, co było dla nas wielkim szokiem, gdyż sądziliśmy, że nie będzie korzystało z niej więcej niż kilka tysięcy osób, a to pozwoliło nam zacząć badania na zupełnie innej skali i podejść do tego zupełnie inaczej.

Ta liczba pobrań – pół miliona ludzi z ponad 100 krajów – jak widzisz taką liczbę, to chce się powiedzieć WOW i każdy, kto ma start-up albo własny biznes, chciałby osiągnąć podobny wynik. Z jednej strony mieliście coś użytecznego, ale z drugiej strony jest dużo aplikacji, które mają coś użytecznego, czemu akurat w waszym przypadku było tak dużo pobrań, czy była jakaś przemyślana promocja, wsparcie medialne czy coś innego? Możesz zdradzić szczegóły?

Wydaje mi się, że to była kilka czynników. Nasz pomysł trafił na bardzo dobry czas, włożyliśmy oczywiście w to trochę pracy, ale tak naprawdę mieliśmy bardzo dużo szczęścia. Wszystko działo się głównie w Niemczech i to trafiło w taki czas, kiedy właśnie uzależnienie od telefonów komórkowych i pytanie czy korzystamy z nich za dużo, było bardzo gorącym tematem w Niemczech, więc media bardzo szybko podchwyciły, że istnieje taka aplikacja. Wydaje mi się, że pomogło nam to, że to był projekt uniwersytecki, ludziom dużo łatwiej było zaufać uniwersytetowi i badaczom niż jakiejś firmie, więc bardzo szybko pojawiły się pierwsze wzmianki w prasie i nastąpiła jakby lawina zmianek, która spowodowała, że ludzie zaczęli ściągać aplikację.

Pamiętam, że przeżyliśmy taki wielki szok w drugim miesiącu od wypuszczenia aplikacji, kiedy okazało się, że staliśmy się numerem 1 w kategorii productivity w Google Store. Byliśmy przed Dropboxem – nie mogliśmy w to uwierzyć. Trwało to kilka dni, gdy wzmianka o aplikacji pojawiła się w jednej z najbardziej popularnych niemieckich telewizji. To pokazuje, jaka jest siła tych mediów. To, co my jeszcze zrobiliśmy, to staraliśmy się, żeby ta aplikacje nie była taka jak standardowe aplikacje akademickie, żeby faktycznie dawała ludziom jakieś fajne informacje, żeby to wszystko wyglądało ładnie. Podeszliśmy do tego w taki sposób, powiedzmy, startupowy, że bardzo szybko wypuściliśmy prostą aplikacje i potem i wprowadzaliśmy zmiany, testowaliśmy, jak to się podoba, co się sprawdza i bardzo serio podeszliśmy do kwestii promocji.

Trochę mieliście farta, ale wasze podejście było startupowe, przemyślane. Macie pięćset tysięcy użytkowników, być może nawet trochę więcej, zbieracie dane, no i właśnie: jakie dane zbieracie?

OK, tak naprawdę te dane, które dla nas były najciekawsze, to były dane na temat korzystania z tego smartfonu, dotyczące, z jakich aplikacji korzystał użytkownik i w jakim czasie, kiedy pojawiały się jakieś interakcje z telefonem, nie patrzyliśmy na to, co się dzieje w aplikacjach, uznaliśmy, że to jest ta granica prywatności, uznaliśmy, że nie chcemy znać treści wiadomości. Patrzyliśmy na metadane dotyczące rozmów i SMS-ów, aczkolwiek gubiliśmy pełne informacje, z kim rozmawiamy, chcieliśmy tylko wiedzieć, że rozmawiam z tą osobą 5 razy jednego dnia, 2 razy kolejnego dnia, nie interesowało nas, że to jest ten konkretny numer.

Zbieraliśmy dodatkowo kwestionariusze dotyczące osobowości użytkowników, które opcjonalnie mogli wypełniać użytkownicy. Mieliśmy taki prosty kwestionariusz, który pomagał oceniać osobowość, a po wypełnieniu użytkownicy dostawali ładny wykresik, jaki jest ich profil osobowości. Dodatkowo użytkownicy mieli taką opcję, że dwa razy dziennie pojawiało im się pytanie: „jak teraz się czujesz?”, w odpowiedzi mogli ustawić buźkę, czy są zadowoleni, czy niezadowoleni. Użytkownicy dostawali później, jako feedback, kalendarz pokazujący, jak się czuli każdego dnia, wyświetlaliśmy również te informacje na mapie, mogli zobaczyć, jak się w konkretnych miejscach.

Zbieraliśmy te dane, ale staraliśmy się nie robić tego cały czas, mniej więcej co pół godziny zbieraliśmy lokalizacje. Interesowało na nie to, w jakich lokacjach jest człowiek tylko, jak się porusza, czy ten człowiek siedzi cały czas w domu, czy porusza się tylko na osi dom-praca, a może często wychodzi wieczorem. To było coś absolutnie kluczowego z punktu widzenia badań nad depresją. Jeszcze mieliśmy akcję dotyczącą satysfakcji z życia i podstawowych cech demograficznych takich jak płeć, wiek i wykształcenie.

To już wiadomo, jakie dane były zbierane. A jakie predykcje można zrobić na podstawie takich danych? Pewnie można zrobić wiele rzeczy, więc może skupmy się na 3-5 najciekawszych, mniej oczywistych przypadkach.

Predykcje z tych danych to jest jeden aspekt. Z naszej perspektywy bardzo ważną rzeczą jest nawet nie predykcja, ale sam opis tych danych w kontekście korelacji albo tego, jak wyglądają rozkłady tych danych w sensie statystycznym, bo tak naprawdę takie badania są często prowadzone przez różne firmy, które opisują rynek aplikacji mobilnych, ale w tej skali nie było dużo badań dotyczących tego, jak ludzie korzystają z telefonów komórkowych. Taka informacja jest bardzo ciekawa dla badaczy, którzy się tym zajmują. Wracając do tematu predykcji, to jest faktycznie coś takiego, co się automatycznie nasuwa ludziom, którzy zajmują się machine learningiem.

Pojawiło nam się parę ciekawych rzeczy. Część rzeczy jest jakby oczywista i bardzo prosta do przewidzenia – to na przykład była płeć, wiek. Trudniejsze jest przewidywanie osobowości – tu się okazywało, że proste klasyfikatory nie były bardzo skuteczne. Trzeba zauważyć, że jeżeli chodzi o testowanie osobowości, kwestionariusze, które wypełniamy nie są doskonałym wymiarami, że często powtarzalność tych wyników jest rzędu 60%, więc to też musimy wziąć pod uwagę, jeżeli chodzi o przewidywanie osobowości.

Okazało się, że jesteśmy w stanie w dużym stopniu określić, kiedy ludzie śpią, po czasie, kiedy nie korzystają z komórek. Jest to coś, czego nie planowaliśmy wcześniej. Otrzymaliśmy bardzo fajny estymator wielkości snu. Nie jesteśmy w stanie przewidzieć tego, jak ktoś długo śpi dla każdego, na przykład dla osób, które korzystają bardzo mało z telefonów komórkowych, te dane, które dostajemy są słabe. Pierwsza rzecz, którą wiele osób robi rano, to wyłączenie budzika albo sprawdzenie wiadomości. Ostatnia rzecz, jaką ludzie robią przed snem, to położenie telefonu komórkowego.

Oczywiście to nie jest doskonała miara, bo może być powiedzmy pół godziny różnicy między tym czasem, a faktycznym czasem snu, ale magia tego polega na tym, że mamy dane na temat tego, jak ludzie śpią dla 100 tysięcy osób. Jest to jedno z największych badań, jakie były kiedykolwiek przeprowadzone, jeżeli uznamy, że faktycznie jest to sensowna miara snu. To było coś, co zupełnie nas zaskoczyło. To, do czego dążymy w długim czasie, to chcielibyśmy rozpoznawać symptomy stanów depresyjnych. Jest to dużo trudniejszy problem, który wymaga połączenia różnych prostszych aspektów, na przykład połączenia pewnych cech osobowości, tego, jak dużo człowiek się porusza, jak długo śpi – sen jest bardzo kluczową rzeczą przy określaniu stanów depresyjnych, jak komunikuje się z innymi ludźmi, czy jest to komunikacja głównie przychodząca czy wychodząca, z iloma osobami się na co dzień komunikujemy, jak dużo czasu spędzamy w aplikacjach związanych z komunikacją. To wszystko są aspekty, które musimy wziąć pod uwagę, jeżeli chcemy przewidywać stany depresyjne. To jest problem, nad którym dopiero pracujemy i jest to gdzieś daleko na horyzoncie, ale do tego chcielibyśmy zdecydowanie dążyć.

Rozumiem, że większość osób to były osoby z Niemiec. Jaka jest średnia długość snu w Niemczech?

W tej chwili nie mam dostępu do tych danych, patrzyłem na te dane około pół roku temu, mieliśmy kilka różnych estymatorów, które dawały różne wyniki, ale ostatecznie było to około 7 godzin. Gdy rozmawialiśmy z osobami, które zajmują się snem, to oni mówili, że jest to troszkę za dużo. Widać, że było jakieś przesunięcie około 20 minut.

Myślę, że jest to ciekawe i moglibyśmy na ten temat rozmawiać bardzo długo. Zadam teraz pytanie z troszkę innej działki, ale też powiązane z tematem rozmowy. Jesteś ze środowiska akademickiego i znasz pewnie wiele osób czy grup na innych uczelniach, zajmujących się podobnymi tematami. Powiedz o kilku z nich, najbardziej interesujących, inspirujących czy wręcz zadziwiających.

Mówimy o badaniach z kręgu Computational Social Science i często ich fundamentem były badania prowadzone na sieciach społecznościowych. Było bardzo wielu naukowców, którzy byli dla mnie ogromną inspiracją, do nich należą Duncan Watts, który wymyślił tak zwane małe światy, również Barabási, który działał w tych sieciach. Dziesięć lat temu był to najgorętszy temat.

Kolejne niesamowite grupy związane były z MIT Media Lab, które robiły badania bardzo podobne do naszych. MIT Media Lab lubią tworzyć różne śmieszne urządzenia, które dają na przykład swoim studentom i oni zbierają dane. Stamtąd wywodzi się znany badacz Alex Pentland, autor książki „Social Physics”.

Oni robili badania sieci społecznych w prawdziwym świecie, dali pięćdziesięciu studentom smartfony i dodatkowo sensory, które potrafiły łapać to, jak ci ludzie rozmawiali ze sobą w rzeczywistości, dzięki temu można było zbadać, jak wyglądają pełne sieci społeczne dla grupy osób.

Z tamtego teamu wywodzi się Rosalind Picard, która wykorzystuje telefony komórkowe, ale również bardzo różne sensory, które wybierają takie dane jak puls, częstotliwość bicia serca, jak skóra przewodzi prąd i takie sygnały fizjologiczne bardzo często pozwalają dostać dużo ciekawych informacji, co się dzieje z człowiekiem.

Z jej grupy wywodzą się bardzo ciekawe start-upy jak Empatica i Affectiva. Empatica na przykład tworzyła urządzenia, które pozwalają zobaczyć, co myślą i co czują dzieci z autyzmem – niesamowite, absolutnie fantastyczne badanie.

Ostatnia osoba, o której chciałem wspomnieć, która jest interesująca a jednocześnie kontrowersyjna, to Michał Kosiński z Uniwersytetu Stanforda. Wiele osób pewnie o nim słyszało w związku z badaniami Cambridge Analytica. On jako pierwszy opublikował badania, które mówiły, że z aktywności na Facebooku, tego, co człowiek lajkuje, można określić osobowość człowieka, jak również bardzo wiele innych ważnych zmiennych dotyczących człowieka, jak na przykład poglądy polityczne, status społeczny, w przybliżeniu iloraz inteligencji.

Ten naukowiec w ostatnich latach zasłynął też innym bardzo kontrowersyjnym badaniem – zebrał zdjęcia z profili z jednego z serwisów randkowych online i na tej podstawie wyliczył klasyfikator, który był w stanie przewidzieć, czy dana osoba należy do mniejszości seksualnej. O tym badaniu było ostatnio bardzo głośno.

Z punktu widzenia naukowego te badania są dość ciekawe, bo wystarczy kilka zdjęć i można na ich podstawie powiedzieć sporo o danej osobie. Zmienię temat. Jakie zastosowanie to może mieć w biznesie? Pewnie jest wiele „czarnych” scenariuszy, jak manipulacja ludźmi, namówienie ich, co kupować lub na kogo głosować. Czy są przykłady, gdzie można to wykorzystać na korzyść ludzkości? Mam na myśli, że przeciętny Kowalski stanie się np. bardziej szczęśliwy przez to, że zastosujemy taki model. Czy masz takie przykłady?

Przychodzą mi na myśl dwa przykłady.

Mówiłem wcześniej o start-upach wywodzących się z MIT Media Labu, chyba Affectiva stworzyła oprogramowanie pozwalające na rozpoznanie emocji osoby z głosu lub sekwencji wideo. To rozwiązanie może być wykorzystywane przy różnych infoliniach lub gdy mamy barierę kulturową – jeśli rozmawiamy z osobą z Japonii, a Japończycy wyrażają emocje w niecodzienny, niejasny dla nas sposób, to aplikacja pozwala nam rozpoznawać te emocje i ułatwia komunikację. Taka aplikacja może mieć zastosowanie przy interfesjach człowiek-komputer, chatbotach. To jest jeden taki aspekt.

Absolutnie fascynujące wydaje mi się być zastosowanie czujników pozwalających na lepsze odczytywanie emocje dzieci z autyzmem. Sądzę, że prawie każdy rodzic dziecka autystycznego chciałby wiedzieć więcej, zrozumieć, co się dzieje, co dziecko myśli.

Drugi przykład, który dla mnie jest bardzo ciekawy i wydaje mi się, że jest to temat, który biznesowo stanie się bardzo ważny za kilka lat. To są właśnie tematy związane z różnymi chorobami psychicznymi i ich wczesną diagnostyką. Kilka lat temu człowiek, który był szefem naszego instytutu w National Institute of Mental Health (NIMH) w Stanach Zjednoczonych Thomas Insel, legendarny naukowiec, jeżeli chodzi o nauki związane z mózgiem, powiedział, że to, w jaki sposób teraz określamy choroby psychiczne jest absolutnie nieakceptowalne, jest to oparte o pewien podręcznik, który określa, że dane cechy oznaczają konkretną chorobę.

On twierdzi, że w tej chwili możemy to robić dużo lepiej właśnie przy pomocy smartfonów, czujników i dzięki nim lepiej zrozumieć, co się dzieje z tym człowiekiem, to może dotyczyć depresji, choroby dwubiegunowej. To daje nam zupełnie nowe możliwości diagnostyki, określenia tego, czym faktycznie jest ta choroba, co się dzieje z tą osobą przez cały czas. Nie jest tak, że rozmawiamy z tą osobą kilka razy w miesiącu czy kilka razy na rok, jesteśmy w stanie zobaczyć, co się dzieje z tą osobą w każdej chwili. Pojawiają się bardzo ciekawe metody terapii, które są skomputeryzowane. Wydaje mi się, że to jest absolutnie bardzo ważny temat, który będzie się rozwijał i prawdopodobnie może zrewolucjonizować na dłuższą metę nasze nasze zrozumienie takich schorzeń.

Bardzo Ci dziękuję za te przykłady. Porozmawiajmy teraz o etyce. Żyjemy w czasach, kiedy formy mające dostęp do danych, mają narzędzia do manipulacji. Bardzo głośna jest sprawa, o której wcześniej wspomnieliśmy, Cambridge Analytica. Trochę mi to przypomina historię ze Snowdenem, kiedy ludzie nagle się obudzili, że ktoś może ich dane zbierać, ale w krótkim czasie wszystko wróciło do normy, jakby wszyscy o tym zapomnieli i tak naprawdę nic się nie zmieniło, może poza większą popularnością chmury. Na zdrowy rozsądek, logicznie byłoby, żeby wraz z rozwojem technologii, rozwijano również tematy etyczne, bo inaczej trafiamy w tak zwany „Dziki Zachód”. Ten kto ma broń, narzędzia – w tym przypadku jest to ML (uczenie maszynowe) – ten zwycięża. Jak to wygląda z Twojej perspektywy? Jak odbierasz ten nasz świat?

Masz sporo racji, że tematy etyczne są kluczowe. Dla naukowca, który zajmuje się takimi dużymi danymi, big data, to jest coś, co powinno być wymogiem, ponieważ mamy bardzo dużo pułapek. Jest taka znana książka w tych tematach „Weapons of Math Destruction”. Algorytmy, które uruchamiamy na tych danych, naprawdę  potrafią zrobić krzywdę wielu ludziom, dlatego powinniśmy dbać o tę etykę i szczególnie to jest ważne wśród naukowców, którzy często są awangardą tego, co się dzieje i powinni pokazywać dobrą drogę działania, badania tych danych, pracy na takich danych. Nie wiem, czy odpowiedziałem na Twoje pytanie.

Zadaję to pytanie, bo ten problem istnieje i ciekawe mnie, jak do niego podchodzi środowisko akademickie. Z jednej strony wymyślanie algorytmów to jest trochę zabawa, trochę eksperymenty, ale wydaje mi się, że dość często zapomina się o możliwych skutkach. Jeśli ktoś będzie miał te narzędzia, wykorzysta je do swoich celów – biznes niestety lubi grzeszyć, bo to daje pieniądze. Powiem, że ta sytuacja mnie martwi.

Po tym skandalu z Cambridge Analytica ludzie zaczęli reagować, np. usuwać swoje konta z Facebooka. Elon Musk robiąc kolejny PR dolał oliwy do ognia. Jednak sieci społecznościowe jak Facebook są wygodne, ludzie się od nich uzależniają. Załóżmy, że człowiek nie może z tego zrezygnować, bo się już przyzwyczaił, to jest taka grupka ludzi, która mówi: a teraz spróbujmy udawać kogoś innego, lajkujmy inne poglądy niż nasze albo w sposób losowy. Tak się zastanawiam, na ile jest możliwe ukrywanie się na dłuższą metę, bo człowiek nadal jest człowiekiem i nawet jeżeli próbuje udawać kogoś innego, to nadal jest rozpoznawalny. Nie mam próbki danych, żeby to zweryfikować, ale na poziomie intuicji odczuwam, że nie da się tego zrobić na dłuższą metę, chyba że masz rozpisany jakiś automat, algorytm, ale w tym przypadku nie jesteś człowiekiem. Jestem ciekaw Twojej opinii, co o tym myślisz?

To jest bardzo ciekawe pytanie i myślę, że bardzo blisko związane z badaniami, które prowadziliśmy.

Jeszcze chciałem udzielić odpowiedzi na pytanie, które zadałeś wcześniej, a dotyczące tego, jak naukowcy podchodzą do tematu etyki. To jest kluczowy aspekt dotyczący naukowców. Naukowcy, którzy chcą później ulokować badanie w czasopismach, które są uznawane za znaczące, muszą otrzymać zgodę na badania od Instytut IRB (Institutional Review Board), będący jakby wewnętrzną komisją, która ocenia te badania. Ocena badania z punktu widzenia etyki zazwyczaj wymaga pewnych cech tych badań, wymaga tego, żeby ludzie biorący udział w badaniu zazwyczaj wyrazili na nie zgodę. Badania muszę mieć ograniczenia i to jest to jest dość powszechny wymóg, który czasami jest traktowany po macoszemu, szczególnie w badaniach związanych z informatyką i to prowadzi do różnych konfliktów.

Było dosyć głośno na temat badania Facebooka, w którym Facebook zmieniał nieco rzeczy ludziom na profilu, żeby sprawdzić, czy pokazywanie ludziom wielu pozytywnych rzeczy na profilu powoduje, że oni wyrażają więcej pozytywnych emocji. Bardzo wielu ludzi było oburzonych, bo stwierdzili, że uczestnicy nie wyrazili do końca zgody na wzięcie udziału w tym badaniu, bo badanie było zrobione na użytkownikach Facebooka. To jest przykład takiego badania, stojącego gdzieś na pograniczu etyki.

Wracając do tematu zachowań, jak możemy się chować w tych sieciach i próbować zmylić te algorytmy, to sami mieliśmy taką zaskakującą sytuację, kiedy patrzyliśmy na nasze dane. W pewnym momencie stwierdziliśmy, że sprawdzimy, jak możemy rozpoznawać unikalnych użytkowników naszych aplikacji. Okazało się, że zbiór aplikacji, z których użytkownik korzysta jest unikalny dla praktycznie wszystkich użytkowników w naszym zbiorze. Przeprowadziliśmy badanie dla grupki 50 tysięcy osób i dla praktycznie dla 99,7% osób ten zbiór był unikalny. Co ciekawe, to badanie ktoś powtórzył w tym roku na użytkownikach iPhonów i ich wynik był praktycznie taki sam, co to znaczyło, że wystarczy niewielki kawałek informacji o człowieku, żeby wnioskować, że to jest faktycznie ten człowiek. Dodatkowo odległości pomiędzy zbiorami tych aplikacji były dosyć duże. Człowiek musiałby zainstalować 5 aplikacji, żeby jego profil pokrył się z profilem innego użytkownika, ale musiałby wiedzieć konkretnie, jakie są te aplikacje.

Podobne wyniki się potem pojawiły przy konkursie Netflixa na algorytm rekomendujący. Netflix wypuściła dane, do wygrania był milion dolarów dla osoby, która ulepszyłaby odpowiednio algorytm rekomendujący. Kiedy te dane się pojawiły, bardzo szybko kilku badaczy stwierdziło, że są w stanie na podstawie tych danych połączyć się z profilami na serwisie IMDb i na podstawie tego, jakie filmy ktoś oglądał na Netflixie, znaleźć tego człowieka na IMDb. Wydaje mi się, że bardzo podobne badania były prowadzone na temat profili na Spotify i tego, jakich piosenek ludzie słuchają. Sądzę, że takie ukrywanie się jest bardzo trudne i wymaga zmiany naszego zachowania na każdym poziomie. Musielibyśmy zmienić rzeczy, które robimy nie całkiem świadomie. Jeżeli chcemy zmienić wszystkie filmy, jakie oglądamy, muzykę, jakiej słuchamy, ludzi, z jakimi rozmawiamy, aplikacje, z jakich korzystamy w telefonie, to jest naprawdę trudna rzecz, musielibyśmy się w jakiś sposób stać innym człowiekiem albo utrzymywać naszą obecność w mediach społecznościowych w jakiś dziwny sposób.

Tak naprawdę jedyną metodą byłoby utrzymywanie absolutnej absencji od wszystkich elektronicznych sposobów komunikacji, korzystania z jakichkolwiek elektronicznych zasobów, to wtedy może by się udało. Wiem, że Tomasz Michalak z Uniwersytetu Warszawskiego ostatnio dokonał ciekawej publikacji na temat tego, jak ukryć się w sieci społecznościowej i on pokazywał, że są takie metody. Jeżeli nagle zmieniamy zasadniczo swoje zachowanie i zaczynamy rozmawiać z inną grupą osób, namawiamy naszych znajomych, żeby oni też zaczęli się porozumiewać między sobą, to jesteśmy w stanie w jakiś sposób ukryć się w tej grupie, zamaskować to zachowanie, ale jest to bardzo trudne i wymaga faktycznie zasadniczej zmiany naszego zachowania.

A spróbujmy to zrozumieć z innej strony, z punktu widzenia technicznej realizacji eksperymentu, który zrobiła Cambridge Analytica. Są pewne publikacje, które pokazują, że taki prosty model, dający bardzo fajne wyniki, może napisać nawet ogarnięty student, zakładając, że ma dostęp do danych. Kiedy czytałem ten artykuł, to z jednej strony faktycznie wygląda dość prosto, ale z drugiej strony zastanawiałem się, czy to jest dostępne prawie dla wszystkich.

Zapytam poprzez analogię. Jest taka znana firma DeepMind, która zbudowała AlphaGo, program, który wygrał z najlepszym graczem w go. Potem wydali publikację, w której wytłumaczyli, jak działa AlphaGo i generalnie wszystko jest zrozumiałe. Jednak powtórzyć ten sam wynik będzie dość trudno, bo dość istotne informacje na temat parametrów nie zostały podane i to oznacza, że aby powtórzyć ten sam wynik, to trzeba mieć zasoby. Nasuwa mi się takie pytanie, czy to, co zrobiło Cambridge Analytica, też jest mało powtarzalne, czy może jest dostępne dla każdego i jest to tylko kwestia posiadania danych.

To jest bardzo ciekawe pytanie. Wydaje mi się, że jest kilka aspektów. Jedna rzecz jest taka, że nie do końca wiemy, co Cambridge Analytica zrobiła, a co tak naprawdę oni mówią, że zrobili. Być może duża część tego, co słyszymy, jest w jakimś stopniu oparte na marketingu, być może to, co oni mieli pod spodem wcale nie było takie zaawansowane. Te publikacje, o których wspominasz, to są publikacje jednego z naukowców, o których wcześniej mówiłem, wydaje mi się, że chodzi Ci o artykuły Michała Kosińskiego. Wyniki, które są w tych publikacjach, nie są takie potężne – dokładność, z jaką otrzymujemy osobowość tego człowieka na podstawie profili z mediów społecznościowych, nie jest zbyt duża. Nie jest do końca pewne, że oni robili coś naprawdę mądrego – to jest jeden aspekt.

Druga sprawa jest taka, czy jesteśmy to w stanie powtórzyć. Prawda jest taka, że jeżeli mamy dane, to te badania są bardzo łatwe do powtórzenia, w większości są oparte na prostych klasyfikatorach liniowych. To jest bardzo częsta rzecz, jeżeli chodzi o takie badania społeczne, że ta część związana z machine learningiem zazwyczaj jest bardzo prosta do powtórzenia. Tak naprawdę główna trudność polega właśnie na zdobyciu tych danych odpowiedniej jakości, co nie jest wcale proste. Łatwo jest zdobyć dane z Facebooka. Nie wiem, czy wiesz, jak wyglądało tworzenie aplikacji dla Facebooka około roku 2012-2013? Oni faktycznie wysyłali te dane i naprawdę bardzo trudno było ich nie dostać. Wydaje mi się, że firm, które w tej chwili mają olbrzymią liczbę profili Facebookowych, jest naprawdę dużo, prawdopodobnie co trzeci amerykański start-up ma wielką bazę danych na temat użytkowników Facebooka. Był taki ciekawy artykuł człowieka, który napisał aplikację Cow Clicker na Facebooka, która polegała na tym, że po prostu klikało się na krowy, Ta aplikacja zebrała ogromną liczbę profili Facebookowych, to był taki czas, kiedy te dane Facebook wysyłał powszechnie.

Jeśli mam dane z Facebooka, chcę dostać dane na temat osobowości, jest to trudne, bo ten człowiek musi dać nam te dane, te dane do uczenia są kluczowe i one muszą być bardzo czyste, naprawdę bardzo dobrej jakości, żeby to uczenie miało sens. Tutaj wchodzi kolejny, moim zdaniem niedoceniany aspekt w machine learningu – ta najtrudniejsza część to wcale nie jest stworzenie tego algorytmu, tylko właśnie zebranie odpowiednich danych, które będą miały fajną jakość i to jest szczególnie trudne, jeżeli chodzi o dane psychologiczne, behawioralne, bo gdy pytamy ludzi, to oni po prostu mogą nas okłamać, jeżeli nie mają żadnej pobudki ku temu, żeby nam mówić prawdę. Wydaje mi się, że ciekawym podejściem jest CAPTCHA,  to jest ciekawy pomysł, jak pozyskiwać dane i jak motywować użytkowników, żeby nam dawali prawdziwe dane. Moim zdaniem takie rzeczy bardzo często będą grały teraz ważną rolę w różnych badaniach i szeroko pojętym machine learningu.

Załóżmy, że masz dostęp do wszystkich danych na Facebooku albo do jakiejś większej ilości. Jakie najgorsze albo najlepsze rozwiązanie można na tym zbudować, zakładając, że masz na to budżet. Podaj może kilka przykładów.

To jest dosyć trudne pytanie, bo tak naprawdę Facebook zatrudnia wielu fantastycznych naukowców, którzy są dużo mądrzejsi, dużo lepsi ode mnie. Wydaje mi się, że oni sami do końca nie wiedzą, co zrobić z tymi danymi, więc nie czuję się w odpowiedniej pozycji, żeby móc wymyślać najlepsze i najgorsze scenariusze. Myślę, że gdzieś tam mieliśmy próbkę tego, w jaki zły sposób możemy wykorzystać te dane. Był taki czas, że faktycznie te fałszywe newsy dominowały i były skierowane do konkretnych osób. Nie jest trudno sobie wyobrazić, jak takie technologie możemy wykorzystać do bardzo złych celów, jak możemy manipulować ludźmi na bardzo dużą skalę, jest to przerażające. Ciężko jest mi sobie wyobrazić absolutnie najgorszy scenariusz, ale możliwości są przerażające – Facebook to w pewnym momencie zrozumiał i próbuje blokować takie rzeczy. Jest to bardzo trudne, bo jest to wpisane w DNA Facebooka, który promuje te treści, które są popularne, ludzie lubią je oglądać.

Z drugiej strony wydaje mi się, że Facebook był bardzo długo atrakcyjny dla wielu naukowców w tych naukach społecznych, bo jest to w pewien sposób jedno z największych istniejących laboratoriów – mamy bardzo dużo osób, możemy zobaczyć ich zachowanie na wielu poziomach, co się z nimi dzieje, możemy wpływać na to zachowanie, prowadzić różne eksperymenty. Wydaje mi się, że wiele osób stwierdziło, że, z punktu widzenia naukowca, badacza społecznego, możliwość tworzenia takich badań jest to szansa, jaka nie istniała nigdy wcześniej w historii. Oczywiście ma to ograniczenia, ale jesteśmy w stanie pomagać ludziom rozpoznawać choroby psychiczne, pomagać ludziom, którzy mają mają duże problemy, odpowiednio kierować naszą pomoc do potrzebujących takiej pomocy – tutaj też możliwości są niesamowite. Jestem pewien, że wiele osób pracuje nad takimi rzeczami. Jednak ten medal ma dwie strony – te same algorytmy, które jesteśmy w stanie wykorzystać do dobrych  celów, możemy bardzo często wykorzystać do złych celów. Jest to naprawdę duże wyzwanie.

W takim razie trzymamy kciuki, żeby te algorytmy jednak były używane do dobrych celów. I ostatnie pytanie na dziś: gdzie można znaleźć Ciebie w sieci?

Niestety moja obecność w sieci jest dosyć mizerna, a nie mam żadnej osobistej strony, to prawdopodobnie powinienem naprawić w najbliższym czasie. Większość osób, które interesują się tymi badaniami, o których opowiadałem odsyłam do strony naszego projektu menthal.org. Tam jest dużo informacji o wszystkich badaniach, publikacjach. Jeżeli ktoś chciałby wiedzieć, nad czym ja pracuję, polecam mój profil na Google Scholar, a jeżeli ktoś chce się skontaktować ze mną bezpośrednio, najlepiej napisać o mnie mail na adres: konrad.blaszkiewicz(at)gmail.com. Mam nadzieję, że w najbliższym czasie uda mi się nadrobić braki w obecności w sieci i pojawi się moja własna strona, bo jeszcze nad nią pracuję.

Bardzo Ci dziękuję Konrad za ten czas i Twoją chęć podzielenia się swoim doświadczeniem, wiedzą, bo w świecie akademickim macie publikacje, ale jest ten świat odizolowany od publiczności, dość często dlatego, że język, którym się posługujecie, jest zbyt skomplikowany.

Dziękuję bardzo.

---

No właśnie, co myślisz po tej rozmowie? Czy zamierzasz usunąć swoje konto na Facebooku? Być może nie będziesz klikać, być może namówisz swoich znajomych, żeby klikali trochę inaczej czy rozmawiali z innymi ludźmi. Bardzo jestem ciekaw Twojej opinii, ale mam nadzieję, że udało się przynajmniej częściowo wyjaśnić, jakie są możliwości, ale również jakie są zagrożenia.

Jeszcze na koniec mam ogłoszenie. Zostałem poproszony o przekazanie informacji, że 26 i 27 maja odbędzie się Maraton Analizy Danych. Jeszcze powiem o kilku wydarzeniach i konferencjach, które odbędą się w najbliższym czasie, a na które zostałem zaproszony. Po pierwsze 12 maja w Lublinie odbędzie konferencja Click – jeżeli jesteś z Lublina albo z okolic bardzo serdecznie cię zapraszam. Następnie 17 maja będzie spotkanie w Poznaniu, to jest taka grupa, która rozszerza swoją działalność w różnych miastach Polski i będzie to pierwsze spotkanie w Poznaniu, więc jeżeli jesteś z Poznania albo okolic, bardzo serdecznie zapraszam. I jeszcze jedno spotkanie, które chcę wspomnieć dzisiaj – 19 maja odbędzie konferencja Greenfield w Zielonej Górze, jeżeli jesteś z okolic Zielonej Góry i 19 maja masz czas, to serdecznie zapraszam na to spotkanie.

Prawdopodobnie wiesz, że prowadzę szkolenia, jak zacząć stosować uczenie maszynowe w praktyce dataworkshop.eu. Już skończyła się druga edycja. Dostaję teraz bardzo dużo pozytywnej energii, naprawdę daje mi to poczucie, że to co robię ma sens i mam ochotę to kontynuować, pomimo tego że jest to bardzo wyczerpujące. Muszę przyznać, że zajmuje to dużo czasu i w trakcie kursu naprawdę jestem wycięty z życia, prawie nie mam kontaktu z rodziną, ale kontynuuję to, bo czuję, że to ma sens. Robię maksymalnie dwie edycje na rok, z uwagi na to, że zajmuje to tak dużo czasu, ale chciałbym podobnie jak po pierwszej edycji zrobić podsumowanie i podzielić się doświadczeniami albo opiniami ludzi, którzy wzięli udział, żeby pokazać, że poziom wiedzy osób, które przeszły przez kurs, był dość mocno zróżnicowany, ale każdy znalazł coś dla siebie i o tym chcę zrobić kolejny odcinek.

Dziękuję ci bardzo za Twój czas, Twoją energię, za to, że słuchasz Biznes Myśli i jesteśmy razem. Dziękuję, do usłyszenia, wszystkiego dobrego!