Anna Wróblewska o łączeniu światów: biznes, programowanie i nauka

[spreaker type=player resource=”episode_id=13040812″ width=”100%” height=”200px” theme=”light” playlist=”false” playlist-continuous=”false” autoplay=”false” live-autoplay=”false” chapters-image=”true” hide-logo=”false” hide-likes=”false” hide-comments=”false” hide-sharing=”false” ]

Biznes zaczyna dostrzegać potencjał wartości dostarczanej przez uczenie maszynowe albo tak zwaną sztuczną inteligencję. Najszybciej zrozumiał to biznes za oceanem, gdzie już teraz rynek jest wart bardzo wiele. Istnieją różne szacunki, np. według IDC w roku 2017 przewiduje się, że rynek danych i analizy będzie wart ok. 150 mld, a za trzy lata, w 2020 roku, jego wartość może wzrosnąć nawet do 210 mld.

Możesz powiedzieć: mieszkam w Europie, czego tutaj mam się spodziewać? Jak widać, tutaj też są postępy. Najgorętsze punkty sztucznej inteligencji w Europie (taka mała Dolina Krzemowa) to Londyn, następnie Berlin i Paryż. W notatkach poniżej znajdziesz link do artykułu, w którym można zobaczyć, że w Europie powstało już ponad 400 firm używających sztucznej inteligencji. W Londynie znajduje się prawie ¼ wszytskich tych firm, bo aż 97, w Berlinie 30, w Paryżu 26. W Polsce namierzono ich 9 🙂

Jeśli chodzi o to ile jest wart rynek związany z danymi w Europie, można znaleźć jeszcze więcej liczby. Na przykład, w jednym z raportów można przeczytać, że “Data Economy Value” było warte 300 mld w 2016 i będzie warte 739 mld w 2020. To są ogromne liczby, które trudno jest zrozumieć, a również nie chcę wchodzić w szczegóły, jak te liczby zostały wyliczone. To na co chcę zwrócić szczególną uwagę, to fakt, że w tym samym raporcie, można znaleźć informację, o tym, że w roku 2016 było zatrudnionych ok. 6 mln pracowników związanych z danymi, a w roku 2020 przewiduje się prawie podwojenie tej liczby, ok. 11 mln pracowników. To będzie duży problem dla firm, które chcą znaleźć pracownika, który może wyciągnąć wartość z danych, a okaże się, że ilość dostępnych pracowników jest mocno ograniczona.

Staram się dokładać swoją cegiełkę (oczywiście na moją skalę), żeby pomóc w tym temacie, więcej o tym dowiesz się na końcu podcastu. Prawda jest taka, że aby wykształcić tak ogromną ilość specjalistów, uczelnie muszę się w to zaangażować. Uczelnie może i chcą, ale na to jest potrzebny czas, którego jest coraz mniej. O tym i nie tylko będzie dzisiejsza rozmowa.

Moim dzisiejszym gościem jest Anna Wróblewska, która próbuje łączyć trzy światy: biznes, programowanie i naukę. Pracuje ona na Politechnice Warszawskiej, a także od ponad 3 lat jest ekspertem analizy danych (data scientist) w firmie Allegro. Co więcej, jest autorką ponad 35 publikacji w polskich i międzynarodowych czasopismach.

Zapraszam do wysłuchania!

---

Cześć Aniu! Powiedz trochę więcej o sobie. Kim jesteś? Czym się zajmujesz? Gdzie mieszkasz?

Ania Wróblewska, mieszkam w Warszawie, zajmuje się wieloma rzeczami. Pierwsza, chyba najbliższa mojemu sercu to uczenie na Wydziale Matematyki i Nauk Informacyjnych na Politechnice Warszawskiej. Tam założyliśmy nowy kierunek, specjalność Data Science, polska nazwa Przetwarzanie/Inżynieria Danych. Mamy nowych studentów, bardzo ciekawych. Kierunek został otwarty w tym semestrze i od razu mamy 60 chętnych na miejsce, bardzo się cieszymy i uważamy, że program jest naprawdę ciekawy.

Druga rzecz, od 10 lat pracuję w biznesie, od 4 lat w Allegro jako Data Scientist, tam zastanawiamy się jakie algorytmy uczenia maszynowego zastosować. Jak poprawić platformę? Jak mierzyć wydajność algorytmów, na prawdziwym Big Data?

A jeszcze, tak bardziej historycznie, kilka lat temu, obroniłam doktorat na Wydziale Elektroniki Politechniki Warszawskiej. Był on z jeszcze trochę innej dziedziny – komputerowego wspomagania medycyny, dokładnie analizy zdjęć mammograficznych, odnajdywania różnych oznak chorób, raka. Było to o tyle ciekawe doświadczenie, że dużo musiałam współpracować z lekarzami. Przeprowadzałam testy kliniczne. Od tamtej pory zaczęła się moja pasja łączenia różnych dziedziny humanistycznych z informatyką.

Odnajdywania różnych metod jak można to zastosować, jak pewne problemy humanistyczne, medyczne, psychologiczne jak można zaprogramować, dać pewne wskazówki psychologom. Jeśli o nich chodzi to mówię o projekcie z Centrum Nauki Kopernika, gdzie analizujemy dane obserwacyjne dzieci, rodziców zwiedzających wystawy. To są różne zbiory: dzieci szkolne, rodzice z dziećmi.

Zastanawiamy się jak zachowują się rodzice, jak dzieci to odbierają, jak można poprawić wystawę. Mamy chęć opracować indeks zainteresowania eksponatem, zastanowić się co ma na to realny wpływ, jak można to mierzyć i oceniać. to jest bardzo ciekawy projekt dla mnie, ponieważ dużo mamy do czynienia z psychologami, ludźmi, którzy znają informatykę, znają trochę statystykę, ale są spoza świata technicznego. Tłumaczenie im tego, przekładanie jak można to zastosować, szukanie tego co jest im naprawdę potrzebne, jest dla mnie pasjonujące.

Powiedziałaś wiele ciekawych rzeczy, będziemy je rozwijać dalej. Teraz zapytam o to co ostatnio czytałaś i co było w tej lekturze najbardziej wartościowego?

Ostatnio czytałam książkę psychologiczną „Mówienie prawdy samemu sobie„, pod kątem tej książki później obserwowałam ludzi. Muszę powiedzieć, że było to pasjonujące, bo czasami opieramy się na naszych przekonaniach, które nie są poparte rzeczywistością. Tworzymy własny, wyimaginowany świat, a chodzi o to żeby jednak opierać się w naszych działania i decyzjach na rzeczywistych faktach, a nie na emocjach. Właściwie chyba też o to chodzi w pracy Data Scientist czy analityka danych, żeby szukał tych przesłanek w danych. Bardzo ciekawa książka.

• 

 

W jednym Twoim opisie znalazłem informację, że starasz się wypełnić lukę pomiędzy biznesem, światem programistów i Twoją pasją naukową. Brzmi to świetnie, ale ze swojego doświadczenia wiem, że jest to bardzo skomplikowane zadanie. Są to dość rozbieżne światy i oczywiście nagroda jest fajna, na krawędzi tych ekspertyz pojawia się prawdziwa innowacja. Proszę powiedz jakie towarzyszą Ci wyzwania gdy łączysz te trzy światy, biznes, programistów i naukowców?

Jakie wyzwania? Przede wszystkim, zrozumienie, podejście do świata i kultury pracy, do tego aby przełamać pewne uprzedzenia. Zwykle te światy mają względem siebie jakieś uprzedzenia, żeby to przełamywać i tłumaczyć pewne rzeczy w sposób zrozumiały. Każdy z tych światów, profesjonaliści w tych różnych dziedzin, czyli biznesu, nauki, programiści mają swój własny język i sposób porozumiewania się. Czasami jest on zupełnie niezrozumiały dla drugiej strony, a ludzie często mają opory, żeby zapytać, żeby się dowiedzieć.

Muszę się przyznać, że ostatnio byłam na demo w mojej firmie i informatycy tłumaczą jakiś zaawansowany model uczenia maszynowego, ludzie z biznesu słuchają, nie zadają żadnych pytań. Muszę powiedzieć, że tłumaczyli to w sposób tak szczegółowy, że nawet mnie trudno było zrozumieć. Myślę sobie, że ci ludzie z biznesów również nie rozumieli, ale nikt nie miał śmiałości przerywać. Zabrakło spojrzenia ogólnego, wytłumaczone zostały szczegóły, ale zabrakło ogólnego schematu jak to działa, jaki jest cel biznesowy tych działań.

Zabrakło informacji, która jest podstawowa dla drugiej grupy, tego trzeba ciągle uczyć od nowa. Tego też uczę studentów, żeby umieli opowiedzieć o tym co robią, o swoich projektach w taki sposób, żeby to było zrozumiałe dla ludzi, którzy nie znają się dokładnie na tej branży, na analizie danych. Muszę się pochwalić, w zeszłym roku prowadziłam „Wstęp do uczenia maszynowego” zaprosiliśmy osoby z Centrum Nauki Kopernika i robiliśmy projekty ze studentami, o tyle było to dla nich trudne, ponieważ pierwszy raz dostali prawdziwe dane, z których nie było wiadomo co można wyciągnąć.

Daliśmy dane, które miały swoje błędy, problemy, nie wszystko było idealnie zakodowane i powiedzieliśmy: zobaczcie co można z tego wyciągnąć, jakie wnioski można mieć, co można sprawdzić i studenci mieli wspaniałe hipotezy, byliśmy zachwyceni. W Centrum Nauki Kopernika badacze też, bardzo im się podobała ta praca. Studenci natomiast byli trochę zawiedzeni, mówili, że to były takie dane, z których wiele rzeczy nie wychodziło od razu, musieli sprawdzać.

Nie byli przyzwyczajeni do takiej pracy, że dużo hipotez się po prostu nie sprawdza. Są oni przyzwyczajeni do takiej pracy gdzie się programuje i otrzymuje się wynik, którego się spodziewamy. A tutaj nie, musimy sprawdzić, wiele rzeczy nie wychodzi, ale to też jest dla nas informacja. To cenna wiedza, że pewne dane zostały źle zakodowane, czy źle zebrane, czy po prostu pewnych rzeczy z takiej ilości danych nie da się wywnioskować albo w ogóle nie da się sprawdzić.

To było dla studentów takie inne, inna rzecz niż do tej pory robili. Ale myślę, że to cenne doświadczenie. Powiedziałam im, że w pracy w Allegro też są pewne hipotezy, które się nie sprawdzają i warto to też testować.

Tak to prawda, że to bardzo wartościowe doświadczenie. Opowiem taką słynną historię… Osobiście już kawał czasu programuję, choć właściwie teraz już trochę mniej, ale zacząłem ponad 10 lat temu. Dla mnie na początku ludzie z biznesu byli bardzo dziwni, mówiąc wprost, nielogiczni. Mało tego, że są nielogiczni to jeszcze wcale nie bawi ich technologia. Dla mnie było to bardzo interesujące, że jest jakiś kod, przepływają bajty i to działa, a dla ludzi z biznesu to jest wszystko jedno, oni skupiają się na czymś innym.

Dopiero potem zacząłem sobie uświadamiać, że oni mają zupełnie inny cel, podejście, myślenie. To jest normalne, że oni nie do końca rozumieją co chcą osiągnąć, bo w końcu to rynek o tym decyduje i weryfikuje pomysły i ciężko jednej osobie wymyślić jakiś pomysł, który na pewno wystrzeli.

Podobnie miałem trudności ze zrozumieniem naukowców bo to był inny biegun, też oderwany od rzeczywistości. Mają różne pomysły, ale bardzo ciężko je zmapować na płaszczyznę praktyczną. Jest jakaś kropla, która przesuwa się po powierzchni, z pewną prędkością.

Tylko pojawia się pytanie: jak tę wiedzę można wykorzystać, żeby dostarczyć wartość. Spróbujmy troszkę to podsumować. Jakie porady możesz udzielić tym trzem światom, żeby ich współpraca była bardziej owocna?

Na pewno otwartość na inne spojrzenie. Na to spojrzenie biznesowe, na właściwie szukanie celu i bezpośredniego zastosowania pewnych rzeczy, zastanawianie się jak zmierzyć te zastosowania, co może być ciekawego pod kątem praktycznym.

Dla informatyków, programistów, myślę, że przydałaby się większa otwartość, nie skupienie się tylko na technologii, ale umiejętność wysłuchania i szacunku dla drugiej strony. Też chyba trochę mniej perfekcjonizmu, bo jednak trochę wadą programistów jest perfekcjonizm. Chcą mieć wszystko idealnie zrobione, a jak przychodzi znowu analityk i mówi, że to jednak tak nie działa. Czy ktoś z biznesu uważa, że trzeba coś zmienić. Otwartość na ciągłe zmiany systemu – to jest bardzo istotne.

Naukowcom, myślę, że teraz jest duże otwarcie i wiele programów wspierających współpracę z biznesem. Myślę, że jeszcze większe otwarcie, u nas w Polsce to jest jeszcze trochę trudne, ale akurat w naszej dziedzinie, analizie danych, informatyce, często jest bezpośrednie przełożenie tych prac na biznesowe zastosowanie. Tego co bym życzyła naukowcom to takiego systemu, ułożenia nauki, jaki spotkałam w Singapurze na NTU, to jest Nanyang Technological University.

Młody uniwersytet, który w ciągu kilku lat znalazł się w światowej czołówce i tam rzeczywiście jest to zupełnie bezpośrednie przełożenie. Często profesorowie zarządzają też projektami w start-upach, doktoranci pracują w start-upach, biznes jest bardzo blisko uczelni.

Chciałabym, żeby w Polsce to się w ten sposób rozwijało. Można powiedzieć, że są już takie kroki. Jest program doktoratów wdrożeniowych, u nas na Wydziale kilka osób będzie przyjętych według tego projektu. Program ten polega na tym, że w przemyśle, w jakiś firmie ludzie realizują zadania firmy, ale jednocześnie jest to ich pracą doktorską. Teraz będziemy współpracować z firmą zajmującą się przetwarzaniem tekstu, tam mamy już dwie przyjęte osoby.

Będziemy mocno współpracować z uczelnią nad rozwojem metod przetwarzania języka wykorzystując wiedzę naukową, która jeszcze nie była wdrożona. Myślę, że jest ciekawe podejście, nowe programy ministerstwa też są bardzo ciekawe. Pewnie, że to wymaga jeszcze doszlifowania i współpracy, bo nie jest to takie proste. Cały czas widzę prace nad umowami w tym projekcie, wszystko musi współgrać.

Musi być korzyść dla przedsiębiorstw, korzyść dla uczelni. Myślę, że jest na to bardzo dobry moment, widzę duże otwarcie ze strony uczelni. Chociażby nasz nowy kierunek, który ma duże wsparcie w przemyśle. Mamy kilka firm, które podpisały listy intencyjne o współpracy. Ja realizuję wiele prac magisterskich ze studentami, które są bezpośrednio na danych przemysłowych, na danych Allegro na przykład. W pracach tych studenci rozwiązują pewne problemy przygotowane przez firmę. Dla studentów jest to bardzo atrakcyjne, można powiedzieć, że wykonują już oni prace zawodowe na żywych, prawdziwych danych, które są używane na praktycznych problemach.

Powiedziałaś, że pracujesz w Allegro. Opowiedz o tym trochę więcej, oczywiście na tyle ile możesz. Jakiego typu problemy rozwiązujesz przy użyciu uczenia maszynowego? Jakie to daje korzyści dla biznesu? Wyjaśnij to proszę na prostych przykładach.

Opowiem o moim ulubionym projekcie, z którego jestem dumna, miał on miejsce rok temu. Tak zwany, projekt wyszukiwania obrazkowego, właściwie rekomendacji obrazkowych. Zebraliśmy się w kilka osób, to też było ciekawe w tym projekcie, że mieliśmy w grupie osoby o bardzo różnych kompetencjach.

Tematem było dostarczenie rekomendacji opartych na danych obrazowych, rekomendacje, które mogłyby mieć zastosowanie w bardziej wizualnych kategoriach takich jak moda, biżuteria. Celem było np. znalezienie podobnej sukienki, podobnej wzorem, kolorem. Chodzi o pewne cechy, które nie jest łatwo opisać słowami. Trudno jest czasami określić dokładny wzór, kolorystykę czegoś bardzo precyzyjnie.

Tutaj wymyślaliśmy, że weźmiemy dane obrazowe, zdjęcia ofert i będziemy szukać podobnych. Musieliśmy do tego całego projektu przekonać biznes, pokazać im, że warto. Mieliśmy kilka kroków, najpierw spróbowaliśmy zmierzyć te rekomendacje przy użyciu danych obrazowych do takich jakie byśmy uzyskali przy użyciu tekstu. Później, robiliśmy badania fokusowe, użytkownicy opowiadali czy rzeczywiście to co znaleźliśmy za pomocą metod komputerowych, czy takie rekomendacje by się im podobały.

Później już wdrożyliśmy to i na naszym żywym systemie porównywaliśmy. Wyniki były ciekawe, obiecujące. Mogę się pochwalić, że te wyniki zostały przyjęte na najlepszą na świecie konferencję SIGIR, to jest konferencja na temat information retrieval, czyli wyszukiwania danych. W zeszłym roku, prezentowaliśmy te wyniki, pojawiło się dużo pytań, zaciekawienie tymi metodami.

Można powiedzieć, że nowoczesna technologia wspiera użytkowników aby było im wygodniej przeszukiwać platformę. Szczególnie tutaj użytkowników zainteresowanych modą, gdzie te wyszukiwanie może być bardzo trudne czasami, bo nie da się wszystkiego opisać dokładnie słowami.

Inny projekt, to rozpoznawanie marek w tytułach ofert. Ten projekt jeszcze trwa. Pewien słownik marek posiadamy, ale oczywiście ciągle są nowe, a czasami ludzie lubią kupować rzeczy tej samej marki, czy lubią mieć tę informację. U nas nie wszystko jest opisane pod kątem takich cech, atrybutów, tylko czasami jest to normalny tekst, tytuły ofert czy ich opisy i z niego musimy wyciągnąć te rzeczy, które są istotne w opisie danego produktu.

Podobny projekt robiłam ze studentami i rzeczywiście wyszły nam ciekawe rzeczy. Mogliśmy z bardzo dużą skutecznością wykrywać już konkretne słowa marek. To było ciekawe o tyle, że zaczęliśmy to sami prostymi metodami uczenia maszynowego, a później ze studentami już zastosowaliśmy metody uczenia głębokiego. Wyszły bardzo dobre wyniki, aż się zdziwiliśmy. 99% na zbiorach testowych, 99% dokładności, ale tutaj jeszcze się zastanawialiśmy czy te wyniki są prawdziwe i różne wnioski z tego projektu mamy.

Widać, że uczenie głębokie może dużo poprawić i wnieść dużo w rozwiązania przemysłowe. Ciągle trwa praca w Allegro nas mierzeniem wszystkich systemów, pewnie tak jak w każdej dużej firmie, nad miarami, które najbardziej odzwierciedlają czy zysk dla firmy czy zadowolenie użytkownika i wiele innych takich metod uczenia, które mogą przewidywać np. otwieralność mailingu, jego atrakcyjność.

Mogą one znajdować osoby, do których warto wysłać dany mailing. Można stworzyć profile, głośna ostatnio sprawa modelu Ocean, czyli psychologicznego profilu użytkowników. Można stosować takie profile, czy profile zakupowe. Proste rzeczy, takiej jak na przykład kategorie, w których często się kupuje, ale też np. bardziej zaawansowane kategorie, którymi mógłby się zainteresować się użytkownik, a jeszcze o tym nie myślał.

Można to zrobić na podstawie danych podobnych użytkowników czy przewidywać jakoś jego zmiany w życiu, wydarzenia, które wywołują zainteresowanie innymi produktami. Pole do popisu jest bardzo duże.

Zaczęłaś mówić, że przed tym gdy zaczęłaś ten pierwszy projekt związany ze znalezieniem podobnych produktów, to najpierw trzeba było wykazać biznesową wartość tego. Bazując na moim doświadczeniu i tym co słyszę od osób pracujących w tej branży, tutaj pojawia się wyzwanie, powiązane z tym od czego zaczęliśmy, że są to dwa różne światy, która nawzajem nie do końca się rozumieją.

Czasami bardzo ciężko jest pokazać wartość, dla biznesu bardzo często mierzy się ona w pieniądzach. Ciekaw jestem jak wy to udowodniliście? Zmierzyliście ile naprawdę ludzi kupuje i dzięki temu zwiększyliście zaangażowanie w ten projekt? Czy jakaś inna metryka sukcesu została użyta? Jak to udowodniliście biznesowi?

Na początku przeanalizowaliśmy, jakie w rzeczywistości są opisy naszych ofert w modzie. Czyli gdzieś mamy wypełniony kolor, jak ten kolor jest sprecyzowany? O ile teraz mamy wszystkie atrybuty w Allegro obowiązkowe w modzie kolor, fason tego typu kategorie, to jeszcze na tym etapie projektu nie było to obowiązkowe. Poza tym oczywiście kolor opisujemy jednym słowem, już wielokolorowy znaczy bardzo wiele.

Czy jeśli użyjemy kilku atrybutów, np. żółto-zielono-czerwony, nie jest to to samo co gdybyśmy przeanalizowali obraz i znali proporcje tych kolorów w obrazie produktu. Może bylibyśmy w stanie wykryć jakiś fason czy wzajemne położenie kolorów. Pierwszy krok to była analiza jakie właściwie mamy dane na tych platformach?

Też analiza jakości zdjęć, na etapie tego projektu nie mieliśmy dużego pola wyboru. Wzięliśmy oferty, które były w tak zwanej strefie marek, czyli też spodziewaliśmy się, że to są lepsze, ładniejsze zdjęcia. Później toczył się projekt oceny jakości obrazów i doprowadził on do tego, że na platformie są dużo lepsze jakościowo zdjęcia ofert. Ale wtedy tak nie było więc trochę ograniczyliśmy dziedzinę projektu i przeanalizowaliśmy jakie mamy tam praktyczne dane.

Z drugiej strony, spróbowaliśmy zastosować pierwsze metody analizy obrazu i jakoś to porównać razem. Jak ma się analiza obrazu, wyniki, znajdowanie podobnych produktów, czy produktów w modzie do tego co moglibyśmy uzyskać za pomocą tekstu. To mogliśmy zrobić automatycznie, czyli porównać to co jest wykrywane według danych z obrazu do tego co jest wykrywane jako podobne według danych tekstowych. Czy to mniej więcej jest to samo. Tu jeszcze wizualnie porównaliśmy czy obraz może coś wnosić.

Przeanalizowaliśmy oczywiście, na samym początku, rozwiązania innych firm i zastosowania analizy obrazu w innych platformach, szczególnie Ebay’u czy Amazonie, ale i innych platformach, szczególnie, zajmujących się modą. Pierwsze teksty wyszły ciekawe, obiecujące więc następne zostały przeprowadzone na użytkownikach. Zaproponowaliśmy im obraz, do niego podobne wyszukiwane za pomocą cech obrazowych.

Użytkownicy mieli oceniać czy rzeczywiście to jest podobne czy nie, czy podobałyby się im takie rekomendacje. Przeglądając np. sukienki, platforma pokazuje im podobne sukienki, ale niekoniecznie idealnie w tym samym kolorze lub wzorze, ale podobne mniej więcej kolorystycznie czy pod względem ułożenia wzoru. Te testy również wyszły obiecująco, wtedy biznes też zobaczył, że warto.

Mogliśmy zrobić pierwsze małe wdrożenie na małym ruchu, to nie były duże testy. W tym momencie mogliśmy porównać jak użytkownicy klikają, czyli jak zachowują się gdy dostaną reklamę opartą tylko o podobieństwo tekstowe produktów, a jak w przypadku rekomendacji oferty wyszukanej za pomocą podobieństwa tylko według cech obrazu. Wyniki wyszły bardzo podobne, a z tego się cieszyliśmy, ponieważ wniosek mieliśmy taki, że warto byłoby teraz połączyć te informacje, czyli tekstową i obrazową.

Skoro wyszło podobnie, to sumując jesteśmy w stanie zyskać jeszcze więcej. To były bardzo małe testy, myślę, że na większym zbiorze mogłoby to nawet wyjść lepiej. Wizualnie gdy oglądaliśmy wyniki to były one bardziej obiecujące, kolorystycznie bardzo podobne i było ciekawie oglądać te przedmioty.

Także takimi małymi krokami, najpierw wyszliśmy od analizy dziedziny danych, później porównanie tego co do tej pory było wykorzystywane, czyli opisów tekstowych z tym co można za pomocą obrazów, też tak subiektywnie jak użytkownicy to widzą. Następnie, pierwsze wdrożenie puszczenie na małym procencie ruchu na platformie i porównanie tego jak użytkownicy klikają czy jakie są już bezpośrednio dochody dla firmy z tych rekomendacji.

Udało się pokazać wartość dla biznesu, ale dopytam się jeszcze o jedną ciekawą rzecz. Sama powiedziałaś o tym, że zdjęcia były realne. Tutaj sprecyzuję o co chcę dopytać, wspominałem we wcześniejszych swoich odcinkach podcastu o tak zwanym konkursie ImageNet i widać jak duże postępy są tam robione w kwestii rozwoju algorytmów, metod, które używamy.

Natomiast ImageNet jest sztucznym zbiorem, jest zbyt idealistyczny, rzeczywiste zdjęcia są trochę innej jakości, trochę zbyt ciemne lub zbyt jasne itd. Pytanie jest takie: Na ile trudno jest pracować z takimi zdjęciami, które faktycznie są rzeczywiste?

Na pewno wymagają większej obróbki, przygotowania danych. To co myśmy zrobili w tym projekcie było dość proste, działaliśmy na lepszych obrazach. Powiedzmy, że modelka, sukienka czy bluzka jest ustawiona na białym tle, bezpośrednio na środku obrazu to są łatwe zdjęcia.

Możemy sobie wyobrazić zdjęcia, na których znajduje się kilka modelek, w sukienkach o podobnych kolorach czy rzeczywiste zdjęcia, selfie robione przez użytkowników w jakimś stroju. To na pewno wymaga więcej obróbki, wysegmentowania tego rzeczywistego obiektu, który jest obiektem oferty – to jest pierwszy problem. Jest wiele badań naukowych i rozwiązań nawet open source, w których za pomocą sieci głębokich można segmentować obiekt, produkt sprzedaży.

Oczywiście każda platforma ma swoją specyfikę więc aby nauczyć taki model musimy przygotować zbiór danych, to mi się wydaje najtrudniejsze, np. do segmentacji obiektu powinniśmy mieć zbiór danych gdzie jest ten produkt i maskę, czyli zdjęcie oferty i też maskę, gdzie na płaszczyźnie jest produkt. Samo przygotowanie tych zbiorów danych jest trudne, zwłaszcza na zdjęciach rzeczywistych, zbiór ImageNet, o ile pamiętam, to jest kilka kategorii obrazów, dość małych, które są otagowane pewnymi, prostymi cechami, tutaj znajduje się zwierzę, tu znajduje się samolot i tyle.

Jeśli chcemy wchodzi w segmentację to przygotowanie zbioru jest dużo trudniejsze. Jeśli chcemy wchodzić w rozpoznawanie tekstu reklamowego na obrazach ofert, to też nie jest takie proste. Są pewne zbiory w sieci, które pomagają, zbiory tekstów napisanych różnymi czcionkami, z różnym pochyleniem. Ostatnio ze studentem robiliśmy taki projekt, rzeczywiście wykorzystał takie zbiory do nauki, ale u nas na platformie jest dużo ofert,  gdzie są zupełnie różnego typu napisy, nie mówiąc już o kolorze, odcieniu, bardzo kreatywne sposoby reklamy mają nasi sprzedawcy.

Generalnie przygotowanie zbiorów uczących do różnych metod uczenia maszynowego, zwłaszcza uczenia głębokiego jest naprawdę pracochłonne. Tam musimy mieć dużo większe zbiory danych, oczywiście zależy to od dziedziny. Mieliśmy projekt, w którym mieliśmy zbiór 5 tysięcy otagowanych obrazów i to były dość proste tagi mówiące o tym, czy jest ramka czy nie ma ramki na obrazie, nie było trudno to otagować. Ale ten zbiór był za mały, musieliśmy mieć przygotowany większy, żeby móc zbudować, nauczyć lepsze modele.

To jest na pewno bardzo duże wyzwanie – dobre zbiory danych do uczenia maszynowego, przy obecnych metodach uczenia głębokiego możemy uzyskać bardzo dobre wyniki, ale musimy mieć dobre zbiory danych. Na pewno, warto wykorzystywać sztuczne zbiory jak konkurs ImageNet czy inne, ale to nie wszystko. Do każdego problemu musimy mieć swój własny, jeżeli chcemy go dobrze nauczyć. Są metody, jak transfer learning, które stosują pewne zasady, możemy czasami model częściowo nauczony douczyć, zmieniając mu nieco dziedzinę. Jednak jakieś podobieństwa w tych dziedzinach muszą być, nie może to być zupełnie inna tematyka.

Ostatnio byłaś w Singapurze, gdzie miałaś styczność z projektem automatycznej oceny jakości kształcenia na podstawie nagrań z wykładu. Brzmi to bardzo ciekawie, proszę powiedz coś więcej o co tu chodzi i dlaczego to może być wartościowe dla edukacji?

Pomysł był rzeczywiście szalony. Generalnie gdy mówiłam tu w Polsce, że jadę na taki projekt wszyscy mówili, że tego nie da się zrobić, że to niemożliwe. Pierwsza rzecz, od której rozpoczęliśmy to było określenie naszego celu, tego co chcemy mierzyć i co chcemy osiągnąć tym projektem. Po wielu rozmowach z Instytutem Pedagogiki w Singapurze określiliśmy, że chcemy mierzyć jakość kształcenia pod kilkoma kątami. Już wszystkiego nie pamiętam więc bez zaglądania w notatki.

To co pamiętam to, tzw. active learning, czyli w jaki sposób wykładowca włącza studentów w wykład. Czy jest jakaś komunikacja, czy studenci są zachęcani do kreatywnego rozwiązywania problemów, do mówienia o swoich własnych pomysłach oraz różne techniki sprawdzania wiedzy, np. clikery, gdzie zadaje się pytania testowe tzw. klikery i studenci mogą klikać odpowiadając na to, która odpowiedź wydaje im się najlepsza. To są techniki, które pomagają szybko zrozumieć wykład i też być aktywnym w czasie wykładu, po prostu mówiąc, nie zasypiać tylko słuchać i to w taki sposób, żeby móc coś jeszcze zapamiętać.

W Singapurze ten aspekt uczenia i pedagogiki jest bardzo podkreślany. Tam szkoły są bardzo nastawione na edukację, rząd stawia na rozwój technologii i edukacji. Już od dawna nagrywa się tam wszystkie wykłady na uniwersytecie, są już jakieś dane, które można analizować. Oczywiście te nagrania nie są idealne. chcielibyśmy widzieć studentów, ich twarze, czy oni są zainteresowani, co robią, ale widzimy tylko to co robi wykładowca, ewentualnie też głos z sali.

Oczywiście mamy też slajdy, jeśli wykładowca ich używa. Zastanawialiśmy się jak na podstawie takich video wykładów jesteśmy w stanie ocenić różne techniki aktywnego uczenia, wciągania studentów w proces kształcenia, zainteresowania ich tematem, pobudzania ich do kreatywności, używania różnych techniki, żeby wykład nie był nudny i monotonny. Zastanawialiśmy się co z tych nagrań możemy zmierzyć, co jest istotne z punktu widzenia pedagogiki.

Stworzyliśmy listę cech, przeanalizowaliśmy narzędzia, których możemy użyć do tego projektu, opracowaliśmy architekturę takiego systemu. Ale oczywiście, najpierw musimy przygotować zbiór danych więc staraliśmy się opracować protokół obserwacyjny, bo będziemy musieli zaangażować studentów w adnotowanie video, żeby później mieć dane do uczenia, testowania modeli.

Na razie pracujemy nad tym co chcemy zbierać, w jaki sposób i jak przygotować protokół obserwacyjny, tak żeby efektywnie studenci mogli oceniać oglądając wykład. Wydaje mi się to bardzo przyszłościowe, pod kątem tego, że później możemy dać wykładowcy feedback. Poinformować go co może poprawić, jakich innych techniki mógłby używać albo wesprzeć go w tym co rzeczywiście robi dobrze.

Brzmi to bardzo ciekawie!

Chociaż jest to trudne, jest to taki projekt, w którym jest wiele przeszkód. Chociażby takich, że NTU  jest uczelnią znajdująca się w Singapurze. Angielski singapurski jest inny niż angielski angielski. Jest dużo takich przeszkód, wyzwań, które w jakiś sposób trzeba będzie ogarnąć.

To chyba nazywa się singlish, tak słyszałem. Kontynuując temat edukacji, ale trochę z innej strony. Popyt na osoby, które potrafią wykorzystać potęgę uczenia maszynowego, żeby dostarczać wartość do biznesu ciągle rośnie.

Ostatnio przeczytałem w gazecie artykuł, że ludzie z biznesu narzekają na brak programistów, a prezesi firm twierdzą, że to właśnie programiści są na pierwszej pozycji, pod kątem ważności ludzi w firmie. Gdy myślałem o tym, to może za kilka lat okaże się, że brakuje osób, które rozumieją jak działa uczenie maszynowe i potrafią zastosować je w praktyce.

Pytanie brzmi: jak w Polsce do tego przygotowują się uczelnie? Może teraz zbytnio upraszczam, jednak na uczelniach zwykle wszystko dzieje się dość długo. Wiedza jest bardzo statyczna, przekazuje się ją poprzez profesorów studentom, później on też staje się profesorem. A uczenie maszynowe jest dość dynamiczną dziedziną, każdego roku pojawia się coś nowego. Bycie na bieżąco wymaga dużego wysiłku.

Wiem, że na Politechnice Warszawskiej prowadzisz ten nowy kierunek. Jak to wygląda z Twojej strony? Czy uczelnie już próbują się dostosować, czy jednak jest to mały ułamek?

Widzę, że próbują, dlatego my zakładamy nowy kierunek, specjalność. Powstaje dużo studiów podyplomowych. Na Elektronice na Politechnice Warszawskiej są studia podyplomowe Data Science, teraz na Uczelni Koźmińskiego powstają studia podyplomowe w zakresie Data Science dla menedżerów, żeby potrafili oni dostrzec wartość uczenia maszynowego i potrafili je u siebie wdrażać, wiedzieli jakich kompetencji potrzebują u siebie w firmie itd. To jest na pewno nowe i na uczelni to jednak trochę trwa.

Chociaż w naszym przypadku, od rozpoczęcia prac nad kierunkiem do uruchomienia go, trwało to półtorej roku. Od samego początku więc nie jest to aż taki bardzo długi proces, jeśli się zbiorą ludzie, którym naprawdę zależy na utworzeniu kierunku. Teraz jest też dużo możliwości związanych z wymianą międzynarodową.

Chociażby mój wyjazd do Singapuru, przy okazji powiem o projekcie RENOIR, który służy wymianie i nawiązywaniu kontaktów międzynarodowych. Miałam to szczęście brać w nim udział i wyjechać do Singapuru. Ten wyjazd otworzył mi oczy na to co się dzieje w innych krajach, jak tam są prowadzone przedmioty, mogłam uczestniczyć w wykładach prowadzonych przez tamtych wykładowców.

Muszę powiedzieć, że tam już od kilku lat są przedmioty związane z przetwarzaniem tekstu czy wyszukiwaniem informacji, czy analizą danych. To jest kilka przedmiotów u nas jest tego jeszcze mało, tam jest to prowadzone już od dawna. Jest to jeden z najbardziej prężnych uniwersytetów na świecie, jest tam bardzo dużo biznesowych aktywności na uczelni. Myślę, że świat stoi otworem, idziemy do przodu.

Minister czy całe Ministerstwo Nauki widzi też te potrzeby współpracy z biznesem czy otwierania się na współpracę międzynarodową. Mamy dużo możliwości. Pewnie, że są ludzie, którzy od dawna robią to samo na uczelni i trudno jest im się zmienić, otworzyć na nowe programy czy nowe dziedziny. Ale to się zmienia i widać, że nawet na naszym kierunku są profesorowie, którzy prowadzą jakieś zajęcia od dawna, a teraz zmieniali programy swoich przedmiotów, żeby były one bardziej współczesne, atrakcyjne dla studentów. Powoli, wszyscy nawzajem możemy się przekonywać.

Muszę też powiedzieć, że bardzo podoba mi się współpraca na Wydziale Matematyki i Nauk Informacyjnych na Politechnice, rzeczywiście jest tam bardzo otwarty, chętny do współpracy zespół. Może to jest trochę wyjątek, pracowałam też na innych wydziałach i miałam kontakt z innymi uczelniami więc mam porównanie. Można powiedzieć, że to są osoby bardziej otwarte, ale na pewno powoli się to zmienia i jest wspierane przez różne programy NCBR czy ministerstwa.

Brzmi to nieco obiecująco i mam nadzieję, że faktycznie ten głód, który już zaczyna się pojawiać w Europie, na pewno już się pojawił w Stanach, w jakiś sposób będzie opanowany.

U nas jest bardzo mały kierunek, przyjęliśmy około 40 osób, niestety tylko. Może w przyszłym roku będzie szansa na więcej. Już niektóre uczelnie w Polsce, chyba uczelnia we Wrocławiu, inne uczelnie też otwierają podobne kierunki. Także idziemy do przodu.

Teraz takie pytanie trochę bardziej biznesowe. Ostatnio coraz bardziej głośne staje się podejście AI First, Google ogłosił taką strategię w maju tego roku. Następnie, Microsoft, kilka miesięcy później adaptował również swoją strategię. Widać, że ta transformacja nabiera globalnych obrotów.

Dla przykładu, jest firma, która zatrudnia kilkunastu czy kilkudziesięciu programistów i ta firma chce zacząć używać uczenia maszynowego aby wyciągnąć tą wartość.

Jak dokonać takiej transformacji w sensowny sposób? Co możesz doradzić osobom decyzyjnym? Czy mają poszukiwać nowych osób? Jaki budżet na to jest potrzebny? Czy być może jednak przekwalifikować programistów na osoby, które już potrafią wykorzystać uczenia maszynowe? A może gdzieś pomiędzy? Jaka jest Twoja opinia?

To jest bardzo ciekawy i trudny temat. Ostatnio o tym dużo rozmawiałam z Profesor Sylwią Sysko-Romańczuk, która się bardzo tym interesuje od strony biznesowej. To jest bardzo ciekawy układ, gdy osoba od strony technicznej – Data Scientist rozmawia z osobą zupełnie biznesową. Na pewno, wymaga to bardzo dużej współpracy i dobrej komunikacji między biznesem, programistami czy analitykami danych.

Nie mam tu jeszcze złotego środka i planu, który wydawałby mi się taki wspaniały. Dużo o tym rozmawiam, ale nie mam jeszcze sprecyzowanej opinii. Natomiast to co, wydaje mi się, że warto zrobić, to przede wszystkim zainteresować ludzi tym. Może jakiś szkolenia? Których teraz jest bardzo dużo. Szkolenia on-line czy nawet można poczytać w internecie dużo na ten temat.

Osoby od strony biznesu mogą poczytać o tym jak to zostało już w innych firmach zastosowane, do czego stosowane są metody uczenia. Osoby od strony programistów, osoby techniczne mogą poczytać o różnych metodach, uczestniczyć w różnych kursach. Jest dużo inicjatyw, które zbierają osoby zainteresowane tematem, np. na Wydziale mieliśmy w maju Data Science Summit czy wszystkie konferencje Open Data Science w Stanach czy w Europie.

Właściwie teraz jest bardzo dużo takich inicjatyw i warto pochodzić na te konferencje zobaczyć co inni ludzie robią. Myślę, że warto chociażby się skonsultować z osobami, które już mają pewne doświadczenie w budowaniu modeli.

Myślę, że wielu programistów chętnie się trochę przekwalifikuje, żeby lepiej rozumieć te zadania i móc zacząć programować. Warto zatrudnić trochę osób, które już mają doświadczenie w tej dziedzinie, w budowaniu modeli, w analizie danych. Na pewno warto się konsultować i przede wszystkim po prostu próbować, bo bez tego nigdy nie wiemy czy nam się to przyda.

Zacząć próbować od takich prostych spraw, które wydają się najbardziej popularne, które zostały w wielu firmach już rozwiązane do spraw bardziej zaawansowanych, bardziej innowacyjnych. Trzeba być bardzo otwartym, bo teraz nowe rozwiązania pojawiają się co chwilę. Warto je próbować, testować, zastanawiać się nad mierzeniem.

Warto od razu opracować strategię mierzenia, czyli zastanowić się w jaki sposób udowodnimy, że dany model uczący w jakimś zastosowaniu przynosi efekty. Możemy np. udowodnić, że coś jesteśmy w stanie zautomatyzować czego wcześniej nie byliśmy w stanie. To jest oszczędność pracy ludzi. Zwykle warto przygotować platformę eksperymentacyjną gdzie możemy robić testy na użytkownikach, testy A/B czy po prostu zastanowić się w jaki sposób będziemy mierzyć wyniki.

Co nam powie o tym naszym sukcesie? Ale nie mam takiej, bardzo precyzyjnej procedury. Właściwie teraz na studiach, które z firmą Sages próbujemy rozkręcić, studia podyplomowe na Koźmińskim, tam staramy się zastanowić jak przetransformować przedsiębiorstwo do używania modeli Data Science, do używania Big Data, do zbierania danych. Co nowego może to przynieść przedsiębiorstwu? To jest proces w toku. Bardzo nam się podoba i interesuje nas, ale ja osobiście jeszcze nie mam bardzo precyzyjnych wskazówek, jeszcze tego nie widzę tak precyzyjnie.

Teraz pytanie, trochę prywatne, ale myślę, że muszę je zadać, chociażby dlatego, że kiedyś powiedziałaś „można o mnie powiedzieć, że lubię wymyślać, to co większość uważa, że się nie da”. Brzmi to bardzo intrygująco i ambitnie. Jakie masz plany na przyszłość, szczególnie jeżeli chodzi o tematy związane ze sztuczną inteligencją i uczeniem maszynowym?

Plany na przyszłość… Bardzo podoba mi się współpraca z uczelnią i łączenie jej z biznesem. Na naszych studiach Data Science, teraz otworzyliśmy też program doktoraty wdrożeniowe. Chcemy poprowadzić te doktoraty, z rzeczywistym zastosowaniem w biznesie, ale jednocześnie chcemy tutaj zastosować rzeczy naukowe.

Będę dużo współpracować z firmą Applica, która zajmuje się przetwarzaniem tekstu, też próbuje stworzyć model osobowościowy na ruchu użytkowników na różnych portalach. Projekt jest bardzo ciekawy, będziemy tutaj dużo współpracować z uczelnią. Chcę kontynuować to co zaczęłam, tzn. wciągać studentów, dawać im dane, które rzeczywiście mogą zostać zastosowane w biznesie, ale jednocześnie takie, które jeszcze są dla niego trudne, których biznes nie rozumie.

Tak żeby razem w sposób naukowy dostarczać nową wartość. Chyba to są najbliższe plany. Mam nadzieję, że jeszcze uda mi się wyjechać w ramach projektu RENOIR do Stanów na uniwersytet, żeby zobaczyć jak tam to wygląda z bliska. Dużo się o tym słyszy, czyta, ale jak się jest na miejscu to zawsze można lepiej poznać ludzi i zobaczyć jak to wygląda od środka. Pewnie jeszcze współpraca z Singapurem będzie się rozwijać, także dużo planów, nie wiem czy to wszystko uda się zrobić, ale czemu nie? Trzeba próbować.

Trzymam kciuki, żeby się udało i ostatnie pytanie na dzisiaj. Jak można z Tobą się skontaktować?

Na pewno przez profil LinkedIn, na stronie naszego wydziału też jest kontakt. Myślę, że łatwo mnie znaleźć w sieci. Można wejść na stronę Wydziału Matematyki i Nauk Informacyjnych tam są moje dane e-mail.

Dziękuję Ci bardzo Aniu, za ten pozytywny nastrój i chęć podzielenia się wiedzą.

Ja też bardzo dziękuję za zaproszenie, ciekawe pytania i miłą rozmowę.

---

W między czasie, miałem okazję spotkać się z Anią, podczas konferencji WhyR. To jest tak bardzo optymistyczna osoba, zawsze się uśmiecha. Ona zaraża swoim optymizmem. Po jednej z prezentacji, gdzie mówiono o znaczeniu biznesu, rozmawiałem z Anią i powiedziałem:

“Cieszę się, że w ramach konferencji, która odbywa się na Politechnice Warszawskiej, zwraca się szczególną uwagę na biznes. Z mojego doświadczenia, na uczelniach dość często (żeby uniknąć słowa zawsze) pomijany jest kontekst biznesowy”.

Natomiast, Ania ze swoim optymizmem odpowiedziała:

“Jest tego coraz więcej, ważność dostarczania wartości również pojawia się na uczelniach”.

Cieszy mnie ten optymizm i trzymam kciuki aby było tak dalej 🙂

Dostaję kolejną dawkę informacji zwrotnych. Bardzo cieszę się z tego powodu 🙂 Na iTunes pojawił się komentarz z pięcioma gwiazdkami. Krzysztof Kołacz napisał: “Przepełniony największą ilością pasji podcast w polskim internecie”. I dodaje: “Dziękuję za trzy kwestie: Pasję, odwagę do dzielenia się nią i poczucie misji społecznej. To trzy wypadkowe obecnych czasów, których nauczasz i którymi zarażasz innych”.

Dziękuję Ci bardzo Krzysiek, za tak poruszający komentarz. Przyznam się, że robienie podcastu jest trudne, potrzeba na to bardzo dużo czasu, również wiąże się to z pewnymi wydatkami (bo zaangażowane są również inne osoby, które pomagają mi podnosić jakość). Czasami, gdy jestem już bardzo zmęczony, pytam siebie, czy to co robię faktycznie daje wartość dla innych?

Dzięki takim komentarzom, czuję, że zdecydowanie tak. Wtedy mam motywację to kontynuować, nawet jeszcze na większych obrotach. Mam wiele pomysłów na to o czym można jeszcze nagrać odcinki i trzymam kciuki, aby to udało się. Dziękuję za wsparcie.

A teraz przejdę do ogłoszenia, które będzie ciekawe dla osób które chcą się nauczyć tego, jak realizować uczenie maszynowe w praktyce.

Sprzedaż kursu “Praktyczne uczenie maszynowe” na DataWorshop już trwa. O tym, chyba zapomniałem powiedzieć ostatnio, więc nadrabiam. Na tak korzystnych warunkach jak teraz, kurs będzie dostępny tylko raz (cena jest obniżona na 50%), dodatkowo jako słuchacz Biznesu Myśli masz zniżkę na 10%.

Kolejna edycja (jest szansa, że odbędzie się ona na początku roku 2018) będzie z ceną oryginalną.  Również na pakiet premium zostało już mało miejsc (zmienia się to w czasie, ale przypuszczam, że gdy słuchasz tego odcinka pozostało ich kilka).

Dzięki pakietowi Premium uzyskasz indywidualną opiekę, jest to co najmniej 8 godzin wsparcia. Oprócz zadań domowych, również będą konkursy z nagrodami. Na przykład, są do wygrania dwa Google Home (trudno je kupić w Polsce, a koszt jednego wynosi ok. 600-800 zł.).

Każdy z uczestników będzie miał dostęp prywatnej grupy na Facebooku. Myślę, że dzięki temu będzie można poznać ludzi, których interesują podobne tematy, nawzajem się wspierają i motywują. Już mam za sobą jeden webinar, który możesz obejrzeć.

Kolejne spotkanie odbędzie się w piątek, 20 października o 19:00. Tym razem webinar będzie bardziej techniczny. Robię to dlatego, żeby przekazać podstawy i wyrównać wiedzę przed rozpoczęciem kursu. Zapraszam do udziału.

Sprzedaż kończy się 30 października i tego samego dnia ruszamy z kursem.

To tyle na dzisiaj, dziękuje Ci bardzo za Twój czas i za chęć zdobywania nowej wiedzy. Życzę wszystkiego dobrego i do usłyszenia.

Książka polecana przez gościa

•