To już 120 odcinek, a dzisiejszym tematem jest „sztuczna inteligencja pod własnym dachem”, czyli trenowanie własnych modeli LLM (takich jak „ChatGPT”) tylko na własną rękę. Brzmi ciekawie? W mojej opinii, LLM to nowoczesna waluta. Tak, aż tak! Posiadanie własnego modelu LLM (przynajmniej na poziomie kraju) daje przewagę konkurencyjną i wpływa na rozwój gospodarki oraz innowacyjności.

W tym odcinku rozmawiam z Markiem Kozłowskim, ekspertem od NLP (pracy z tekstem) i ogólnie machine learning. Marek pracuje w AI Labie w OPI (Ośrodku Przetwarzania Informacji – Państwowym Instytucie Badawczym). Poruszamy wiele tematów, a główną myślą jest trenowanie własnych modeli LLM pod własnym dachem.

O czym rozmawiamy?

• Dlaczego trenowanie własnych modeli LLM jest kluczowe na poziomie kraju (w tym także w Polsce)?
• Jak wygląda proces trenowania modeli LLM? Od pre-trainingu, przez fine-tuning, aż po ewaluację i walidację.
• Wyzwania i możliwości budowy ekosystemu LLM w Polsce. 
• Inicjatywy takie jak konsorcjum PLLuM oraz potencjał rozwoju modeli LLM w Polsce.
• Marek dzieli się swoimi przemyśleniami na temat otwartości modeli, w tym Mistrala i jego zmieniających się warunków dostępności.
• Znaczenie danych kulturowo-historycznych w modelach oraz ich niedobór w dostępnych modelach, takich jak LLama 3 i innych.

Dlaczego warto trenować własne modele LLM?

• Własne modele to coś więcej niż technologia – to element narodowego ekosystemu AI.
• Dają przewagę konkurencyjną i wpływają na rozwój gospodarki.
• Pozwala na tworzenie rozwiązań dopasowanych do specyficznych potrzeb.
• Zapewnia większą kontrolę nad danymi i prywatnością.
• I coś więcej (warto posłuchać

Dodatkowo dowiesz się o projektach realizowanych w AI Labie w OPI, w tym o systemie antyplagiatowym JSA oraz modelach Qra i MMLW. Poruszamy też kwestię otwartości modeli LLM i podkreślamy, że tworzenie modeli dostępnych dla wszystkich jest kluczowe.

Zapraszam Cię do wysłuchania tego inspirującego odcinka i podzielenia się swoją opinią. Będzie mi również bardzo miło, jeśli polecisz nasz podcast co najmniej jednej osobie – im więcej osób się dowie, tym lepiej!

Spis treści odcinka:

• 00:00:00 – Wprowadzenie
• 00:01:35 – Kim jest Marek Kozłowski?
• 00:03:35 – OPI i AI Lab – co to jest i czym się zajmuje?
• 00:10:40 – Historia deep learningu i NLP w Polsce
• 00:12:40 – Jakie książki Marek ostatnio czytał?
• 00:16:10 – OPI – software house i laboratoria
• 00:20:00 – Projekty zrealizowane przez AI Lab w OPI
• 00:25:00 – Dane i ich znaczenie dla budowy modeli LLM
• 00:30:10 – Definicja modeli LLM
• 00:33:00 – Reprezentacyjne i generatywne modele LLM
• 00:37:00 – OpenAI i Google – historia sukcesu i porażki
• 00:40:00 – Dane jako klucz do sukcesu
• 00:41:35 – Etapy uczenia modeli LLM
• 00:53:00 – Dlaczego warto budować modele LLM pod własnym dachem?
• 00:56:00 – Konsorcjum PLLuM
• 01:06:00 – Ekosystem usług oparty o AI
• 01:14:00 – Racją stanu i przyszłość AI w Polsce
• 01:17:40 – Podsumowanie 

Chcesz dowiedzieć się więcej? Posłuchaj całego odcinka i daj mi znać, co o nim myślisz! Koniecznie poleć odcinek co najmniej jedne osobie. 

Podcast Biznes Myśli znajdziesz na wszystkich platformach podcastowych (Apple, Google, Spotify i innych). Wystarczy wpisać „Biznes Myśli”. Możesz także obejrzeć nas na YouTube, gdzie oprócz głosu nagrywamy również wideo. Czekam na Twoją opinię, czy dodatkowy format na YouTube Ci bardziej odpowiada.

Artykuł Sztuczna inteligencja pod własnym dachem pochodzi z serwisu Biznes Myśli.

Dzisiaj porozmawiamy o metrykach sukcesu w projektach uczenia maszynowego.

Temat jest dosyć “gruby”, a więc nie oczekuj proszę, że znajdziesz tutaj odpowiedzi na wszystkie pytania… W zasadzie to nikt ich nie zna i zawsze można coś poprawiać i interpretować inaczej. Na tym polega rozwój i dlatego idziemy do przodu, ale aby w ogóle ruszyć z miejsca, szczególnie jeśli chodzi o projekt ML, to chcę dziś porozmawiać z Tobą na jeden z ważniejszych tematów  w uczeniu maszynowym, temat od którego wszystko się zaczyna lub powinno zacząć, bo wciąż niestety zdarza się, że jest traktowany dosyć pobieżnie. 

Postaram się odpowiedzieć w tym odcinku na takie pytania:

1. Co to są metryki sukcesu i dlaczego są podstępne?

2. Dlaczego biznesowe metryki sukcesu są takie ważne w projektach ML?

3. Jak biznesowe metryki sukcesu wpływają na techniczne?

4. Jakie pytania warto zadać rozmawiając o metrykach?

5. O częstych błędach popełnianych na tym etapie i ich wpływie na cały projekt?

Jestem człowiekiem, który zdecydowanie woli działać niż rozmawiać, ale jest taki moment w projekcie ML, zadaję pytania, słucham i rozmawiam. Czasem słyszę – “Dobra, to co działamy? Budujemy już ten model?”  A wtedy bardzo często nie ma odpowiedzi na najważniejsze pytanie: ale co właściwie chcemy osiągnąć? Jaki jest nasz punkt B? I jak rozpoznamy (w sposób jednoznaczny), że go osiągnęliśmy?

I pierwsza myśl, która przychodzi do głowy – więcej sprzedawać, lepiej identyfikować klientów, lepiej wynajdować usterki. Jeśli operujemy takimi słowami, to z pewnością to nie brzmi jak metryka sukcesu dla ML… To stąd chce się zadać pytanie, co brzmi w takim razie jak metryka? 

W sumie na to pytanie najlepiej odpowiedzieć od końca. Co powinno się stać, aby zauważyliśmy, że jest sukces (lub go nie ma)? Na co dokładnie będziemy patrzeć? I tu pojawia się szereg pomysłów, np. zwiększy się sprzedaż. Dobrze, ale kolejne pytanie w porównaniu z czym? Czyli wdrażamy model, mierzymy jaka jest sprzedaż i z czym porównujemy? Bo nie możemy porównać tak łatwo z którymś odcinkiem wstecz, bo tam był inny kontekst. Nawet jak uwzględnimy sezonowość i np. porównamy dokładnie rok wstecz, to nadal może być dość losowe porównania.

Dotarliśmy teraz do ważnego pojęcia, które nazywam “losowym porównaniem”. Co to oznacza? To oznacza, że istnieje milion rzeczy, które możemy porównywać, ale większość z nich niewiele nam coś daje oprócz tego, że porównamy coś z czymś i jest spora szansa, że wyciągniemy złe wnioski (chociaż może przez przypadek wyciągniemy też dobre wnioski, ale w takiej sytuacji  też nie ma się  co cieszyć z tego powodu – bo będziemy działać w złudzeniu, że wiemy co robimy.

I co teraz robić? No właśnie, mam nadzieje, że już trochę czujesz, że temat wcale nie jest taki trywialny, spróbujmy ugryźć tego słonia po kawałku.

Co to są metryki sukcesu i dlaczego są podstępne?

Co to znaczy metryka sukcesu

Metryka sukcesu to miara, którą śledzimy, aby wiedzieć, czy to co robimy ma sens, czy nasza strategia działania się sprawdza i czy dalej warto iść w tym kierunku. Brzmi pięknie i wydaje się to prosta rzecz, ale tak naprawdę kryje się tutaj dużo pułapek nawet nie wchodząc jeszcze na poziom ML.
Jeśli chodzi o takie podstawowe pytania, które warto sobie zadać, to czy mierzymy właściwe rzeczy i jeśli tak, to czy mierzymy je właściwie  
W skrócie, metryka sukcesu jest po to, abyśmy  nie przegapili  sukcesu, ale też nie pomylili go z porażką.

Podstępność tego tematu polega też na tym, że czasem mierzymy pewne rzeczy, które wydają się ważne i są mierzone we właściwy sposób, ale de facto nic nie robimy z tym, bo np. nie mamy wpływu na zmianę procesu lub nie chcemy go zmieniać z innych powodów. I znajdujemy się w takiej ciekawej sytuacji, kiedy mamy wiedzę, że np. coś działa niezgodnie z naszymi oczekiwaniami, ale brak możliwych ruchów do wykonania, trudność zmian tej sytuacji itp. Takie sytuacje raczej zdarzają się w większych organizacjach, gdzie mamy pewne ugruntowane procesy, których zmiana wymaga znacznie więcej czasu niż np. w startupie, gdzie jest to decyzja jednej, dwóch osób. Dlaczego o tym mówię?

Właśnie po to, aby uczulić Cię jak ważnym i wielowymiarowym tematem są metryki sukcesu.
Fakt że są to już dobrze, ale jeśli decydujemy się inwestować pieniądze i czas w rozwój ML, to zdecydowanie ten temat wymaga przemyślenia przede wszystkim pod kątem biznesowym, a dopiero potem technicznym, bo jak się za chwilę dowiesz modele ML też mają swoje metryki sukcesu, które dobieramy dopiero wtedy, kiedy zrozumiemy te biznesowe, a nie odwrotnie.

Jak interpretować te słowa w kontekście modelu ML

No właśnie, co właściwie oznacza metryka sukcesu w kontekście projektu ML?

Budując model uczenia maszynowego też musimy narzucić mu pewne ramy i dokładnie określić, czego od niego oczekujemy sugerując się naszą potrzebą biznesową. Metryki sukcesu w ML są różne w zależności od wyzwania i celu biznesowego. 

Podam Ci od razu przykład. Załóżmy, że mamy dwa modele, każdy z nich prognozuje to samo – odejście klientów (czyli tak zwany churn prediction). Jak to jest większa firma, to taki model jest uruchomiony dla tysiąca czy nawet miliona klientów, czyli dokładnie tyle oszacowań robi model. I teraz to, co chcemy zrobić, to zdecydować, który model radzi sobie lepiej.

W praktyce to oznacza, że jeśli mamy tysiące prognoz z modelu 1 i tyle samo z modelu 2, to chcemy jakoś skompresować te wartości do pojedynczej wartości. Dlaczego pojedynczej?, Bo wtedy człowiek może je łatwiej porównywać, bo porównać dwie grupy, które mają miliony czy nawet tysiące jest trudniejsze, niż porównać dwie pojedyncze wartości. Tylko coś za coś, w tym przypadku tracimy mnóstwo szczegółów, ale dostajemy łatwą możliwość porównać modele.

Metryka modelu ML, czasem jest nazywana też techniczną metryką. Inaczej mówiąc jest to to sposób przekształcania wszystkich prognozowanych wartości do pojedynczej wartości. Np. model prognozuje ceny nieruchomości, jedna z technicznych metryk, którą możemy zastosować to `mae`. W praktyce ta metryka robi kilka prostych kroków: 

• Dla każdej nieruchomości mamy parę: prawidłowa odpowiedź oraz prognozowana odpowiedź (np. 500 tys oraz 550 tys. )
• Znajdujemy różnicę w prognozie, w tym przypadku 500 tys. – 550 tys. i mamy -50 tys. czyli model prognozował o 50 tys. więcej
• Pozbywamy się znaku minusa (o ile on jest), chodzi o to, że w tej metryce jest wszystko jedno w którą stronę się pomyliłeś (czy o 50 za dużo, czy o 50 za mało)
• Tak robimy dla każdej pary. Np. jak mamy 10k nieruchomości, to dostajemy 10k błędnych oszacowań
• Na koniec dla wszystkich tych błędów znajdujemy wartość średnią.

To jest przykład,  jak liczy się metryka modelu ML, tak jak już wspomniałem czasem nazywamy ją jako techniczna. Chociaż dla sprawiedliwości dodam, że istnieją co najmniej dwa rodzaje metryk technicznych, ta o której wspomniałem jest prostsza. Pomijając różne szczegóły techniczne, różnica polega na tym, że prostszą metrykę możemy użyć tylko wtedy, kiedy model daje nam finalny wynik.

Natomiast samo trenowanie modelu to jest iteracja i podczas tej iteracji jest też potrzebna metryka sukcesu, która na bieżąco koryguje nauczanie modelu (i zwykle wtedy chodzi o tę wewnętrzną metrykę techniczną). Możesz o tym pomyśleć tak. Jak uczeń chodzi do szkoły, to ma regularnie na bieżąco sprawdziany  i np. raz na rok egzamin. 

To właśnie taka jest relacja między tymi dwoma metrykami technicznymi – sprawdzającymi jak działa sam model. 

Ważne jest to, że już wybrzmiało, że mamy “pośredników”. Na górze tej hierarchii jest metryka biznesowa, następnie metryka techniczna  (zewnętrzna) i następnie metryka techniczna (wewnętrzna), która wprost wpływa na model. Pewnie już czujesz jakie są wyzwania, aby na trzecim poziomie robić to, na czym zależy na pierwszym. Jeśli zgubimy ten kontekst, co często lubią robić osoby techniczne, bo tak jest łatwiej, to szansa, że coś pójdzie nie tak, jest coraz większa.

W DataWorkshop mamy twardą zasadę, nigdy nie stawiamy metrykę sukcesu techniczną na piedestał, bo to nigdy nie było celem, tylko krokiem przejściowym. To jest ważne i ta reguła była wypracowana z czasem, pewnie docenisz je lepiej, kiedy popełnisz swoje błędy.

Dobry model a sukces projektu to dwie różne rzeczy 

Być może kojarzysz takie podejście, kiedy mówi się w taki sposób:

1. Naszym  celem jest  osiągnąć coś dla przykładu wstawię tutaj literkę “A”

2. B pomaga nam przybliżyć się do A

3. Naszym celem jest osiągnąć B 

No właśnie, to jest taki przeskok, na który często można trafić w praktyce i to myślenie jest pułapką. 

Jak domyślasz się dla ML tym punktem B jest techniczna metryka sukcesu (lub metryka modelu), ale z punktu widzenia biznesowego to A jest celem. Inaczej mówiąc, celem końcowym nie jest osiągnąć model z dokładnością 80% według przyjętej metryki MLowej, bo w sumie z punktu widzenia  biznesu nie wiadomo co to właściwie oznacza.

To stąd przychodzi inna ważna myśl do głowy. Jeśli, zespół ML/DS za dużo martwi się metryką techniczną i zapomina o metrykach biznesowych (lub w ogóle jej nie ma), to oznacza, że coś poszło źle.

Dodam, że niestety to jest częsty scenariusz i w pewnym sensie naturalny, grunt aby to zauważać i  reagować.  Tak jak już wspomniałem, sam często włączam się w różne role i dość regularnie łapię się na tym, że  będąc w roli technicznej wpadam w stan skupienia całkowitego nad metryką techniczną, ale przełączając się w rolę lidera projektu i spojrzenie bardziej biznesowe trzeba zobaczyć kontekst metryki szerzej niż tylko ta techniczna.

Też jest pewna ważna myśl. To już wybrzmiało wcześniej, ale powtórzę – czasem metryka techniczna może wyglądać “tak sobie”, ale z punktu widzenia biznesu, to już daje wartość dodaną lub odwrotnie  (niestety częsty przypadek), techniczna metryka wygląda dobrze, ale to nie daje wartości dodanej biznesu.

Tu pojawia się pytanie, po co tak dużo metryk: biznesowe, techniczne? Czy nie da się po prostu mieć jedną prostą metrykę sukcesu? No też chciałbym, aby to było tak proste, ale zwykle tak nie jest. Bo świat techniczny i świat biznesu dość mocno różnią się pomiędzy sobą. W świecie technicznym jest więcej matematyki i algorytmów, w świecie biznesowym – pieniędzy.

Dodam nawet więcej, z punktu widzenia technicznego świat biznesu nie jest logiczny, bo tam jest dużo nieracjonalnych rzeczy (np. dużo psychologii i innych spraw, które ciężko wyrazić matematycznie). Dlatego tak ważne jest jak najszybciej zbudować most pomiędzy tymi światami, bo inaczej szansa na sukces jest minimalna.

Podam Ci jeszcze mniej oczywisty przykład. Kiedy świat techniczny rozjeżdża się ze światem biznesu. Czasem jest tak, że metryka techniczna jest słaba, ale w tym jest wartość biznesowa, ale czasem bywa jeszcze ciekawej (przykład z życia). Metryka techniczna wyszła trochę gorsza, czy to oznacza, że jest źle? Bo wystarczy zrobić proste ćwiczenia i zapytać, co tak naprawdę teraz mierzymy i czy biznes patrzy podobnie?

Przejdźmy do przykładów, aby lepiej zrozumieć zagadnienie metryk sukcesu w ML w praktyce. 

Opowiem Ci kilka  przykładów z mojego doświadczenia i  z DataWorkshop, gdzie pomagamy naszym partnerom wyciągać wartość z danych. Nie mogę wprost podawać danych i szczegółów, ale przykłady będą na tyle soczyste, że bez problemu pobudzą Twoją wyobraźnię i mam nadzieję pomogą Ci lepiej zbadać kontekst Twoich projektów. 

Podzieliłem przykłady na branże, aby łatwiej było Ci identyfikować rodzaje wyzwań i problemów, ale nie musisz się ich pilnować. Czasem przykład z branży logistycznej jest bardzo bliski temu z e-commerce

Przykład 1 – logistyka i wypłacalność firm

Wyobraź sobie, że musisz odpowiedzieć na pytanie:  czy warto zacząć współpracę z firmą x mimo iż spełnia podstawowe warunki – ma towar do przewiezienia i szuka zleceniodawcy, a Ty masz firmę logistyczną. Stoisz przed dylematem, podjąć się tego zlecenia czy nie. Skąd w ogóle takie pytanie?

Skąd ten dylemat? Dlaczego nie wykonuje się wszystkich zleceń? W sumie na to pytanie może być wiele odpowiedzi.  W przypadku z mojego doświadczenia chodziło o wymiar finansowy. Co to oznacza?

• Czy firma A faktycznie zapłaci firmie B?
• Czy firma A jest zaufaną firmą? Chodzi o to, że jak znajduje się np. na tak zwanej czarnej liście  dla urzędu skarbowego, to może nieść ryzyko niewypłacalności i przy okazji powodować inne problemy.
  
  

Nas (z punktu widzenia modelu ML) jednak najbardziej interesowało w kontekście tego projektu, czy firma zapłaci. Tylko znów pojawia się pytania, co to oznacza w praktyce “czy zapłaci”? Jak to możemy jednoznacznie zdefiniować? Popatrzmy na to z perspektywy osi czasu.

Porozważajmy…. Kiedy uznajemy, że dana firma jest wypłacalna, a współpraca udana? 
Jakie mamy opcje? 

• zapłaci przed wykonaniem pracy (zaliczka 100%)
• zrobi zaliczkę przed, ale nie zapłaci resztę po
• zapłaci tuż po wykonaniu zlecenia (w ten sam dzień)
• zapłaci tydzień po wykonaniu zlecenia
• zapłaci miesiąc po wykonaniu zlecenia
• zapłaci więcej niż miesiąc po wykonaniu zlecenia
• zapłaci częściowa i różne kombinacje czasowe

Po zrozumieniu, że definicja wypłacalności,  stało się  zrozumiałe, że nie mamy jednoznacznej odpowiedzi na te pytania, a definicja “firmy, która płaci” wcale nie jest taka trywialna. Skoro nie mamy danych wprost “czy zapłaci” lub te dane nie są tak jednoznaczne, to też nie możemy wytrenować modelu i tego zmierzyć. 

Naturalnie pojawia się pytanie, co dalej?  W takiej sytuacji zwykle chcemy  trochę zmniejszyć złożoność problemu, ale aby wynik też był wartościowy i przybliża nas do głównego celu. Pytanie było takie, jeśli prognozujemy czy firma zbankrutuje, czy to już nie rozwiąże częściowo nasz problem? Bo firma, która bankrutuje nie ma pieniędzy (i to dlatego bankrutuje), więc brzmi, że nie zapłaci. Co ważne dane o bankructwie firmy można znaleźć w zewnętrznych źródłach danych. To oznacza z kolei, że już możemy to policzyć.

Kolejna ważna rzecz z punktu widzenia  metryki biznesowej. Każdy model będzie się mylić, więc od razu trzeba zrozumieć, że  są koszty błędu dwóch rodzajów: sytuacja, kiedy przegapimy firmę  “bankrutującą” i zadajemy sobie pytanie,  na ile to nas boli lub w drugą stronę, kiedy “za dużo” firm wg modelu zbankrutuje, a w rzeczywistości na dany moment mają się dobrze.

Wtedy mamy taką sytuację, że firma B odmówi we współpracy z firmą A mimo iż może ona zapłacić.  Od razu podpowiem, że najlepiej na to pytanie odpowiedzieć przeliczając to i kalkulując na różnych przykładach. Wtedy to znacznie bardziej przemawia biznesowo. Jakie są możliwe scenariusze: w sumie trzy najważniejsze:

1. Pierwszy błąd jest zdecydowanie gorszy, niż drugi. 
2. Błędy bolą podobnie, więc nie możemy uznać, że któryś jest gorszy.
3. Drugi błąd jest zdecydowanie gorszy, niż pierwszy (odwrotna sytuacja do 1). 

Oczywiście na tym nie skończyła się przygoda. Pojawiły się kolejne wyzwanie, które udało się wykryć robiąc prosty prototyp od, ale to już inna historia, na którą jeszcze będzie czas. 

Jak widzisz, startujemy z pewną abstrakcją, która wydaje się konkretem, czyli “czy firma zapłaci”. Swoją drogą, to jest prawie standard, że nawet tam gdzie mamy niby konkret, potem i tak robimy jedną czy więcej iteracji, aby upewnić się, czy jest spójność i jednoznaczność.

Też pewnie już widzisz, że z góry zakładamy, że każdy model będzie się mylić, pytanie tylko jak bardzo nas to zaboli? Który błąd zaboli mniej? To znów kolejny argument, dlaczego tak ważne jest dobrać właściwą metrykę sukcesu. To jest jak kompas, a my podróżnikami we mgle.

Przykład 2 – optymalizacja procesu produkcji w przemyśle

Być może też pracujesz w dużym przedsiębiorstwie, które coś produkują. Jeśli tak to wiesz, że optymalizacja procesów i redukcja odpadów produkcyjnych, to zagadnienia, które mocno się takim firmom opłacają. A jeśli są dane, to i możliwa jest optymalizacja z pomocą ML w wielu wypadkach. 

Tylko jak znaleźć ten proces, ten etap który, gdzie uczenie maszynowe może pomóc? Inaczej mówić trzeba znaleźć nisko wiszące owoce, od tego zwykle najbardziej opłaca się zaczynać ML.

1. Zaczyna się prosto i skomplikowane zarazem  – od zadawania pytań.
   
   To, co my robimy w takich sytuacjach, to  organizujemy na początku szereg spotkań z kluczowymi osobami np. tymi, które najlepiej znają produkcję i wyzwania z jakimi się mierzy zarówno na poziomie wykonawczym, jak i biznesowym (często różne osoby). W ciągu 2-3 dni po takiej serii wywiadów możemy wychwycić już naprawdę fajne ciekawostki i niespójności, które mocno rzutują na kolejne kroki projektu.
   A więc wartość rodzi się już na samym starcie.
   
2. Kolejny krok to wspólnie wybrać proces, którym chcemy się zająć, bo są tam nisko wiszące owoce, czyli stosunkowo niewielkie usprawnienia są w stanie przynieść spore pieniądze dla firmy.  

W tym przykładzie z branży przemysłu to była redukcja odpadów czy też zmniejszenie ilości produkowania wadliwych części i produktów,  zresztą to jest dosyć popularny przypadek, bo tam firmy tracą zwykle dużo pieniędzy i zwykle da się sporo poprawić.

Ok, mamy już swój wzrok skierowany nie na całą firmę, a wybrany problem i proces, brzmi lepiej, ale wciąż trzeba znaleźć odpowiedzi na wiele pytań i to właśnie w kontekście metryk sukcesu, czyli doprecyzować, co właściwie oznacza sukces w takim wypadku, a co będzie porażką.

Co to oznacza w praktyce zmniejszanie wadliwych części? W jakim okresie czasie?
np. jak na jedną część w rok będzie mniej, czy to już sukces?  

Wskazówka: w tym i każdym innym przypadku tego typu fajnie móc znaleźć taką metrykę biznesową, aby dało się to wprost przeliczyć na pieniądze, np. wiadomo,  ile kosztuje produkcja  np. 1 części, czyli wiemy ile firma straci produkując ją wadliwą. Liczymy, ile sztuk produkujemy średnio wadliwych nic nie zmieniając i o ile odratowanych walczymy, aby wysiłek włożony w optymalizację się zwrócił. I tutaj można by skończyć, ale dalej w sumie mamy wiele niewiadomych. 

Jakie dodatkowe pytania warto zadać? 

1. Czy mamy wpływ na to, by zmniejszyć liczbę wadliwych części?
   
   Tu już nie ma łatwych odpowiedzi, bo np. posiłkując się przykładem, który jest mi bliski, z którym pracowałem, część materiałów, z których dany produkt jest produkowany są dostarczane z zewnątrz i faktycznie nie zawsze mamy wpływ na to, aby to naprawić, jeśli akurat tam jest problem.  Odnotujmy to jako kolejny fakt na ten moment naszej historii.
   
   
2. Czym tak naprawdę jest produkowany produkt? 
   
   Czy to jest “coś pojedynczego” czy składa się z mniejszych innych części. Często, a przynajmniej z mojego doświadczenia, a widziałem to na własne oczy, taki produkt składa się z kilku lub kilkunastu innych części tzw. półproduktów. 

I tu dochodzimy do fajnego punktu…

Zobacz, cel biznesowy to zmniejszyć ilość wadliwych produktów w ostatecznym rozrachunki – to też trudniejszy przypadek, bo nie zawsze mamy wpływ na wszystkie czynniki, które to powodują.

Nawet, jak model wykryje, że coś jest nie tak, to co dalej? Gdzie tu jest wartość dodana dla biznesu?

Ale nawet w tym przypadku jest, tylko trzeba ją zauważyć i zdefiniować.

Przykład – aby powstała kompletna część, wędruje ona przez linię produkcyjną i przechodzi przez różne etapy, gdzie za każdym razem dokonuje się pewna zmiana, która przybliża nas do finalnego produktu. Takie przejście zajmuje czas, jak się domyślasz także tutaj czas = pieniądz. 

Załóżmy, że jednym z powodów wady produktów może być wada materiału użytego do jego produkcji. O co teraz walczymy? O to, aby wykryć to najwcześniej jak się da – oszczędzić czas, inne materiały, energię na produkcję czegoś, co będzie wadliwe, tylko zwykle dowiadujemy się za późno, że coś poszło nie tak.

Zwykle w takich fabrykach walczymy o minuty lub nawet sekundy, które źle wykorzystane powodują dalsze opóźnienia.  Marnujemy czas na produkcję wadliwej części i nie produkujemy w tym czasie też tej prawidłowej = podwójna starta można powiedzieć.

Najczęściej popełniane błędy

1. Brak metryki sukcesu biznesowej.
   
2. Metryka biznesowa jest zbyt abstrakcyjna, np. nie mierzy pieniędzy lub chociażby czas
3. Metryka techniczna jest oderwana od metryki biznesowej.
   
4. Zespół zbyt dużo skupia się na metrykach technicznych i mówią, zbyt złożonym językiem do biznesu, zamiast tego, aby lepiej zrozumieć jaki problem biznesów chcą rozwiązać.
   
5. Każda metryka techniczna, to jest pewne przybliżenia, nie można jej ufać na 100%, bo tracimy tam szczególiki (podobnie jak tracimy szczególiki patrząc na wartość średnią), warto robić dodatkowe testy i sprawdzać co w rzeczywistości uzyskaliśmy.
   
6. Brak zarządzania ryzykiem, czyli pominięcia tego, że każdy model myli się, ale ten błąd może kosztować różnie i warto to rozważyć z perspektywy biznesowej i zacząć tym zarządzać świadomie.
   
7. Paraliż przed startem, skoro metryka jest dość trudna, to nie wiem jak zacząć. To źle, zacznij od czegoś i zrób kilka iteracji do przodu i wtedy będzie łatwiej skorygować metrykę, bo lepiej poznasz wycinek rzeczywistości, w której się obracasz. Innymi słowami, małymi krokami do przodu, na początek stawiasz pierwszy krok i prawdopodobnie wybierzesz gorszą metrykę, przynajmniej już zaczniesz iść do przodu. Ważne aby tylko nie zapomnieć skorygować tę metrykę, jak już zgromadzisz większe rozumienie.

Podsumowanie

1. Wybranie właściwej metryki jest trudnym procesem! Mało tego, zwykle nie da się to zrobić dobrze za pierwszym razem, bo jest zbyt dużo niepewności dookoła i rzeczywistość i tak nas zaskoczy.

2. Tylko to wcale nie oznacza, że trzeba wpaść w tak zwany paraliż decyzyjny i przez lata teoretycznie wybierać tę metrykę. Wręcz przeciwnie. Trzeba wybrać na początek w miarę prostą, która brzmi sensownie i przeprowadzić jak najszybciej eksperyment od początku do końca, aby lepiej zrozumieć jakie są ograniczenia, jakie są wady wybranej metryki (i dlaczego) i co możemy zrobić, aby to usprawnić. Wybrać kolejną metrykę i iść do przodu.

3.  Ważne jest to, aby na danej iteracji była jedna główna metryka, nie można skakać lub przybliżać, bo inaczej nie wiadomo co z czym porównywać. Też warto mieć kilka, tak zwanych spadochronów zapasowych, czyli metryki wspomagające wykrywać anomalii. Te pomocnicze metryki, są po to, aby mieć większą pewność, czy to co robimy nadal ma sens.

Zadanie dla Ciebie

Czas na ćwiczenia. Wymyśl gdzie model ML może być pomocny dla Ciebie? Zacznij rozważać jak to będziesz mierzyć? Czy da się tam zmierzyć jednoznacznie? Czy są w tej metryce zawarty pieniędzy? Czy masz wpływ na to co chcesz zoptymalizować?
Podziel się swoim przemyśleniem ze mną :).

Artykuł Metryki sukcesu w projektach Machine Learning pochodzi z serwisu Biznes Myśli.

Witam Cię w 1 odcinku nowej serii podcastu Machine learning – od pomysłu do wdrożenia, w którym chcę przejść z Tobą po krętych ścieżkach projektu z uczeniem maszynowym w roli głównej, aby dać obraz tego, jak wygląda taki projekt i co może doprowadzić do jego sukcesu, a co do porażki


W ramach tego odcinka, postaram się odpowiedzieć na kilka ważnych pytań, które mam nadzieję pomogą Ci lepiej zrozumieć, czym jest ML, jaką wartość niesie i jak możesz postawić pierwsze kroki,aby zbadać, jak uczenie maszynowe i nauka o danych mogą pomóc w Twojej organizacji.

Pytania, na które będziemy szukać odpowiedzi w ciągu najbliższej godziny:

• 1)  Co potrafi ML, a czego nie potrafi?
• 2)  Jakie wartości może przynieść ML?
• 3)  W jakich branżach ML daje przewagę?
• 4)  Jak szukać obszarów w Twojej  firmie, gdzie uczenie maszynowe może pomóc? 
• 5)  Jak postawić pierwszy krok, aby zbadać potencjał, czy ML daje wartość?
  
  
  

Ale zacznijmy od początku i wróćmy jeszcze na chwilę do zamysłu serii 10 kolejnych odcinków, które przygotowuję.

W tej serii podcastu Biznes Myśli poznajesz i zgłębiasz zagadnienia krok po kroku, aby na koniec mieć poczucie, że masz spójny obraz i wiedzę w zakresie od pomysłu do wdrożenia uczenia maszynowego. Nie mogę obiecać, że pokryjemy wszystkie zagadnienia w ramach tej serii i opowiem Ci o wszystkich pułapkach, ale mam nadzieje, że po wysłuchaniu całej serii Twoja świadomość co warto robić, a czego unikać w ML oraz jak podejść do projektu ML –  będzie znacznie większa i jeśli wdrożysz to, o czym mówię, to zaprocentuje to, ponieważ rozmawiamy tutaj o nie o samej technologii, ale o biznesie i łączeniu tych kropek. To właśnie esencja podcastu Biznes Myśli

Część zagadnień, zwłaszcza z 1 odcinka, może wydać Ci się oczywista, jeśli jesteś ze mną już jakiś czas lub działasz już w branży, ale chcę mimo wszystko powtórzyć pewne rzeczy, aby ustrukturyzować wiedzę, nadać pewną logiczną ramę całej serii, i przede wszystkim rozwiać wątpliwości u osób, które dopiero przymierzają się do swojego pierwszego projektu. Swoją drogą, jeśli masz już doświadczenie w tym, o czym jest ten odcinek,  to śmiało podziel się swoją opinią, doświadczeniem na stronie Biznes Myśli w sekcji komentarzy pod artykułem na temat tego odcinka.  Może też się tak zdarzyć, że masz inne wskazówki, inne przemyślenia, to też jest ok. Ja dzielę się tym, co zauważyłem w mojej pracy. 

Jestem praktykiem, a więc będę bazował na moim doświadczeniu i doświadczeniu mojej firmy – DataWorkshop. Regularnie współpracujemy z różnymi firmami przy projektach data science i uczenia maszynowego z różnych branż (jeśli czujesz zagubienie, na czym polega różnica między uczeniem maszynowym a data science, to spokojnie, poznasz te niuanse w ramach tej serii). 

Jak miałbym określić, czym zajmuje się DataWorkshop w jednym zdaniu, to mogłoby ono brzmieć tak: wydobywamy wartość z danych z pomocą uczenia maszynowego, a potem dzielimy się tą wiedzą z innymi podczas autorskich kursów i szkoleń.

Świadomie stawiam akcent na dane i wartość, a dopiero potem mówię o uczeniu maszynowym, bo trzeba pamiętać o tym, że ML to tylko narzędzie. A nam zależy nie na idealnym modelu jako takim, tylko modelu w działaniu, który jest w stanie rozwiązać nasz problem, usprawnić pracę, zoptymalizować wyniki wydobywając z danych to, czego bez pomocy ML nie udało się wcześniej zrobić.

I tutaj pojawia się już pierwsza ważna rzecz, którą musisz wiedzieć i zapamiętać na początku – jeśli potrafisz rozwiązać dany problem bez uczenia maszynowego, to zrób to bez ML.

Podsumowując  – uczenie maszynowe to seria eksperymentów, gdzie sprawdzamy, jak różne  modele, narzędzia i techniki pracy z danymi pomagają nam rozwiązać precyzyjnie określony problem.
Inaczej mówiąc – w trybie prób i błędów szukamy odpowiedzi na precyzyjnie zadane wcześniej pytanie lub próbujemy z pomocą ML uporządkować rzeczywistość – dane w określony sposób.

Już tłumaczę lepiej, o co chodzi na przykładach. Zacznijmy od pytań, które nurtują biznes.

Przytoczę kilka popularnych przykładów, ale jest oczywiście tego więcej:

• Czy dany klient zrezygnuje z naszego produktu?

• Kiedy jest najlepszy moment na kontakt z danym klientem w celu przedłużenia umowy?

z innej branży…

• Czy i kiedy pojawi się anomalia w konkretnym procesie produkcji np. części samochodowej? 

Pytania można mnożyć, ale co najważniejsze, to warto tutaj zrozumieć i zapamiętać to:

• To nie są trywialne lub chociażby łatwe pytania, a więc mogą być dobre aby ogarnąć za pomocą ML.

• Poszukiwanie na nie odpowiedzi jest możliwe dzięki danym.

• Sam wytrenowany model “nie odpowie na te pytania”, ale może być ważnym elementem projektu poszukiwania odpowiedzi i co najważniejsze wykonywanie akcji, aby znaleziona odpowiedź mogła przełożyć się na działanie. 

Uczenie maszynowe nie jest punktem na osi czasu, to proces i działanie zmienne w czasie.

Jeśli mówimy o zastosowaniu rozwiązań uczenia maszynowego, aby znaleźć odpowiedzi na nurtujące pytania, to trzeba to wypracować w powtarzalnym i stabilnym procesie. I nie mam na myśli tutaj samego modelu ML, to tylko element większej układanki. Paradoksalnie w projektach uczenia maszynowego wcale nie uczenie maszynowe jest najtrudniejsze, co doskonale zrozumiesz po tej serii. 

Jeśli interesuje Cię pogłębiona definicja uczenia maszynowego i perspektywa bardziej techniczna niż biznesowa, to zachęcamy Cię do zapoznania się z materiałami DataWorkshop, szczególnie z kursem “Data Science & Machine Learning w praktyce” – tam możesz przekonać się, czym to jest na poziomie kodu i pracy z danymi na przykładach. 

Tutaj nie będę wchodził w technikalia, bo cel tego podcastu jest inny. Nazwa serii to “Machine Learning – od pomysłu do wdrożenia”, skoro jesteśmy w 1 odcinku, to warto zacząć od pomysłu, prawda?

Ale na pomysłach tutaj nie kończymy, tylko zaczynamy, a dodatkowo doprecyzujemy sobie ten “pomysł”, ponieważ słowo pomysł jest podchwytliwe i zwykle kryją się pod nim pewne oczekiwania, a rzadko plan działania, chociaż słownik mówi inaczej.

Według słownika PWN pomysł to:

twórcza myśl zawierająca projekt działania, rozwiązania czegoś.

Przekładając to do uczenia maszynowego i praktykę zwykle to myśl, że można wykorzystać uczenie maszynowe do rozwiązania konkretnego problemu / wyzwania, z jakim się obecnie mierzymy. Wciąż zagadką pozostaje na tym etapie, jak dokładnie

Skoro jesteśmy już przy pomysłach, to dobrze byłoby odpowiedzieć na pytanie, co ML potrafi, a czego nie potrafi. Pomysły kryją w praktyce więcej oczekiwań niż projektów działania, jak już powiedziałem,  a więc dobrze generować przynajmniej realne pomysły, aby łatwiej  przekuwać je w plany działania w kolejnych krokach.

W zasadzie wybrzmiało już we wstępie,  czym jest ( w dużym uproszczeniu) uczenie maszynowe, ale doprecyzujemy to, aby łatwiej było Ci wygenerować pomysły rozwiązań problemów w Twojej organizacji.

Z pomocą uczenia maszynowe potrafimy…

• skutecznie analizować dużo wierszy i kolumn po to, aby znajdować w danych zależności, które trudno wyłapać w klasyczny sposób, czyli  mowa tutaj o tak zwanych korelacjach nieliniowych, inaczej mówiąc – mniej oczywistych.

PS. Dużo danych  liczy się w moim odczuciu od kilkadziesiąt tysięcy rekordów górę i kilkudziesięciu kolumnach w górę, ale nie może być mniej na start, aby złapać już pierwsze potencjały.

• Potrafimy budować modele, które mogą prognozować pojawienie się czegoś np. szansy na zakup lub w drugą stronę np. pojawienie się anomalii – chodzi o próbę odgadnięcia co się stanie na podstawie przesłanek z danych lepiej niż robi to zwykle człowiek w danej sytuacji.

Warto dodać, że modele uczenia maszynowego mogą też rozpoznawać coś, a nie tylko prognozować, np. rozpoznawać obiekty czy intencję mówiącego. Czyli w tej sytuacji z pomocą uczenia maszynowego staramy się wyręczyć człowieka nie tyle w przewidywaniu, co może się stać z konkretnym prawdopodobieństwem, ale w dobrym rozeznaniu rzeczywistości

• Dodam jeszcze, że z pomocą ML potrafimy też podejmować lepsze decyzje, jeśli potraktujemy model jako asystenta, który “widzi pewne” rzeczy, których my nie widzimy, a my korzystając z jego prognoz lub podglądając co bierze pod uwagę taki model dokonując takich prognoz możemy podejmować decyzje w oparciu o tę dodatkową wiedzę wcześniej dla nas niedostępną.
  
  

Ok, dla wielu słuchaczy mojego podcastu pewnie to, co mówię teraz i powiem za chwilę wydaje się oczywiste, ale praktyka pokazuje, że w teorii brzmi to trywialnie, a w praktyce nasze oczekiwania wobec modeli są czasem ponad to, co potrafią ;), dlatego wracam  do podstaw, abyśmy dobrze zaczęli tę serię

Czego uczenie maszynowe nie robi?

• Nie sprzedaje i nie optymalizuje – inaczej mówiąc sam ML nie rozwiązuje problemów, ale pomaga je rozwiązać -problemy rozwiązują wciąż ludzie dzięki odpowiednim procesom i konkretnym działaniom i ML może tutaj pomóc swoimi podpowiedziami.

• Nie definiuje problemów, nie zadaje pytań, tylko dostarcza nam informacje, które pomagają nam zadać właściwe pytania i zidentyfikować problem.

• Nie czaruje – jeśli mamy zdefiniowane zadanie, ale nie mamy danych lub dane są kiepskiej jakości, to nie stanie się tutaj magia, Ml to tylko narzędzie i potrzebuje konkretnego materiału, aby z pomocą ML można wyrzeźbić to co chcemy.

Ok, mamy to już za sobą. Lista nie jest zamknięta, ale na start wystarczy.

Wiesz już co może ML, czego nie może – w dużym skrócie, ale potraktujmy to jako punkt wyjścia i mam nadzieje, że rozumiesz co chcę przekazać. ML to nie magia, to tylko narzędzie, którego używamy do określonych celów, które sami definiujemy.


To teraz warto zadać pytanie:

Jakie wartości może dostarczyć uczenie maszynowe i czy Ciebie to może  dotyczyć?

Zaznaczę tylko na wstępie, że ten temat będzie poruszany  głębiej w kolejnych odcinkach tej serii, ale chciałabym ugryźć to też teraz z nieco innej perspektywy. 

Zawsze na samym początku różnych współprac pojawia się kontekst oczekiwanej wartości, tutaj nawet nie mówimy jeszcze o metrykach sukcesu konkretnego wyzwania, ale o oczekiwanej wartości ze współpracy i pracy nad wdrożeniem ML do rozwiązania jakiegoś problemu.

Nie za bardzo da się  na to pytanie odpowiedzieć jednoznacznie nie znając kontekstu.

Skala oczekiwania co do wartości jest powiązana z kilkoma czynnikami niezależnymi od ML jako technologii.

Zobacz, jak wartość kształtuje się też w zależności od tego na jakim etapie jest Twoja organizacja lub będą jeszcze bardziej precyzyjnym, dany problem, który chcesz rozwiązać.

Załóżmy, że mogą być 3 popularne sytuacje, w której znajduje się firma, która chce rozwiązać dany problem z pomocą ML:

1.  Mamy zdefiniowany problem – nic nie robiliśmy jeszcze z ML, ale próbowaliśmy dany problem rozwiązać w klasyczny sposób – znanymi nam metodami i nie udało się lub efekt był słaby.

2. Próbowaliśmy dany problem rozwiązać z pomocą ML, były pierwsze efekty, ale chcemy to zrobić lepiej.

3. Nie próbowaliśmy tego problemu w ogóle rozwiązać, nie wiadomo jak do tego podejść, być może problem jest gdzie indziej niż go widzimy,  ale czujemy, że ML może tutaj pomóc. 

Każdy z tych scenariuszy niesie za sobą inne rozumienie wartości, bo w przypadku organizacji która jest już na drodze ML i walczy o lepsze efekty te oczekiwania są inne i trudniej osiągnąć dużą deltę zmiany, ale kiedy np. mamy scenariusz nr. 1 czy 3, kiedy klasyczne metody zawodzą i uczenie maszynowe daje znaczącą różnicę w jakości prognoz lub rozpoznawania anomalii, sentymentu, to czasem nawet bardzo prosty model jest w stanie już przynieść znaczącą wartość w porównaniu do tego, jak ten problem był lub nie był w ogóle rozwiązywany wcześniej.

To, co próbuję teraz powiedzieć to to, że odpowiadając na pytanie wartości z ML zawsze trzeba wziąć pod uwagę kontekst danej organizacji,  a nie ogólne założenia i porównywać się do innych.

Można teraz zadać pytanie, czy ta wartość nie zależy od branży, czy są branże które zyskują więcej lub takie, gdzie lepiej nie wchodzić z ML.

Uczenie maszynowe jest dosyć uniwersalne, to znaczy nie jest przywiązane do branży, wymaga tylko lub aż bardzo dobrego zdefiniowania problemu. Mówię “aż” bo to jest często też wyzwanie lub inaczej wymaga czasu, aby to zrobić, nie można zrobić tego po łebkach jak to mówią.

Natomiast porozważajmy, co może wpływać na sukces projektu ML i czy te czynniki są zależne od branży. 

• Proces

Na pewno ma wpływ na to proces projektowania rozwiązania i wdrożenia, ale to jest niezależne od branży – to specyfika ML i mogą zająć się tym profesjonaliści z doświadczeniem, także spokojnie  

• Kultura organizacji

Bardzo ważna jest kultura organizacji i pracy z danymi, tutaj wydaje się, że są różnice zależne od branży, z pewnością wszystkie cyfrowe produkty i usługi mają łatwiejszy dostęp do danych niż np. branże wytwarzające produkty fizyczne, bo tutaj mamy do czynienia z procesem digitalizacji najpierw i działaniami, które mają na celu uporządkowanie cyfrowego śladu produktów będących fizycznymi, tutaj pewnie branża industry różnego rodzaju pewnie doskonale wie, jakie to może być czasem wyzwanie, aby zintegrować dane z różnych maszyn fizycznych i nie zgubić niczego po drodze.

Natomiast co ciekawe, często w tych branżach, jak już uda się zdigitalizować, to znacznie łatwiej jest dostarczyć wartość, bo delta zmiany po wdrożonym rozwiązaniu może być ogromna. 

• Łatwość zmian procedur i lekkość wprowadzania nowych rozwiązań 

Projekt uczenia maszynowego ma przynieść pewną  nową jakość, ale od jakości na przysłowiowym papierze i płynącej z samego modelu do zmiany jakości w usłudze, produkcji i tak dalej długa droga. I nawet jeśli mamy świetny model pod kątem technicznym, ale nie możemy go użyć i szybko adaptować, bo nie możemy zmienić procesu lub blokują nas formalności, to ostatecznie nie jest to dobry model, bo nie zarabia na siebie.

Na przykład branża medyczna czy ogólnie produkty związane z ochroną zdrowia, profilaktyką itp. pokłada ogromne nadzieje w ML, to wydaje się, że największe wyzwania tam są głównie na podwórku prawnym i formalnym.

Podam też inny przykład dla kontrastu. ML nie musi też zawsze zmieniać procesu, można go wpiąć w już istniejący bez zmiany działającego systemu, np. w produkcji czegokolwiek np. branża automotive – też ma swoje linie produkcyjne, ustalone procedury i standardy działań, które nie tak łatwo zmienić i może nie ma potrzeby, ale można dodać np. pewien prosty element sygnalizujący o anomalii, który będzie upraszcza pracę kontrolera jakości i stanowił dodatkową wartość bez znaczących zmian w całym procesie, ale ze znaczącą zmianą w ilości produkowanych wadliwych części i strat jakie ponosi firma.

Swoją drogą o tym przykładzie jeszcze usłyszysz w tej serii, bo to bardzo fajny use case, którym chcę się z Tobą podzielić.

Jak szukać obszarów w Twojej  firmie, gdzie uczenie maszynowe może pomóc? 

Uczenie maszynowe działa najlepiej tam, gdzie człowiek ma pewne wyzwania. Oczywiście jest też tak, że tam, gdzie tych trudności nie ma, też możesz zastosować ML, tylko pytanie po co?

Mówiąc “najlepiej działa” mam na myśli przynosi wartość, którą da się przeliczyć np. wprost na pieniądze lub czas.  No i tutaj masz pierwszą podpowiedź i pierwszy filtr, który możesz zastosować w swojej organizacji:

a) 1 filtr – pieniądze & czas

Zidentyfikuj w swojej organizacji wyzwania lub problemy, gdzie ucieka zbyt dużo czas lub pieniędzy (kosztów bądź szans na zarobienie).  Mówiąc inaczej biznesowi musi zależeć na rozwiązaniu tego problemu

b) 2 filtr:  wcześniejsze próby

Zadaj sobie pytanie: czy ten problem był już rozwiązywany w jakiś sposób?

• -jeśli tak, to co poszło nie tak,

• jeśli nie, to też musi być jakiś powód

Dlaczego warto podrążyć ten wątek, bo może się okazać, że są obszary problematyczne bardziej lub mnie, gdzieś mogą wisieć nisko wiszące owoce, ale nie udało się ich zerwać, bo narzędzia lub proces były nieodpowiednie, a z drugiej strony mogą być takie wyzwania, które pokonane i tak nic nie zmienią i tutaj pojawia się kolejny filtr, który musisz mieć na uwadze…

c) 3 filtr – zmiana

Zastanów się, na co jest wpływ, co można realnie zmienić nawet jeśli pojawi się  najlepszy model, najlepsza technologia.

Podam Ci przykład, aby lepiej wyjaśnić, co mam na myśli i dlaczego to jest ważne.

Jeśli np. problem zdefiniowany jest tak, że chcemy prognozować jaką najlepiej akcję wykonać względem klienta danej usługi, ale mamy możliwość w realnym działaniu teraz i przez jakiś czas wysłać jedynie maila i z jakiegoś powodu nie ma możliwości usprawnienia tego, to po co nam taka prognoza, choćby model był najlepszy. I to nie działa w taki sposób, że zróbmy model, a “potem się zobaczy”… To jest prosta droga do porażki w projekcie ML. Warto tworzyć rozwiązania ML’owe po to, aby móc je wdrożyć, które będą wspierały już istniejące procesy lub współtworzyć nowe, ale tutaj musi być otwartość na zmiany. 

d) 4 filtr – dane

Doprecyzuj problem najlepiej jak się da i sprawdź, czy mamy dane, które mogą pomóc rozwiązać ten problem.

Tutaj, jeśli mamy do czyniania np. z klasycznym uczeniem maszynowym, to powinna pojawić się tak zwana zmienna docelowa 2 przykłady, aby pomóc Ci zrozumieć, co to jest, jeśli jeszcze nie wiesz.

• Jeśli chcemy prognozować, czy dana część silnika samochodu będzie wadliwa, to trzeba zweryfikować, czy w ogóle odkładamy w danych informację o prawidłowych sztukach i tych wadliwych i mamy dane historyczne za dłuższy okres czasu np. kilka lat, rok lub co najmniej kilka miesięcy na temat wyprodukowanych sztuk i oznaczonych jednoznacznie jako wadliwe lub prawidłowe.

• Inny przykład, jeśli chcesz prognozować, czy dany klient utrzyma się, czyli np. będzie kontynuował korzystanie z Twoich usług, jeszcze inaczej mówiąc przedłuży umowę, to podobna historia – musisz mieć w jednoznaczny sposób oznaczone w danych historycznych, że dany klient utrzymał się lub nie.
  

Tutaj warto dodać, że najlepiej zaczynać przygodę z ML od takich wyzwań, gdzie target jest oczywisty, łatwo rozstrzygalny. Choć oczywiście zdarzają się zadania optymalizacyjne, gdzie ustalenie samego targetu w danych jest wyzwaniem. Na to też są sposoby, ale wymaga to więcej pracy konceptualnej.

Poza tym, oczywiście musimy mieć dane, które opisują, czy też reprezentują jak najdokładniej kontekst zdarzeń, który próbujemy zorganizować, np. dane z maszyn, które biorą udział w produkcji naszej części, czy też dane profilowe naszego klienta lub historia zdarzeń, które miały miejsce przed okresem przedłużenia umowy z przykładu.

Jeśli rozwiązujemy problem np. z zakresu analizy wykrywanie anomalii na podstawie obrazu z kamery np. na jakiejś linii produkcyjnej, to tutaj mamy do czynienia z inną technologią tak zwane głębokie uczenie maszynowe, mamy inne dane, ale wciąż jakieś dane musimy mieć.

Każdy use case jest inny i wymaga indywidualnego rozeznania, jakie dane mogłoby być przydatne, ale mam nadzieję, że udało mi się zwrócić Twoja uwagę przynajmniej na te krytyczne elementy bez których ciężko zacząć.

e) 5 filtr – kultura pracy z danymi

Czasem bywa tak, że dane są, ale nie ma kultury pracy z danymi i to nie jest blokada, to można wypracować, jeśli ma się dostęp do danych. Natomiast czasem i z tym bywa problem nawet wewnątrz organizacji i to już jest znacznie gorsze lub np. jest ogromny problem z udostępnieniem środowiska do pracy na tych danych.

To wszystko zależy od organizacji, zwracam Twoją uwagę na to, że czasem projekty się rozsypują na tym trywialnym etapie i  warto to mieć jako filtr na początku.

f) 6 filtr – adresat rozwiązania

Idziemy dalej, zakładamy, że masz już określony dokładnie problem, niezbędne dane, mamy zielone światło dostępu do danych i wprowadzenia zmian, jak uda się stworzyć model i tutaj pojawia się pytanie, a kto dokładnie będzie z tego korzystał?

Jesteś w stanie na tym etapie powiedzieć, kto będzie patrzył na wynik tego modelu i co może z tym zrobić?

To preludium do kolejnego filtra – metryki sukcesu.

d) 7 filtr – metryki sukces

Jeśli nie potrafisz sprecyzować biznesowej metryki sukcesu do pomysłu rozwiązania problemu z pomocą ML, to znaczy, że prawdopodobnie niewłaściwym problemem się zajmujesz lub nie wiesz, jak doprecyzować tę metrykę, ale to inna historia i dowiesz się w kolejnym odcinku, jak podejść do tego zagadnienia we właściwy sposób.

Dobra to skoro masz już podstawową wiedzę, jak i gdzie można szukać potencjału, to pojawia się kolejne pytanie, ale jak wykonać ten pierwszy krok, aby zbadać potencjał, czy i jaką ML może nam przynieść wartość.

Odpowiedź jest prosta i skomplikowana zarazem – działaniem.

Trzeba bardzo dokładnie doprecyzować wyzwanie dla ML i ustalić metryki sukcesu, najpierw biznesowe, a potem techniczne i zbudować prosty prototyp, który pokaże, czy potrafimy z pomocą ML zrywać nisko wiszące owoce czy ten problem wymaga większego wysiłku.

Prototyp nie odpowie nam na wszystkie pytania, ale przynajmniej wskaże, gdzie lepiej nie iść i pomoże zidentyfikować dokładniej problemy, które mamy. Są one wszędzie, grunt wykryć je jak najwcześniej.

To jest bardzo ważne, aby jeśli uda Ci się “przefiltrować” już obszar, gdzie Twoim zdaniem ML może wnieść mierzalną wartość biznesową, aby zweryfikować to w działaniu. Tutaj możesz próbować budować swój zespół, który wykona i też dowiesz się w ramach tej serii na co zwracać tutaj uwagę, a możesz też skorzystać z pomocy firmy zewnętrznej, która wie co robi. Tutaj naturalne będzie to, że polecę DataWorkshop.

Jeśli masz pytania, chcesz coś skonsultować, to napisz do nas,ocenimy sytuację, zaproponujemy rozwiązanie i jeśli będzie nam po drodze zaczniemy razem wydobywać biznesową wartość z Twoich danych i optymalizować te obszary, gdzie człowiek w pojedynkę nie dał rady.

W kolejnym odcinku porozmawiamy głównie o metrykach sukcesu, czyli o bardzo ważnym elemencie każdego projektu ML, bez którego nie można przejść do działań technicznych.

Dlaczego ten temat zasługuje na osobny odcinek, jak definiować metryki sukcesu biznesowe, dlaczego to jest popularny powód porażki projektów ML i jakie w jakie pułapki lepiej nie wpadać, o tym i nawet więcej dowiesz się w kolejnym odcinku podcastu Biznes Myśli w serii ML: od pomysłu do wdrożenia.

Koniecznie zapisz się na nasz newsletter na stronie: https://biznesmysli.pl/newsletter/ wtedy otrzymasz od nas mailem powiadomienie o nowym odcinku, polecane inne materiały uzupełniające wiedzę, a także materiały bonusowe tej serii, które będą się pojawiać.

Artykuł Twój pomysł na Machine Learning – 7 ważnych filtrów pochodzi z serwisu Biznes Myśli.

Kończy się rok 2021, witam Cię w 115 odcinku podcastu, który będzie nietypowy.

Jeśli uważnie słuchasz mojego podcastu odcinek po odcinku, to wiesz, że są pytania, które powtarzają się regularnie, niezależnie od tego, czym zajmuje się gość podcastu.

Zawsze pytam o książkę do polecenia i w tym roku regularnie pojawiało się pytanie o przyszłość, czyli co zdaniem gości czeka nas w niedługim czasie w branży Data Science, Machine Learning.

Wiem, że ciężko przewidzieć przyszłość, o ile w ogóle jest to możliwe. Swoją drogą daj znać, czy słuchasz lub czytasz futurologów i jak myślisz, na ile możemy dobrze oszacować, w którym kierunku będą rozwijały się pewne trendy. Tutaj warto zwrócić uwagę na to, że mogą pojawić się niespodziewanie czarne łabędzie i zmienić bieg wydarzeń nieoczekiwanie. Warto o tym pamiętać i zawsze mieć dużo pokory co do różnorakich przewidywań. Zarówno jeśli chodzi o życie, jak i ML.

Kończymy kolejny rok, za chwilę zaczynamy 2022 i zwykle takie przejście skłania do refleksji. Z jednej strony pojawiają się podsumowania, a z drugiej pytania o to co będzie w kolejnym roku i następnych. Dlatego ostatni odcinek w tym roku będzie podsumowaniem i prognozą przyszłości w jednym. Oddam głos ponownie gościom podcastu Biznes Myśli, którzy pojawili się w 2021 roku.  Wrócimy do niektórych wypowiedzi na temat przyszłości w branży ML.

1. Transformery w uczeniu maszynowym – możliwości i ograniczenia

Krzysztof Choromański:

Wydaje mi się, że jesteśmy w ogóle na początku drogi do stworzenia nowej technologii, z której czerpać będzie cała cywilizacja, ponieważ oczywiście takim końcowym efektem, na który wszyscy czekają to jest ta sztuczna inteligencja. Ale jak słyszę często właśnie w mediach, że się mówi, że już mamy tą sztuczną inteligencję to tylko się uśmiecham, ponieważ wiem, jak daleko jesteśmy od tego. Stworzenie maszyny, która uczyłaby się przynajmniej częściowo jak człowiek jest jeszcze cały czas poza naszym zasięgiem.

Więc to wydaje się tak naprawdę największym wyzwaniem i mam nadzieję, że w przeciągu najbliższych X lat – nie wiem czy 20, 50, 100 – uda się zrobić duży postęp. To co jest niesamowitą własnością, którą ludzie posiadają to jest generalizacja, czyli uczenie się na podstawie bardzo małej liczby przykładów i generalizowanie skomplikowanych sytuacji, często sytuacji, w których nie było się wcześniej – na podstawie tej nabytej wiedzy.

Oczywiście algorytmy, z których korzystamy teraz nie mają z tym paradygmatem nic wspólnego. Nawet te Transformersy, o których mówimy z dumą, ponieważ pozwalają rzeczywiście nam zrobić to, czego inne architektury nie były w stanie, korzystają z olbrzymiej ilości danych i wymagają czasu na nauczenie. 

Generalnie wydaje mi się w środowisku naukowym jest zgoda, że potrzebujemy zupełnie nowych idei, żeby trenować te systemy, które miałyby tą sztuczną inteligencję osiągnąć. Że tak naprawdę ten paradygmat głębokich sieci neuronowych, które zarzucamy ogromnymi ilościami danych i trenujemy przez X czasu to jest jakieś lokalne maksimum. Rzeczywiście wiele fajnych rzeczy możemy z tym zrobić, ale nie rozwiązujemy wielu problemów. Nawet w robotyce jest mnóstwo problemów bardzo namacalnych, które mamy teraz, które nie jesteśmy w stanie rozwiązać za pomocą standardowych technik, z których korzystamy dzisiaj.

Co tym nowym paradygmatem miałoby być – nie wiem. Gdybym wiedział to pewnie bym już starał się opublikować i byśmy to jakoś stosowali. Ciężko jest tak przewidzieć też rozwój nauki. To jest super losowa rzecz, jak działa ludzki mózg, że jak wpadamy na odkrycia. Teoria odkryć naukowych – nie mamy dobrej teorii odkryć naukowych stety albo niestety. Natomiast wydaje się, że jest potrzebna zmiana myślenia na temat takich standardowych technik, które teraz uważamy za klasyczne z punktu widzenia maszynowego uczenia, ale nie są efektywne, jeśli chodzi o ilość danych, które muszą być przetworzone. 

Więc to jest wyzwanie. To jest oczywiście też moje marzenie, żeby w jakiejś mierze kontrybuować do tej nowej rewolucji, która moim zdaniem musi się wydarzyć, żebyśmy przeszli od problemów, gdzie maszynowe uczenie jest wykorzystywane, ale jest wykorzystywane ostrożnie do sytuacji, gdzie możemy w pełni zaufać algorytmom maszynowego uczenia w podejmowaniu skomplikowanych decyzji, które byłyby podejmowane na podstawie właśnie ekstrapolacji, tej informacji, przypadków do sytuacji, w których algorytm nigdy wcześniej się nie znalazł. Nie wiemy jak to robić dobrze i to jest Święty Graal wszystkich, którzy zajmują się teraz maszynowym uczeniem.

2. Dobre praktyki i sztuka nazywania rzeczy w Machine Learning

Marcin Możejko:

To jest bardzo dobre pytanie. Wspominałem, że wydaje mi się, że najbliższe 5 czy 10 lat może się różnić od tych obecnych. To już wydaje mi się powoli widać, chociażby w tym roku pierwszy raz mieliśmy mniejszą ilość aplikacji niż w zeszłym roku czyli pojawiły się pierwsze objawy saturacji też trzeciego świata, najbardziej dynamicznego. Więc mam wrażenie i po cichu liczę też na to, że możliwe, że zmienią się priorytety tego researchu. Wydaje mi się, że  takie kolejne kroki milowe będą związane z takimi rzeczami, które teraz są mniej eksploatowane.

Nie wiem czy przewiduję, na pewno bardzo chętnie bym widział z tej takiej perspektywy, np. stworzenie nawet nie kolejnych modeli rozwiązujących kolejne problemy, tylko np. modeli generatywnych (już teraz powstają tzw. work models czyli modele, w których przewidujemy zachowanie środowiska albo rzeczywistości).

Przewiduję, że jeśli faktycznie ten świat najbardziej bujnego rozwoju spowolni i przyjdzie świat refleksji to wydaje mi się, że takim jednym z bardziej kluczowych rzeczy będzie stworzenie takich modeli, które będą dosyć dobrze odwzorowywać pewne rzeczywistości. Przez pewne rzeczywistości myślę, że np. stworzenie modelu, który może nawet w jakimś ograniczonym stopniu, ale będzie mógł wnioskować w sposób zrozumiały dla człowieka i np. w oparciu o to generować obrazy albo teksty potencjalnie nowe.

Wydaje mi się, że na początku to pewnie będzie w ograniczonym stopniu, ponieważ system symboli, nazw często jest dla nas bardzo nieczytelny. Ale liczę na to, że w ciągu 5 lat się uda tak to zrobić, żeby stworzyć takie modele rzeczywistości w jakiś taki sposób, który będzie korzystał ze sztucznej inteligencji. To jest taki kamień milowy w ogólnym rozwoju.

Natomiast to na co bardzo liczę to to się aktualnie już toczy, ale wydaje mi się, że jest taki trochę problem z transferem do danych medycznych, też obrazowych. Np. wydaje mi się, że ten przełam tam następuje, jest coraz szybszy, ale nie jest na pewno aż tak widoczny i tak bujny jak w zdjęciowej wizji komputerowej. Więc liczę na to, że te modele dojadą do tego poziomu, szczególnie, że takie modelowanie obrazowe pójdzie znacznie do przodu.

Trzeci taki kamień milowy to wspominaliśmy o tych systemach. Podejrzewam, że rzeczy związane z ryzykiem, niepewnością, dopuszczeniem, że jednak sztuczna inteligencja może się mylić i zapytaniem jej, kiedy się faktycznie myli i stworzenie technologii, która daje na to faktycznie rozsądną odpowiedź będzie kolejnym kamieniem. To są takie moje 3 przewidywania.”

3.Wyceń swoje mieszkanie z pomocą Machine Learning

Filip Finfando:

Patrząc na tempo, ostatnie 5 czy 10 lat temu to możemy się spodziewać pewnie wszystkiego. Myślę, że zespoły takie Machine Learning, związane z danymi zostaną z nami w firmach. Nie jako takie trochę wydzielone z takiego typowego zespołu IT czy zajmującego się software developmentem. Mam takie wrażenie, że nie wszyscy specjaliści IT chcą lub potrafią się zajmować tymi rzeczami. Chociaż mają te umiejętności to jakoś tak nie czują tego. Nawet jeśli projekt taki MAILowy jest bardzo dobrze zdefiniowany to zawsze nie do końca wiadomo jaki ten rezultat będzie, trzeba trochę pogrzebać, zawsze coś wypadnie. Więc jest dużo niepewności i wymaga to raczej osobnych zespołów.

Myślę, że też podobnie jak kiedyś, był jeden informatyk w IT, który podłączył drukarkę i zainstalował Windowsa i zrobił stronę internetową. Tak myślę, że w Machine Learningu też jest ta postępująca specjalizacja. Już nie mamy tylko Data Scientist, tylko mamy Machine Learning Engineer, mamy osoby Deep Learning Engineer, NLP Engineer. Widać, że każdy ma swoją działkę i myślę, że raczej ta specjalizacja będzie postępować.

Na pewno, tak patrząc po swojej pracy to myślę, że będzie więcej narzędzi do pilnowania danych, do przetwarzania, sprawdzania jakości. Widać, że teraz dużo takich startupów powstaje, które mają wspierać takie ML owe procesy czy przygotowania danych czy też w ogóle samych modeli. To wszyscy powtarzają, że większość pracy jest przygotowaniem tych danych. Myślę, że to wciąż jest prawda i dużo wysiłków będzie w tym obszarze podejmowanych.

4. Machine Learning & Cyber Security

Mirosław Mamczur:

Jak sobie o tym myślę czy tak jak mi się wydaję, bo widzę, że świat się zmienia to ja bym powiedział, że w ciągu najbliższych 5 czy 10 lat to ML staje się dostępne dla przeciętnych ludzi, zwykłego przedsiębiorcy, mniejszych firm. Teraz przede wszystkim z ML korzystają większe firmy, korporacje, które stać na to.

Natomiast mi się wydaje, że to pójdzie w takim kierunku, że te wszystkie modele, które są tworzone, analizy, wykrywanie anomalii to pójdzie w takim kierunku, że dowolna osoba dostanie jakieś tam proste rzeczy do składania klocków, podepnie swoje dane, automatycznie będzie zbierać te informacje i dawać właśnie takie informacje, np. sprzedawcom, że np. warto byłoby koło mleka postawić jeszcze jajka, bo najczęściej to jest brane. Wydaje mi się, że to w takim kierunku przede wszystkim pójdzie. Nie tylko Data Scientist będą robić czy ludzie od danych, a mam nadzieję, że to pójdzie w takim kierunku, że będzie dostępne bardziej powszechnie dla osób.

A odnośnie cyber security to jak sobie o tym myślę to wydaje mi się, że mogę mieć troszeczkę więcej tutaj obaw i to pewnie z tego powodu, że z tego co kojarzę to w tym momencie jeszcze nie ma ani jednego potwierdzonego ataku jakiegoś oprogramowanie, narzędzia, które ma w sobie zaszytą sztuczną inteligencję.

Natomiast pewnie wraz z rozwojem AI, zastanawiam się czy np. w przyszłości te wszystkie deep fake’i, które będą bardziej dokładne, będzie można obraz podmienić samego siebie i głos, czy to pójdzie w tym kierunku, że jeszcze wzmocnią bardziej te ataki phishingowe i jeszcze łatwiej będzie nakłonić klientów do podania jakiś rzeczy i okradzenia ich. Ale to mam nadzieję, że nauczymy się z tym działać, że coś nam pomoże, może technologia. Mam nadzieję, że to pójdzie w dobrym kierunku mimo wszystko.

5. Product Manager w zespole AI

Aleksandra Możejko:

Moja prognoza jest taka, że na pewno większy nacisk będzie położony na ocenę ryzyka związanego ze sztuczną inteligencją i machine learningiem. Tutaj też te rzeczy, o których mówiłam tj. Fairness i wyjaśnialność modeli. Wydaje mi się, że właśnie takie metody, które pochylają się nad tym, żeby rozwiązania machine learningowe były łatwiej wyjaśnienie, na jakiej podstawie modele podejmują decyzje, żeby nie były stronnicze i żeby jakoś tam te ryzyka szacować i estymować.

Będą się coraz mocniej rozwijały i za 5 lat będziemy może na takim etapie, gdzie to wszystko będzie bardziej uregulowane prawnie. Teraz to jest dosyć nowe, jeżeli chodzi o regulacje prawne tych kwestii związanych z podejmowaniem decyzji przez algorytmy. Tutaj mamy np. kwestie z autonomicznymi samochodami, gdzie mamy już od dawna technologie do tego, ale z powodów (nie jestem pewna czy tak jest) związanych z kwestiami, jak takie samochody ubezpieczać, to jeszcze nie jest wdrażane na szeroką skalę.

Jak ja miałabym przewidywać, wydaje mi się, że w ciągu najbliższych 5 lat (może 10) będziemy mieli takie kwestie jak właśnie wyjaśnialność modeli i to, czy modele są fair, uregulowane prawnie. I będą też istniały frameworki – już trochę istnieją, ale wydaje mi się, że to się rozwinie jeszcze bardziej.

A taki drugi obszar, który widzę, to wydaje mi się, że coraz więcej będzie zastosowań sztucznej inteligencji w biznesie i w ogóle na świecie i coraz więcej automatyzacji. Coraz więcej firm będzie też dokonywało transformacji cyfrowej i wykorzystywało rozwiązania, które wspierają, zwiększają automatyzację.

Natomiast taki obszar, który wydaje mi się, że teraz się rozwija i gdzie ja przewiduję, że za 5, 10 lat mogą być dosyć przełomowe zmiany, to jest właśnie wykorzystanie sztucznej inteligencji w medycynie, np. przy generowaniu leków, obrazowaniu medycznym, wykrywaniu różnych chorób i to wydaje mi się, że mogłoby być bardzo z korzyścią dla przyszłego użytkownika, klienta, czyli po prostu każdego z nas.

Tutaj jestem optymistką, bo tak snuję taką bardzo optymistyczną wizję przyszłości, że właśnie wszystkie modele będą wyjaśniane, że to będzie uregulowane prawnie i jeszcze AI będzie nam pomagało szybciej wykrywać choroby. Oczywiście niekoniecznie musi tak być, bo jest też bardzo dużo ryzyk z tym związanych, ale to są takie dwa główne obszary, gdzie ja widzę potencjalnie największy rozwój w ciągu najbliższych 5, 10 lat.

Mam nadzieję, że taka kompilacja inspirujących i motywujących do działania odpowiedzi na pytanie, jaka przyszłość przez Machine Learning pobudzi także Twoją wyobraźnię do rozważań w tym czasie. Podziel się swoimi przemyśleniami. Chętnie posłucham, jakie są Twoje prognozy i futurologiczne rozważania lub marzenia na temat Data Science, Machine Learning czy też szeroko rozumianego rozwoju koncepcji AI.




Czy może zastanawiasz się nad tym, jak będzie rozwijała się Twoja branża lub zawód? Stawiasz takie pytania?





Na koniec dodam jeszcze, że podobnie, jak w zeszłym roku w styczniu 2022 robimy przerwę, wracamy w lutym z nową energią po urlopie i nowymi pomysłami na podcast Biznes Myśli w 2022 roku.




Jeśli masz jakieś potrzeby lub pomysły, w którym kierunku może rozwijać się podcast, aby przynosił jak największą wartość słuchającym, to napisz do mnie koniecznie

Artykuł Przyszłość Machine Learning – prognozy praktyków i ekspertów pochodzi z serwisu Biznes Myśli.