Michał Grochowski, podczas rozmowy z Robertem Górzyńskim, odpowiadał na pytania uczestników webinaru. Skąd wziąć dane do analizy, jak zacząć przygodę z Machine Learning, jaki związek mają ze sobą znajomość Pythona, Data Science i machine learning? Sprawdź, z jakimi pytaniami od uczestników mierzył się nasz ekspert.
Michał od ponad 10 lat zajmuje stanowisko Inżyniera Sprzedaży w Oracle, w tym głównego konsultanta Business Intelligence i hurtowni danych na region CEE oraz Cloud Domain Sales Engineer odpowiedzialnego za średnich i dużych klientów w Polsce i krajach bałtyckich. Pierwszą część rozmowy możesz przeczytać tutaj – link.
Robert Górzyński: Bardzo dużo mówimy o danych i o pracy nad nimi. Skąd takie dane w ogóle wziąć? Gdzie możemy je pozyskać, żeby na nich popracować i wymyślić jakiś fajny model?
Michał Grochowski: To jest odwieczny problem. Wszystkie kursy związane z pracą z danymi bazują zwykle na zbiorach, które wszyscy już rozłożyli na czynniki pierwsze. Są to dane wyczyszczone, dobrej jakości. Musicie wiedzieć, że jeśli będziecie sami próbowali analizować jakieś dane, 80% pracy to ich szlifowanie. Ze złych danych nie można oczekiwać dobrych rezultatów.
Są jednak zbiory dostępne w Internecie, np. Titanic, czyli informacje o pasażerach Titanica, znajdziemy też inne – już takie wyszlifowane. Warto z nich korzystać.
Dla komercyjnego wykorzystanie dane dostarczają organizacje w celach biznesowych. Pozyskują je wewnętrznie (rezultaty sprzedaży, produkty) i zewnętrznie. Niedawno robiliśmy projekt – oczujnikowaliśmy Wrocław i monitorowaliśmy jakość powietrza w danej dzielnicy, zapełnienie koszy na śmieci czy zużycie prądu w konkretnych lokalizacjach. Na podstawie danych modelowaliśmy trasę śmieciarki lub jakość powietrza.
R.G.: Gdzie osoba początkująca mogłaby szukać konkretnych zbiorów danych?
M.G.: Dobrym miejscem na pewno jest GitHub. Jeśli chcecie się pobawić i być może odkryć coś nowego, wiele danych znajdziecie w postaci Open Data. Wrocław opublikował dane Open Data i to są informacje dotyczące funkcjonowania miasta – np. czas dojazdu, ruch komunikacji miejskiej. np. czas dojazdu czy ruch komunikacji miejskiej czas jakieś inne parametry funkcjonowania miasta i te wszystkie parametry. Można już na tym wykonać jakąś klasyfikację albo regres, albo wykorzystać sieci neuronowe.
R.G.: Od czego powinna zacząć osoba, która dopiero zaczyna interesować się Machine Learningiem?
M.G.: Najlepiej zacząć od przejrzenia prostych tutoriali (np. Oracle), znalezienia darmowego kursu, a potem komercyjnego – co jest przydatne, żeby uporządkować wiedze i korzystać z profesjonalnych materiałów, można zapisać się na studia podyplomowe.
R.G.: Ze swojej strony oczywiście polecam Future Collars. Mamy na kursie Data Science dział odpowiedzialny za machine learning. Do tego na kursie Pythona również możemy podjąć ten temat. A jeśli chodzi o same narzędzia – pierwsze biblioteki, z którymi warto zacząć pracę?
M.G.: Tutoriale pozwolą nam przyjrzeć się gotowym danym, żeby nie błądzić na początku. Jakiego narzędzia użyjemy, to już sprawa drugorzędna – może to być jakiś interfejs drag and drop Oracle czy jakiś inny, Python jest najpopularniejszy na rynku, później R, SQL. Wydaje mi się, że zacząłbym od Pythona i poszukał prostych bibliotek, które pozwalają wykonać uczelnie nienadzorowane czy nadzorowane, i skupił się na tutorialach.
Naucz się programować w Pythonie!
R.G.: Często w literaturze czy w artykułach popularnonaukowych przewija się pojęcie machine learning i aritfical intelligence (AI). Jaka jest między nimi różnica?
M.G.: Machine learning jest podzbiorem AI. ML to jest grupa algorytmów, która robi konkretne zadania, a AI zawiera w sobie machine learning. AI to symulacja sposobu myślenia jakiejś istoty rozumnej. Korzystając z dobrodziejstwa tych mechanizmów, jesteśmy w stanie symulować sposób podejmowania decyzji, który sprawiał wrażenie, że jesteśmy inteligentnym bytem.
R.G.: Cagle – czy miałeś do czynienia z tym konkretnym narzędziem?
M.G.: Jest to dobre miejsce, w którym można znaleźć dobre przykłady. Świetny jest GitHub – jeśli wpiszecie grupa Python i jakiś skrypt ML, to możecie znaleźć dużo fajnych przykładów.
R.G.: Jak ma się Data Science do Machine Learning? Data Science polega głównie na mądrej obróbce danych tak, żeby wyciągnąć informacje, których chcemy użyć. ML to jedno z narzędzi, które będziemy używać w Data Science. Natomiast bardzo często w Data Science będziemy wyciągać dane w sposób bardziej analityczny, a mniej oparty bezpośrednio na sztucznej inteligencji.
Zapisz się na kurs Data Science i zostań mistrzem danych.
R.G.: Czy na początku lepiej zacząć od prostszych bibliotek analitycznych Pythona, np. Nampa i Pandas, czy od razu od bibliotek machine learningowych?
M.G.: Można utrudnić sobie życie i zacząć od czegoś trudnego, ale proponuję zacząć od bibliotek Pythonowych czy R-owych.
R.G.: Ze swojej strony dodam, że nie ma tych bibliotek trochę (Python to jest moje główne narzędzie pracy) i wszystko zależy od zastosowania. Jeśli jesteś w stanie wyciągnąć prostymi narzędziami analitycznymi, użyj Nampa. Jeśli potrzebujesz od razu stworzyć jakiś model sztucznej inteligencji, to raczej bym się w to nie bawił, bo będziesz dwa razy wymyślać to samo, jeśli chodzi o te same struktury, które już są dostępne w gotowych bibliotekach.
Jak można wykorzystać machine learning w e-commerce?
M.G.: Dobrym pomysłem może być analiza ruchu na stronie, żeby zobaczyć kto, kiedy się loguje, gdzie klika i jak szybko, w którym miejscu. Dzięki temu można odpowiednio przygotować i stargetować reklamę, ofertę, zaprojektować rozkład elementów na stronie.
R.G.: Ja widzę możliwość manipulacji treścią tak, żeby pokazać użytkownikowi to, co najbardziej sprzedaje. Przeprowadza się obecnie dużo eksperymentów w tym zakresie manualnie – można byłoby to zautomatyzować i robić to prościej i szybciej.
M.G.: Nie wiem, czy wiecie, ale kiedy wrzucacie zdjęcia na Instagrama czy na inne social media, są one też analizowane pod kątem zawartości. Jeżeli wrzucimy zdjęcie z psem, to dajemy konkretną informację i można się spodziewać, że pojawi się reklama karmy dla psów.
R.G.: Jakie ogólnodostępne narzędzia Oracle możesz polecić poza MySQL?
M.G.: Polecam na początek Oracle Data Visualization – nieodpłatne narzędzie do testowania. Jest w wersji desktopoewej, więc nie jest potrzebny żaden serwer. To narzędzie, które już bardzo ciekawy interfejs do wizualizacji. Możecie wrzucić tam Excela, cvs, ma wybudowany algorytm LM-owy – wybieramy klastry czy regresję i mamy efekt. Polecam nasze tutorialne na ten temat.
R.G.: Z jakiego stanowiska można wskoczyć w zagadnienia związane z ML? Jakiej pracy na początku szukać, by mieć pewien background praktyczny i zwiększyć swoje szanse na pracę?
M.G.: Na pewno może to być architekt danych, czyli wszelkie zagadnienia z budową hurtowni danych z narzędziami Business Intelligence. Ja pracuję po prostu jako architekt, który doradza klientom i realizuję dużo różnych projektów. Nie wiem, Robercie, czy masz takie same odczucia?
R.G.: Czasem mam wrażenie, że tutaj musi się obudzić dusza oportunisty. Machine learning można wdrożyć w wiele dziedzin życia. Za każdym razem, gdy masz pracę, w której będziesz w stanie powiedzieć, że można coś zrobić szybciej automatycznie i jedynie sprawdzić rezultat, nie wykonywać wszystko ręcznie – to dobry początek. Pracujesz w finansach? Będziesz miał dostęp do dużej liczby danych. Tam będzie dużo informacji o klientach i jeśli tylko można wykorzystać – warto.
Michał, czy możesz wskazać też inne dziedziny, w których jest duży dostęp do danych?
M.G.: Na przykład w lotnictwie silnik podczas godziny lotu jest w stanie wygenerować 1 TB danych. TB to odpowiednik 40 tys. maili! Może to skrajny przykład, ale pobudza wyobraźnię.
Branże związane ze sprzedażą, e-commerce, finansowe – tam mamy wiele statystyki. Branża utilites – tam możemy też wykonywać jakieś prognozy związane ze zużyciem energii i smart metering. Wszystko ma być zielone, ekologiczne – tutaj zagadnienia ML-owe mogą pomóc. Temat związany ze służbą zdrowia dostarcza wiele danych, chociaż większość z nich może być zastrzeżonych. Analiza obrazu rentgenowskiego też może być ciekawym zagadnieniem.
R.G.: Warto podkreślić, że w przypadku ML bardzo dużo zasobów jest dostępnych online bezpłatnie. Nie musimy mieć dostępu do danych poufnych, żeby móc zacząć działać. Stworzenie modelu może się opierać na danych dostępnych otwartoźródłowo.
Michale, bardzo dziękuję za udział w naszym spotkaniu.
Pierwszą część rozmowy z Michałem przeczytasz tutaj – dowiedz się, czym jest ML i jak jest wykorzystywany do celów komercyjnych.
Jak zacząć przygodę z Machine Learning z Future Collars?
- Kurs Data Science – fragment kursu jest poświęcony uczeniu maszynowemu. Tam uczymy się przede wszystkim przetwarzać duże zbiory danych, wyciągać konkretne informacje, które będą nam potrzebne.
- Kurs Python Developer – ten kurs jest dosyć elastyczny pod względem projektu końcowego. Możecie wybrać jako zadanie zaliczeniowe projekt opaty o ML bądź użycie gotowych bibliotek związanych z maszyną. Dzięki temu też będziecie w stanie wejść w ten temat płynnie i na rynku pracy wykazać się odpowiednią wiedzą poświadczoną w portfolio.
Co wyróżnia nasze kursy?
- Praca na realnych projektach.
- Lekcje na żywo 2 razy w tygodniu po 1,5 h to duża dawka teorii, która jest poparta praktyką.
- Projekt końcowy, który można dołączyć do portfolio.
- Intensywne szkolenie – szyte dla osób, które faktycznie chcą szybko zmienić swój zawód.
- Język angielski w IT – dzięki partnerstwu z Eklektiką, kursanci mają bezpłatny dostęp do platformy i mogą uczyć się języka na poziomie od B2 do C1.
- Praktyczny wymiar szkolenia, dzięki czemu można gładko przejść z kursu do pracy.
- Indywidualne konsultacje z mentorem. Kursanci bardzo doceniają tę formę wsparcia.
- Po zakończeniu kursu – wsparcie w procesie rekrutacyjnym.
Nasze kursy są bardzo intensywne. Większość czasu spędza się, rozwiązując zadania. Uczymy online już od początku istnienia i wiemy, jak to robić skutecznie. Chcesz poznać różne możliwości dofinansowania kursów? Przeczytaj, jak zdobyć środki na kształcenie. Nasz doradca pomoże Ci wybrać właściwą ścieżkę zawodową – skontaktuj się.
