Jak zacząć przygodę z Machine Learning? Część 2.

Autor:
Zespół Future Collars
Jak zacząć przygodę z Machine Learning? Część 2.

Michał Grochowski, podczas rozmowy z Robertem Górzyńskim, odpowiadał na pytania uczestników webinaru. Skąd wziąć dane do analizy, jak zacząć przygodę z Machine Learning, jaki związek mają ze sobą znajomość Pythona, Data Science i machine learning? Sprawdź, z jakimi pytaniami od uczestników mierzył się nasz ekspert.

Michał od ponad 10 lat zajmuje stanowisko Inżyniera Sprzedaży w Oracle, w tym głównego konsultanta Business Intelligence i hurtowni danych na region CEE oraz Cloud Domain Sales Engineer odpowiedzialnego za średnich i dużych klientów w Polsce i krajach bałtyckich. Pierwszą część rozmowy możesz przeczytać tutaj – link.

Robert Górzyński: Bardzo dużo mówimy o danych i o pracy nad nimi. Skąd takie dane w ogóle wziąć? Gdzie możemy je pozyskać, żeby na nich popracować i wymyślić jakiś fajny model?

Michał Grochowski: To jest odwieczny problem. Wszystkie kursy związane z pracą z danymi bazują zwykle na zbiorach, które wszyscy już rozłożyli na czynniki pierwsze. Są to dane wyczyszczone, dobrej jakości. Musicie wiedzieć, że jeśli będziecie sami próbowali analizować jakieś dane, 80% pracy to ich szlifowanie. Ze złych danych nie można oczekiwać dobrych rezultatów.

Są jednak zbiory dostępne w Internecie, np. Titanic, czyli informacje o pasażerach Titanica, znajdziemy też inne – już takie wyszlifowane. Warto z nich korzystać.

Dla komercyjnego wykorzystanie dane dostarczają organizacje w celach biznesowych. Pozyskują je wewnętrznie (rezultaty sprzedaży, produkty) i zewnętrznie. Niedawno robiliśmy projekt – oczujnikowaliśmy Wrocław i monitorowaliśmy jakość powietrza w danej dzielnicy, zapełnienie koszy na śmieci czy zużycie prądu w konkretnych lokalizacjach. Na podstawie danych modelowaliśmy trasę śmieciarki lub jakość powietrza.

 

R.G.: Gdzie osoba początkująca mogłaby szukać konkretnych zbiorów danych?

M.G.: Dobrym miejscem na pewno jest GitHub. Jeśli chcecie się pobawić i być może odkryć coś nowego, wiele danych znajdziecie w postaci Open Data. Wrocław opublikował dane Open Data i to są informacje dotyczące funkcjonowania miasta – np. czas dojazdu, ruch komunikacji miejskiej. np. czas dojazdu czy ruch komunikacji miejskiej czas jakieś inne parametry funkcjonowania miasta i te wszystkie parametry. Można już na tym wykonać jakąś klasyfikację albo regres, albo wykorzystać sieci neuronowe.

 

R.G.: Od czego powinna zacząć osoba, która dopiero zaczyna interesować się Machine Learningiem?

M.G.: Najlepiej zacząć od przejrzenia prostych tutoriali (np. Oracle), znalezienia darmowego kursu, a potem komercyjnego – co jest przydatne, żeby uporządkować wiedze i korzystać z profesjonalnych materiałów, można zapisać się na studia podyplomowe.

 

R.G.: Ze swojej strony oczywiście polecam Future Collars. Mamy na kursie Data Science dział odpowiedzialny za machine learning. Do tego na kursie Pythona również możemy podjąć ten temat. A jeśli chodzi o same narzędzia – pierwsze biblioteki, z którymi warto zacząć pracę?

M.G.: Tutoriale pozwolą nam przyjrzeć się gotowym danym, żeby nie błądzić na początku. Jakiego narzędzia użyjemy, to już sprawa drugorzędna – może to być jakiś interfejs drag and drop Oracle czy jakiś inny, Python jest najpopularniejszy na rynku, później R, SQL. Wydaje mi się, że zacząłbym od Pythona i poszukał prostych bibliotek, które pozwalają wykonać uczelnie nienadzorowane czy nadzorowane, i skupił się na tutorialach.

Naucz się programować w Pythonie!

 

R.G.: Często w literaturze czy w artykułach popularnonaukowych przewija się pojęcie machine learning i aritfical intelligence (AI). Jaka jest między nimi różnica?

M.G.: Machine learning jest podzbiorem AI. ML to jest grupa algorytmów, która robi konkretne zadania, a AI zawiera w sobie machine learning. AI to symulacja sposobu myślenia jakiejś istoty rozumnej. Korzystając z dobrodziejstwa tych mechanizmów, jesteśmy w stanie symulować sposób podejmowania decyzji, który sprawiał wrażenie, że jesteśmy inteligentnym bytem.

 

R.G.: Cagle – czy miałeś do czynienia z tym konkretnym narzędziem?

M.G.: Jest to dobre miejsce, w którym można znaleźć dobre przykłady. Świetny jest GitHub – jeśli wpiszecie grupa Python i jakiś skrypt ML, to możecie znaleźć dużo fajnych przykładów.

 

R.G.: Jak ma się Data Science do Machine Learning? Data Science polega głównie na mądrej obróbce danych tak, żeby wyciągnąć informacje, których chcemy użyć. ML to jedno z narzędzi, które będziemy używać w Data Science. Natomiast bardzo często w Data Science będziemy wyciągać dane w sposób bardziej analityczny, a mniej oparty bezpośrednio na sztucznej inteligencji.

Zapisz się na kurs Data Science i zostań mistrzem danych.

R.G.: Czy na początku lepiej zacząć od prostszych bibliotek analitycznych Pythona, np. Nampa i Pandas, czy od razu od bibliotek machine learningowych?

M.G.: Można utrudnić sobie życie i zacząć od czegoś trudnego, ale proponuję zacząć od bibliotek Pythonowych czy R-owych.

 

R.G.: Ze swojej strony dodam, że nie ma tych bibliotek trochę (Python to jest moje główne narzędzie pracy) i wszystko zależy od zastosowania. Jeśli jesteś w stanie wyciągnąć prostymi narzędziami analitycznymi, użyj Nampa. Jeśli potrzebujesz od razu stworzyć jakiś model sztucznej inteligencji, to raczej bym się w to nie bawił, bo będziesz dwa razy wymyślać to samo, jeśli chodzi o te same struktury, które już są dostępne w gotowych bibliotekach.

Jak można wykorzystać machine learning w e-commerce?

M.G.: Dobrym pomysłem może być analiza ruchu na stronie, żeby zobaczyć kto, kiedy się loguje, gdzie klika i jak szybko, w którym miejscu. Dzięki temu można odpowiednio przygotować i stargetować reklamę, ofertę, zaprojektować rozkład elementów na stronie.

 

R.G.: Ja widzę możliwość manipulacji treścią tak, żeby pokazać użytkownikowi to, co najbardziej sprzedaje. Przeprowadza się obecnie dużo eksperymentów w tym zakresie manualnie – można byłoby to zautomatyzować i robić to prościej i szybciej.

M.G.: Nie wiem, czy wiecie, ale kiedy wrzucacie zdjęcia na Instagrama czy na inne social media, są one też analizowane pod kątem zawartości. Jeżeli wrzucimy zdjęcie z psem, to dajemy konkretną informację i można się spodziewać, że pojawi się reklama karmy dla psów.

 

R.G.: Jakie ogólnodostępne narzędzia Oracle możesz polecić poza MySQL?

M.G.: Polecam na początek Oracle Data Visualization – nieodpłatne narzędzie do testowania. Jest w wersji desktopoewej, więc nie jest potrzebny żaden serwer. To narzędzie, które już bardzo ciekawy interfejs do wizualizacji. Możecie wrzucić tam Excela, cvs, ma wybudowany algorytm LM-owy – wybieramy klastry czy regresję i mamy efekt. Polecam nasze tutorialne na ten temat.

 

R.G.: Z jakiego stanowiska można wskoczyć w zagadnienia związane z ML? Jakiej pracy na początku szukać, by mieć pewien background praktyczny i zwiększyć swoje szanse na pracę?

M.G.: Na pewno może to być architekt danych, czyli wszelkie zagadnienia z budową hurtowni danych z narzędziami Business Intelligence. Ja pracuję po prostu jako architekt, który doradza klientom i realizuję dużo różnych projektów. Nie wiem, Robercie, czy masz takie same odczucia?

 

R.G.: Czasem mam wrażenie, że tutaj musi się obudzić dusza oportunisty. Machine learning można wdrożyć w wiele dziedzin życia. Za każdym razem, gdy masz pracę, w której będziesz w stanie powiedzieć, że można coś zrobić szybciej automatycznie i jedynie sprawdzić rezultat, nie wykonywać wszystko ręcznie – to dobry początek. Pracujesz w finansach? Będziesz miał dostęp do dużej liczby danych. Tam będzie dużo informacji o klientach i jeśli tylko można wykorzystać – warto.

Michał, czy możesz wskazać też inne dziedziny, w których jest duży dostęp do danych?

M.G.: Na przykład w lotnictwie silnik podczas godziny lotu jest w stanie wygenerować 1 TB danych. TB to odpowiednik 40 tys. maili! Może to skrajny przykład, ale pobudza wyobraźnię.

Branże związane ze sprzedażą, e-commerce, finansowe – tam mamy wiele statystyki. Branża utilites – tam możemy też wykonywać jakieś prognozy związane ze zużyciem energii i smart metering. Wszystko ma być zielone, ekologiczne – tutaj zagadnienia ML-owe mogą pomóc. Temat związany ze służbą zdrowia dostarcza wiele danych, chociaż większość z nich może być zastrzeżonych. Analiza obrazu rentgenowskiego też może być ciekawym zagadnieniem.

 

R.G.: Warto podkreślić, że w przypadku ML bardzo dużo zasobów jest dostępnych online bezpłatnie. Nie musimy mieć dostępu do danych poufnych, żeby móc zacząć działać. Stworzenie modelu może się opierać na danych dostępnych otwartoźródłowo.

Michale, bardzo dziękuję za udział w naszym spotkaniu.

 

Pierwszą część rozmowy z Michałem przeczytasz tutaj – dowiedz się, czym jest ML i jak jest wykorzystywany do celów komercyjnych.

Jak zacząć przygodę z Machine Learning z Future Collars?

  1. Kurs Data Science – fragment kursu jest poświęcony uczeniu maszynowemu. Tam uczymy się przede wszystkim przetwarzać duże zbiory danych, wyciągać konkretne informacje, które będą nam potrzebne.
  2. Kurs Python Developer – ten kurs jest dosyć elastyczny pod względem projektu końcowego. Możecie wybrać jako zadanie zaliczeniowe projekt opaty o ML bądź użycie gotowych bibliotek związanych z maszyną. Dzięki temu też będziecie w stanie wejść w ten temat płynnie i na rynku pracy wykazać się odpowiednią wiedzą poświadczoną w portfolio.

Co wyróżnia nasze kursy?

  1. Praca na realnych projektach.
  2. Lekcje na żywo 2 razy w tygodniu po 1,5 h to duża dawka teorii, która jest poparta praktyką.
  3. Projekt końcowy, który można dołączyć do portfolio.
  4. Intensywne szkolenie – szyte dla osób, które faktycznie chcą szybko zmienić swój zawód.
  5. Język angielski w IT – dzięki partnerstwu z Eklektiką, kursanci mają bezpłatny dostęp do platformy i mogą uczyć się języka na poziomie od B2 do C1.
  6. Praktyczny wymiar szkolenia, dzięki czemu można gładko przejść z kursu do pracy.
  7. Indywidualne konsultacje z mentorem. Kursanci bardzo doceniają tę formę wsparcia.
  8. Po zakończeniu kursu – wsparcie w procesie rekrutacyjnym.

Nasze kursy są bardzo intensywne. Większość czasu spędza się, rozwiązując zadania. Uczymy online już od początku istnienia i wiemy, jak to robić skutecznie. Chcesz poznać różne możliwości dofinansowania kursów? Przeczytaj, jak zdobyć środki na kształcenie. Nasz doradca pomoże Ci wybrać właściwą ścieżkę zawodową – skontaktuj się.

Przeczytaj jeszcze więcej
CTO/CIO: mój rozwój

“CTO/CIO: mój rozwój — perspektywa CTO/CIO kobiet i CTO/CIO mężczyzn” – relacja z debaty w ramach Dnia kariery kobiety w IT 2021

Do debaty “CTO/CIO: mój rozwój — perspektywa CTO/CIO kobiet i CTO/CIO mężczyzn” zaprosiliśmy gości, którzy opowiedzieli o swojej drodze na najwyższe stanowiska w IT — oni osiągnęli sukces i dzielą się swoimi obserwacjami, co widzieli po drodze, co spowodowało, że dotarli na szczyt i czemu innym się to nie udaje. Rozmowę poprowadziła dr Aleksandra Suchorzewska, wybitna ekspertka, Dyrektor Zarządzająca, Technology Strategy & Advisory Lead w Accenture, a jej gośćmi byli:   Joanna Obstój – Dyrektorka Działu “CTO/CIO: mój rozwój — perspektywa CTO/CIO kobiet i CTO/CIO mężczyzn” – relacja z debaty w ramach Dnia kariery kobiety w IT 2021

I did it - debata DKKwIT

“I did it!” – historie kobiet, które zmieniły branżę na IT. Relacja z debaty w ramach Dnia Kariery Kobiety w IT 2021

Dorota, Izabela i Maja mogą powiedzieć z dumą: I DID IT! Zrobiły to — porzuciły dotychczasowe zawody, by wejść do IT. Wyszły ze strefy komfortu i zaczęły od nowa, ale już teraz wiedzą, że to była doskonała decyzja. Absolwentki bootcampów Future Collars odważnie patrzą w zawodową przyszłość, gotowe na nieustanną naukę i rozwój.  Panel dyskusyjny “I did it!” wśród uczestniczek i uczestników Dnia kariery kobiety w IT  cieszy się szczególnym zainteresowaniem. Nic dziwnego, “I did it!” – historie kobiet, które zmieniły branżę na IT. Relacja z debaty w ramach Dnia Kariery Kobiety w IT 2021

40 dyskusji, warsztatów i sesji speed mentoringowych oraz ogromna dawka wiedzy o branży IT – tak przebiegła 3. edycja Dnia Kariery Kobiety w IT

Przyszłość to technologia. Jakich kompetencji powinniśmy się uczyć? – relacja z debaty w ramach Dnia kariery kobiety w IT 2021

Jak kierować swoim rozwojem, żeby odpowiedzieć na wyzwania przyszłości? Jak kształtować swoją karierę? W jakim kierunku się kształcić lub dokształcać, by zapewnić sobie bezpieczeństwo na rynku pracy w perspektywie najbliższych lat? W ramach 3. edycji Dnia kariery kobiety w IT rozmawialiśmy o kompetencjach przyszłości, nie tylko w obszarze STEM (ang. science, technology, engineering, mathematics), o rozwoju kobiet i mężczyzn i o tym, jak się uczyć technologii, by stać się częścią gospodarki cyfrowej. Przyszłość to technologia. Jakich kompetencji powinniśmy się uczyć? – relacja z debaty w ramach Dnia kariery kobiety w IT 2021

Historia Mai, która zaryzykowała i znalazła satysfakcję w branży IT

Podczas krótkiej rozmowy Maja opowiedziała o swoim przebranżowieniu i jego powodach, największych wyzwaniach podczas kursu oraz o tym, jak Future Collars pomogło jej w zmianie życia zawodowego. Podzieliła się także radami dla naszych przyszłych i obecnych kursantów oraz swoimi spostrzeżeniami dotyczącymi świata IT.   Zobacz nagranie:

Historia Doroty, która od zawsze interesuje się technologią i postawiła na rozwój swoich kompetencji

Podczas rozmowy Dorota opowiedziała o swoich zainteresowaniach, największych wyzwaniach podczas kursu oraz o roli Future Collars w jej życiu zawodowym. Podzieliła się także radami dla naszych przyszłych i obecnych kursantów oraz swoimi spostrzeżeniami dotyczącymi pracy w IT. Zobacz nagranie:

Absolwenci: Historia Izy, która znalazła pracę przed zakończeniem kursu

Historia Izy, która znalazła pracę przed zakończeniem kursu

Podczas krótkiego wywiadu Izabela opowiedziała o historii swojego przebranżowienia, największych wyzwaniach podczas kursu oraz o tym, jak Future Collars przyczyniło się do znalezienia przez nią pracy. Podzieliła się także radami dla naszych przyszłych i obecnych kursantów oraz swoimi spostrzeżeniami dotyczącymi pracy w IT.   Zobacz nagranie: