Wizja komputerowa to dziedzina sztucznej inteligencji, która umożliwia komputerom rozumienie obrazów, filmów oraz innych informacji wizualnych. Inżynierowie wizji komputerowej opracowują systemy oprogramowania, które potrafią rozpoznawać obiekty, analizować obrazy, rozumieć sceny i wyodrębniać użyteczne informacje z danych wizualnych.
Możesz budować systemy, które wykrywają wady w produkowanych wyrobach, rozpoznają obiekty na fotografiach, analizują obrazy medyczne, śledzą pojazdy, pomagają robotom rozumieć otoczenie lub przetwarzają obrazy z kamer i satelitów.
Ta kariera łączy programowanie, matematykę, przetwarzanie obrazu, uczenie maszynowe oraz inżynierię oprogramowania. Nie musisz opanować wszystkiego od razu. Strukturalna ścieżka edukacyjna może pomóc Ci rozwijać wymagane umiejętności krok po kroku.
Co robi inżynier wizji komputerowej?
Inżynier wizji komputerowej opracowuje i utrzymuje systemy przetwarzające informacje wizualne.
Typowe obowiązki obejmują:
- Zbieranie i przygotowywanie zbiorów danych obrazów lub filmów
- Czyszczenie i oznaczanie danych wizualnych
- Opracowywanie potoków przetwarzania obrazu
- Szkolenie modeli uczenia maszynowego i głębokiego uczenia
- Budowanie systemów klasyfikacji, detekcji i segmentacji obrazów
- Przetwarzanie i analizowanie wideo
- Ocena wydajności modeli
- Badanie i redukcja błędów modeli
- Optymalizacja modeli pod kątem szybkości i zużycia pamięci
- Wdrażanie modeli w aplikacjach i systemach produkcyjnych
- Praca z procesorami graficznymi, serwerami lub urządzeniami brzegowymi.
Nowoczesna wizja komputerowa w dużej mierze opiera się na głębokim uczeniu, ale tradycyjne techniki przetwarzania obrazu pozostają użyteczne. Pracodawcy zazwyczaj poszukują inżynierów z umiejętnościami w Pythonie, OpenCV, frameworkach głębokiego uczenia i uczenia maszynowego, podczas gdy niektóre stanowiska wymagają także doświadczenia w C++, CUDA, wizji 3D lub wdrażaniu.
Jak zostać inżynierem wizji komputerowej
1. Najpierw naucz się Pythona
Python jest jednym z najbardziej użytecznych języków programowania w zakresie wizji komputerowej i uczenia maszynowego.
Powinieneś nauczyć się podstawowych koncepcji programowania w Pythonie, w tym zmiennych i typów danych, warunków i pętli, funkcji, klas, modułów, wyjątków, obsługi plików oraz programowania obiektowego. Powinieneś także nauczyć się, jak używać środowisk wirtualnych i zarządzać pakietami, a także jak debugować swój kod, gdy wystąpią problemy.
Powinieneś również nauczyć się NumPy, ponieważ obrazy mogą być reprezentowane jako wielowymiarowe tablice numeryczne. Znajomość Matplotlib i pandas również jest przydatna.
Nie spędzaj miesięcy na próbie zapamiętania każdej funkcji Pythona. Naucz się wystarczająco dużo programowania, aby tworzyć coraz bardziej złożone projekty.
2. Naucz się niezbędnej wiedzy matematycznej
Nie potrzebujesz zaawansowanej matematyki przed nauczeniem się wizji komputerowej, ale solidna podstawa matematyczna będzie coraz bardziej wartościowa.
Rozpocznij od algebry liniowej. Naucz się o wektorach, macierzach, mnożeniu macierzy, iloczynach skalarnych, transformacjach, wartościach własnych i układach współrzędnych.
Następnie zajmij się prawdopodobieństwem i statystyką. Ważne koncepcje to rozkłady prawdopodobieństwa, średnia, wariancja, prawdopodobieństwo warunkowe, próbkowanie, korelacja i ocena statystyczna.
Podstawowy rachunek różniczkowy również jest przydatny do zrozumienia, jak sieci neuronowe się uczą. Skup się na pochodnych, gradientach, pochodnych cząstkowych i optymalizacji.
Geometria jest szczególnie ważna dla wizji komputerowej, ponieważ obrazy i kamery wiążą się z współrzędnymi, transformacjami, perspektywą i przestrzenią trójwymiarową.
Celem nie jest zostanie matematykiem. Powinieneś wystarczająco dobrze rozumieć matematykę, aby wiedzieć, co robią twoje algorytmy i modele.
3. Naucz się przetwarzania obrazów i OpenCV
Zanim całkowicie skoncentrujesz się na głębokim uczeniu, naucz się podstaw przetwarzania obrazów cyfrowych.
OpenCV to ważna biblioteka do praktycznej wizji komputerowej. Ćwicz operacje takie jak:
- Odczytywanie i zapisywanie obrazów
- Zmiana rozmiaru i przycinanie obrazów
- Obracanie obrazów
- Zmiana przestrzeni kolorów
- Rozmywanie i wyostrzanie
- Progowanie
- Wykrywanie krawędzi
- Znajdowanie konturów
- Operacje morfologiczne
- Transformacje geometryczne
- Przetwarzanie wideo
- Odczytywanie wejścia z kamery.
Tradycyjne przetwarzanie obrazów może czasami rozwiązać problem bez sieci neuronowej. Co ważniejsze, zrozumienie manipulacji obrazem pomoże ci zrozumieć, co dzieje się z danymi wizualnymi, zanim dotrą do modelu uczenia maszynowego.
4. Naucz się uczenia maszynowego
Solidne zrozumienie podstaw uczenia maszynowego może znacząco poprawić twój sposób podejścia do wizji komputerowej.
Naucz się o:
- Zbiorach danych do treningu, walidacji i testów
- Cecha i etykiety
- Przeuczeniu i niedouczeniu
- Regularyzacji
- Augmentacji danych
- Funkcjach strat
- Optymalizacji
- Dostrajaniu hiperparametrów
- Ocenie modelu.
Powinieneś zrozumieć, dlaczego model może działać znakomicie na obrazach treningowych, ale słabo na nowych obrazach.
Dla klasyfikacji naucz się metryk takich jak dokładność, precyzja, czułość, wskaźnik F1 i macierze pomyłek.
Dla wykrywania i segmentacji obiektów naucz się o przecięciu przez sumę i średni wskaźnik precyzji.
Zrozumienie oceny modelu jest równie ważne co wiedza na temat trenowania modelu.
5. Naucz się głębokiego uczenia i PyTorch
Głębokie uczenie jest kluczowe dla nowoczesnej wizji komputerowej.
Rozpocznij od nauki podstaw sieci neuronowych, w tym warstw, funkcji aktywacji, propagacji w przód, propagacji w tył, funkcji strat i spadku gradientu.
Następnie studiuj konwolucyjne sieci neuronowe. Powinieneś zrozumieć pojęcia takie jak konwolucje, jądra, mapy cech, pooling, padding, krok i pola odbiorcze.
Po zrozumieniu konwolucyjnych sieci neuronowych naucz się o nowoczesnych architekturach, takich jak sieci resztkowe, mechanizmy uwagi i transformatory wizji.
PyTorch jest szczególnie przydatnym frameworkiem do nauki. Powinieneś wiedzieć, jak:
- Tworzyć i manipulować tensorami
- Ładować zbiory danych
- Budować sieci neuronowe
- Pisać pętle treningowe
- Używać funkcji strat i optymalizatorów
- Trenować modele na GPU
- Zapis i ładowanie modeli
- Dostosowywać wstępnie wytrenowane modele
- Oceniać modele.
Oficjalne samouczki PyTorch oferują materiały edukacyjne dotyczące tensorów, zbiorów danych, budowy modeli, optymalizacji, uczenia transferowego oraz aplikacji wizji komputerowej.
Możesz również nauczyć się TensorFlow i Keras, jeśli są one istotne dla poszukiwanych przez ciebie ofert pracy, ale lepiej jest być bardzo wygodnym z jednym głównym frameworkiem niż mieć powierzchowną wiedzę o kilku frameworkach.
6. Zrozum główne zadania wizji komputerowej
Powinieneś zapoznać się z najważniejszymi problemami wizji komputerowej.
Klasyfikacja obrazów
Klasyfikacja przypisuje kategorię do obrazu.
Na przykład, model mógłby określić, czy fotografia zawiera kota, psa czy ptaka. Systemy przemysłowe mogą również klasyfikować produkty jako akceptowalne lub wadliwe.
Wykrywanie obiektów
Wykrywanie obiektów identyfikuje obiekty i ich lokalizacje, zazwyczaj przy użyciu prostokątnych ram.
Na przykład, system drogowy mógłby wykrywać samochody, autobusy, rowery i pieszych.
Segmentacja obrazów
Segmentacja identyfikuje konkretne piksele należące do obiektów lub regionów. Jest użyteczna w obrazach medycznych, produkcji, autonomicznych pojazdach, rolnictwie oraz w obrazach satelitarnych.
Śledzenie obiektów
Śledzenie podąża za obiektami w ramach wideo. Aplikacje obejmują monitorowanie ruchu, analizę sportową, bezpieczeństwo i robotykę.
Rozpoznawanie znaków optycznych
Rozpoznawanie znaków optycznych wyodrębnia tekst z obrazów. Możesz spotkać się z tym zadaniem w przetwarzaniu dokumentów, skanowaniu paragonów, przetwarzaniu dokumentów tożsamości oraz automatycznym wprowadzaniu danych.
Wizja 3D
Wizja 3D dotyczy głębokości, kształtu i środowisk trójwymiarowych. Ważne tematy obejmują wizję stereoskopową, kamery głębi, chmury punktów, LiDAR, rekonstrukcję 3D oraz wizualne SLAM.
Nie musisz specjalizować się w każdej dziedzinie. Naucz się podstaw, a następnie skoncentruj się na obszarach istotnych dla twojej wymarzonej kariery.
7. Naucz się o danych
System wizji komputerowej w dużej mierze zależy od jakości swoich danych.
Naucz się, jak:
- Znajdować lub zbierać odpowiednie zbiory danych
- Oznaczać obrazy
- Oczyścić dane o niskiej jakości
- Tworzyć działy treningowe, walidacyjne i testowe
- Radzić sobie z nierównowagą klas
- Zastosować realistyczną augmentację danych
- Wykrywać wycieki danych
- Dokumentować zbiory danych.
Nieprawidłowe etykiety lub nieprzedstawiciele obrazy mogą prowadzić do słabego modelu, nawet przy użyciu zaawansowanej architektury.
Powinieneś również nauczyć się przeprowadzać analizy błędów. Jeśli model działa źle w nocy, na przykład, zbadaj, czy dane treningowe zawierają wystarczającą ilość nocnych obrazów, czy obiekty są zbyt ciemne, czy rozmycie ruchu wpływa na prognozy.
8. Buduj praktyczne projekty
Projekty są jednym z najlepszych sposobów na zaprezentowanie swoich umiejętności.
Rozpocznij projekt od klasyfikacji obrazów. Wybierz prawdziwy zbiór danych, wytrenuj model używając uczenia transferowego i oceń jego wydajność.
Następnie zbuduj projekt wykrywania obiektów. Na przykład, możesz stworzyć system, który wykrywa samochody i motocykle na zdjęciach drogowych.
Później zbuduj projekt segmentacji obrazów. Możesz zidentyfikować uszkodzone obszary w produktach wytwórczych lub oddzielić obiekty od ich tła.
Po tym stwórz projekt analizy wideo, który wykrywa i śledzi obiekty.
Na końcu stworzyć aplikację end-to-end, która akceptuje obraz lub wideo, uruchamia model wizji komputerowej i wyświetla wyniki.
Portfolio nie musi zawierać dziesiątek projektów. Cztery do sześciu dobrze udokumentowanych projektów jest zazwyczaj bardziej wartościowych niż duża kolekcja skopiowanych samouczków.
9. Umieść swoje projekty na GitHubie
Twoje portfolio powinno wykazywać umiejętności zarówno w zakresie uczenia maszynowego, jak i inżynierii.
Każdy główny projekt powinien zawierać:
- Jasny dokument README
- Opis problemu
- Informacje o zbiorze danych
- Instrukcje instalacji
- Instrukcje treningowe
- Wyniki oceny
- Przykładowe wyniki
- Decyzje techniczne
- Ograniczenia
- Możliwe ulepszenia.
Wyjaśnij, co zrobiłeś, zamiast po prostu przesyłać notatnik.
Na przykład zamiast powiedzieć, że „pracowałeś z wykrywaniem obiektów”, wyjaśnij, jaki problem rozwiązałeś, jaki zbiór danych użyłeś, jak trenowałeś model, które metryki oceny wybrałeś i jak poprawiłeś wydajność.
10. Naucz się inżynierii oprogramowania i wdrażania
Trenowanie modelu w notatniku to tylko jedna część pracy inżyniera wizji komputerowej.
Naucz się Gita, GitHuba, podstaw Linuksa, interfejsów API, Dockera, testowania, rejestrowania oraz organizacji oprogramowania.
Powinieneś również zrozumieć, jak wdrażać modele.
Przydatne technologie i koncepcje obejmują:
- Interfejsy API REST
- Docker
- ONNX
- Wnioskowanie na GPU
- Kwotyzacja modelu
- Optymalizacja modelu
- Chmura obliczeniowa
- Wdrażanie brzegowe.
Systemy produkcyjne wymagają kompromisów pomiędzy dokładnością, szybkością, pamięcią i kosztami.
Na przykład model, który produkuje doskonałe prognozy, ale potrzebuje kilku sekund na przetworzenie jednego klatki, może być nieodpowiedni dla systemu kamery w czasie rzeczywistym.
11. Naucz się C++ i obliczeń GPU w razie potrzeby
Python jest doskonałym punktem wyjścia, ale C++ może stać się istotny z perspektywy aplikacji krytycznych dla wydajności.
C++ jest szczególnie cenny w robotyce, systemach motoryzacyjnych, urządzeniach wbudowanych oraz wizji komputerowej w czasie rzeczywistym.
Możesz używać Pythona do eksperymentów i uczenia maszynowego, a C++ do komponentów krytycznych dla wydajności.
Powinieneś również zrozumieć podstawowe koncepcje związane z GPU i CUDA. Zaawansowane programowanie CUDA nie jest konieczne na początku, ale wiedza na temat GPU staje się coraz bardziej użyteczna podczas pracy z dużymi modelami lub aplikacjami w czasie rzeczywistym.
12. Wybierz specjalizację
Po opanowaniu podstaw rozważ wybór specjalizacji w branży lub technice.
Praca nad pojazdami autonomicznymi może obejmować wykrywanie obiektów, szacowanie głębokości, fuzję sensorów, LiDAR i wizję 3D.
Robotyka może obejmować lokalizację wizualną, szacowanie pozycji, percepcję głębokości, wizualne SLAM i wnioskowanie w czasie rzeczywistym.
Opieka zdrowotna może obejmować analizy zdjęć rentgenowskich, CT, MRI i patologiczne.
Produkcja może obejmować automatyczną inspekcję, wykrywanie wad, pomiary i systemy robotyczne.
Rolnictwo może obejmować monitorowanie upraw, wykrywanie chorób roślin, liczenie owoców i wykrywanie chwastów.
Detaliści i analizy wideo mogą obejmować rozpoznawanie produktów, monitorowanie zapasów, śledzenie obiektów i analizę klientów.
Twoja specjalizacja powinna wpływać na projekty, które budujesz, oraz na zaawansowane technologie, które studiujesz.
