Detail předmětu
Konvoluční neuronové sítě
FIT-KNNAk. rok: 2024/2025
Řešení založená na metodách strojového učení postupně nahrazují ručně navržená řešení v mnoha oblastech vývoje software, speciálně pak v percepčních úlohách zaměřených na získávání informací o reálném světě z informačně bohatých senzorů jako jsou kamery, mikrofony a podobně. Dominantní metodou strojového učení jsou v současné době neuronové sítě, a speciálně pak jejich varianty zaměřené na strukturovaná data - konvoluční neuronové sítě. Tyto přístupy jsou jádrem mnoha úspěšných komerčních aplikací a posunují možnosti umělé inteligence.
Jazyk výuky
Počet kreditů
Garant předmětu
Zajišťuje ústav
Vstupní znalosti
Pravidla hodnocení a ukončení předmětu
- Hodnocený projekt s obhajobou - 65 bodů.
- Dva testy během semestru - 35 bodů.
Požadavky na zápočet jsou dosažení minimálně 50 bodů ze všech hodnocených položek předmětu (projektu a tesů).
Učební cíle
Studenti se seznámí se základy konvolučních neuronových sítí, jejich učení (optimalizace), jejich stavebními bloky a programovými prostředími (frameworky) pro jejich implementaci. Získají základní povědomí o faktorech, které určují jejich úspěšnost v reálných aplikacích včetně vlastností datové sady, vhodnosti chybové funkce, vhodné struktury sítě, regularizace, optimalizace, přetrénování sítí a multi-task učení. Studenti se také seznámí s konkrétními příklady neuronových sítí pro široké spektrum úloh počítačového vidění (klasifikace, detekce, segmentace, identifikace), zpracování řeči, jazykového modelování, posilovaného učení a generování dat.
Studenti si vyzkouší spolupráci na týmovém projektu a seznámí se s knihovnami jazyka Python zaměřenými na matematické operace, lineární algebru a strojové učení.
Základní literatura
Doporučená literatura
Goodfellow, I., Bengio, Y., Courville, A.: Deep Learning. MIT Press, 2016.
Li, Fei-Fei, et al.: CS231n: Convolutional Neural Networks for Visual Recognition. Stanford, 2018.
Elearning
Zařazení předmětu ve studijních plánech
- Program MITAI magisterský navazující
specializace NGRI , 0 ročník, letní semestr, volitelný
specializace NADE , 0 ročník, letní semestr, volitelný
specializace NISD , 0 ročník, letní semestr, volitelný
specializace NMAT , 0 ročník, letní semestr, volitelný
specializace NSEC , 0 ročník, letní semestr, volitelný
specializace NISY do 2020/21 , 0 ročník, letní semestr, volitelný
specializace NNET , 0 ročník, letní semestr, volitelný
specializace NMAL , 0 ročník, letní semestr, povinný
specializace NCPS , 0 ročník, letní semestr, volitelný
specializace NHPC , 0 ročník, letní semestr, volitelný
specializace NVER , 0 ročník, letní semestr, volitelný
specializace NIDE , 0 ročník, letní semestr, volitelný
specializace NISY , 0 ročník, letní semestr, volitelný
specializace NEMB do 2023/24 , 0 ročník, letní semestr, volitelný
specializace NSPE , 0 ročník, letní semestr, povinný
specializace NEMB , 0 ročník, letní semestr, volitelný
specializace NBIO , 0 ročník, letní semestr, povinný
specializace NSEN , 0 ročník, letní semestr, volitelný
specializace NVIZ , 0 ročník, letní semestr, povinný
Typ (způsob) výuky
Přednáška
Vyučující / Lektor
Osnova
-
- Úvod, lineární modely, chybová funkce, alg. učení (optimalizace), vyhodnocení. (organizace, opakování NN)
- Plně propojené sítě, chybové funkce pro klasifikaci a regresi.(prezentace)
- Konvoluční sítě, lokalita a invariance výpočtů, inicializace vah vah, batch normalizace. (prezentace, ukázka vlivu inicializace vah)
- Existující architektury klasifikačních sítí pro obraz. (prezentace)
- Generalizace, regularizace, rozšiřování datových sad, transfer learning, multi-task sítě, semi supervised learning, active learning, self-supervised learning. (prezentace)
- Detekce objektů: MTCNN face detektor, R-CNN, Fast R-CNN, Faster R-CNN, YOLO, SSD. (prezentace včetně následující segmentace)
- Sémantická segmentace a segmentace instancí. Odhad vzdáleností, normál povrchu, osvětlení a pohybu (prezentace je stejná jako předchozí).
- Sítě pro učení podobností a embedding. Rozpoznávání osob podle obličeje a hlasu. (prezentace)
- Rekurentní neuronové sítě a zpracování sekvencí (textu a řeči). Connectionist Temporal Classification (CTC). Sítě s pozorností. (prezentace)
- Jazykové modely. Základní modely pro generování popisů obrázků, odpovědi na otázky, překlad jazyka a podobně.(prezentace)
- Generativní modely. Autoregresivní faktorizace. Generative Adversarial Networks. (prezentace)
- Posilované učení s neuronovými sítěmi. Deep Q-network (DQN) a policy gradients. (prezentace)
- Přehled nových a neortodoxních aplikací konvolučních sítí a jejich základní myšlenky.
Odkazy jsou na živé prezentace a je pravděpodobné, že se budou během semestru mírně měnit k lepšímu.
Pokud máte návrhy na zlepšení, odkazy na zajímavé zdroje nebo najdete v prezentacích chyby, budu rád, když přidáte komentáře přímo ke konkrétním snímkům prezentací.
Projekt
Vyučující / Lektor
Osnova
Libovolná témata navržená studenty a odsouhlasená vyučujícím.
Postup řešení projektu:
- Formulace úlohy a utvoření týmu.
- Průzkum existujících řešení a použitelných nástrojů.
- Základní řešení a návrh vyhodnocování.
- Sběr dat.
- Experimenty, testování a postupné vylepšení řešení.
- Závěrečná zpráva a prezentace projektu.
Elearning