Detail předmětu

Bayesovské modely pro strojové učení (v angličtině)

FIT-BAYaAk. rok: 2024/2025

Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Praktické aplikace bayesovské inference

Jazyk výuky

angličtina

Počet kreditů

Garant předmětu

doc. Ing. Lukáš Burget, Ph.D.

Zajišťuje ústav

Ústav počítačové grafiky a multimédií (UPGM)

Nabízen zahraničním studentům

Všech fakult

Pravidla hodnocení a ukončení předmětu

  • půlsemestrální zkouška (24b)  
  • odevzdání a presentace projektu (25b) 
  • semestrální zkouška 51b.

Pro získání bodů ze zkoušky je nutné získat min. 20 bodů, jinak je zkouška hodnocena 0 body.


Učební cíle

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM. Kurs je veden v angličtině.

Doporučená literatura

http://www.fit.vutbr.cz/study/courses/BAYa/public/ (EN)
C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006 (EN)
P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html (EN)
S. J. Gershman and D.M. Blei: A tutorial on Bayesian nonparametric models, Journal of Mathematical Psychology, 2012. (EN)

Zařazení předmětu ve studijních plánech

  • Program IT-MGR-1H magisterský navazující

    specializace MGH , 0 ročník, zimní semestr, doporučený kurs

  • Program MIT-EN magisterský navazující 0 ročník, zimní semestr, povinně volitelný

  • Program MITAI magisterský navazující

    specializace NGRI , 0 ročník, zimní semestr, volitelný
    specializace NADE , 0 ročník, zimní semestr, volitelný
    specializace NISD , 0 ročník, zimní semestr, volitelný
    specializace NMAT , 0 ročník, zimní semestr, volitelný
    specializace NSEC , 0 ročník, zimní semestr, volitelný
    specializace NISY do 2020/21 , 0 ročník, zimní semestr, volitelný
    specializace NNET , 0 ročník, zimní semestr, volitelný
    specializace NMAL , 0 ročník, zimní semestr, povinný
    specializace NCPS , 0 ročník, zimní semestr, volitelný
    specializace NHPC , 0 ročník, zimní semestr, volitelný
    specializace NVER , 0 ročník, zimní semestr, volitelný
    specializace NIDE , 0 ročník, zimní semestr, volitelný
    specializace NISY , 0 ročník, zimní semestr, volitelný
    specializace NEMB do 2023/24 , 0 ročník, zimní semestr, volitelný
    specializace NSPE , 0 ročník, zimní semestr, volitelný
    specializace NEMB , 0 ročník, zimní semestr, volitelný
    specializace NBIO , 0 ročník, zimní semestr, volitelný
    specializace NSEN , 0 ročník, zimní semestr, volitelný
    specializace NVIZ , 0 ročník, zimní semestr, volitelný

Typ (způsob) výuky

 

Přednáška

26 hod., nepovinná

Vyučující / Lektor

Mireia Diez Sánchez, M.Sc., Ph.D.
doc. Ing. Lukáš Burget, Ph.D.
Bolaji Yusuf

Osnova

  1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
  2. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
  3. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
  4. Inference v Bayesovských sítích (loopy belief propagation)
  5. Expectation-Maximization algoritmy (s aplikacemi na Gaussovské směsné modely)
  6. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
  7. Inference pomocí variačního Bayese (VB) 
  8. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
  9. Pitman-Yor proces pro modelování jazyka. 
  10. Praktické aplikace bayesovské inference

Seminář

13 hod., nepovinná

Vyučující / Lektor

Mireia Diez Sánchez, M.Sc., Ph.D.
doc. Ing. Lukáš Burget, Ph.D.

Osnova

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Projekt

13 hod., nepovinná

Vyučující / Lektor

Mireia Diez Sánchez, M.Sc., Ph.D.

Osnova

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat. Studenti budou pracovat v týmech v "evaluačním" módu a presentovat své výsledky na poslední přednášce/cvičení.