Detail předmětu

Bayesovské modely pro strojové učení (v angličtině)

FIT-BAYaAk. rok: 2021/2022

Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Šíření očekávání, Gaussovské procesy, Auto-Encoding Variational Bayes, Praktické aplikace bayesovské inference

Jazyk výuky

angličtina

Počet kreditů

5

Garant předmětu

doc. Ing. Lukáš Burget, Ph.D.

Zajišťuje ústav

Ústav počítačové grafiky a multimédií (UPGM)

Nabízen zahraničním studentům

Všech fakult

Způsob a kritéria hodnocení

  • půlsemestrální zkouška (24b)  
  • odevzdání a presentace projektu (25b) 
  • semestrální zkouška 51b.

Učební cíle

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.

Doporučená literatura

C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006 (EN)
P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html (EN)

Zařazení předmětu ve studijních plánech

  • Program MITAI magisterský navazující

    specializace NADE , 0 ročník, zimní semestr, volitelný
    specializace NBIO , 0 ročník, zimní semestr, volitelný
    specializace NCPS , 0 ročník, zimní semestr, volitelný
    specializace NEMB , 0 ročník, zimní semestr, volitelný
    specializace NGRI , 0 ročník, zimní semestr, volitelný
    specializace NHPC , 0 ročník, zimní semestr, volitelný
    specializace NIDE , 0 ročník, zimní semestr, volitelný
    specializace NISD , 0 ročník, zimní semestr, volitelný
    specializace NMAL , 0 ročník, zimní semestr, povinný
    specializace NMAT , 0 ročník, zimní semestr, volitelný
    specializace NNET , 0 ročník, zimní semestr, volitelný
    specializace NSEC , 0 ročník, zimní semestr, volitelný
    specializace NSEN , 0 ročník, zimní semestr, volitelný
    specializace NSPE , 0 ročník, zimní semestr, volitelný
    specializace NVER , 0 ročník, zimní semestr, volitelný
    specializace NVIZ , 0 ročník, zimní semestr, volitelný

  • Program IT-MGR-1H magisterský navazující

    obor MGH , 0 ročník, zimní semestr, doporučený kurs

  • Program IT-MGR-2 magisterský navazující

    obor MGMe , 0 ročník, zimní semestr, povinně volitelný

  • Program MITAI magisterský navazující

    specializace NISY do 2020/21 , 0 ročník, zimní semestr, volitelný
    specializace NISY , 0 ročník, zimní semestr, volitelný

Typ (způsob) výuky

 

Přednáška

26 hod., nepovinná

Vyučující / Lektor

doc. Ing. Lukáš Burget, Ph.D.

Osnova

  1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
  2. Inference v Bayesovských sítích
  3. Markovovská náhodná pole, Faktorové grafy, Belief Propagation
  4. Expectation-Maximization algoritmy (s aplikacemi na model směsice gaussovskéých rozloženní0
  5. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
  6. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
  7. Inference pomocí  Variational Bayes (VB), Mean-field aproximace
  8. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
  9. Inference pro bayesovský model směsice gaussovskéých rozloženní zalozená na metodě Collapsed Gibbs sampling  
  10. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
  11. Pitman-Yor proces pro modelování jazyka. 

Cvičení odborného základu

13 hod., povinná

Vyučující / Lektor

doc. Ing. Lukáš Burget, Ph.D.
Mireia Diez Sánchez, M.Sc., Ph.D.

Osnova

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Projekt

13 hod., povinná

Vyučující / Lektor

doc. Ing. Lukáš Burget, Ph.D.

Osnova

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat.