Detail předmětu

Bayesovské modely pro strojové učení (v angličtině)

FIT-BAYaAk. rok: 2019/2020

Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Šíření očekávání, Gaussovské procesy, Auto-Encoding Variational Bayes, Praktické aplikace bayesovské inference

Jazyk výuky

angličtina

Počet kreditů

5

Garant předmětu

doc. Ing. Lukáš Burget, Ph.D.

Zajišťuje ústav

Ústav počítačové grafiky a multimédií (UPGM)

Nabízen zahraničním studentům

Všech fakult

Způsob a kritéria hodnocení

  • půlsemestrální zkouška (24b)  
  • odevzdání a presentace projektu (25b) 
  • semestrální zkouška 51b.

Učební cíle

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.

Doporučená literatura

P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html (EN)

Zařazení předmětu ve studijních plánech

  • Program MITAI magisterský navazující

    specializace NMAL , 0 ročník, zimní semestr, povinný
    specializace NBIO , 0 ročník, zimní semestr, volitelný

  • Program IT-MGR-1H magisterský navazující

    obor MGH , 0 ročník, zimní semestr, doporučený kurs

  • Program MITAI magisterský navazující

    specializace NSEN , 0 ročník, zimní semestr, volitelný
    specializace NVIZ , 0 ročník, zimní semestr, volitelný
    specializace NGRI , 0 ročník, zimní semestr, volitelný
    specializace NISD , 0 ročník, zimní semestr, volitelný
    specializace NSEC , 0 ročník, zimní semestr, volitelný
    specializace NCPS , 0 ročník, zimní semestr, volitelný
    specializace NHPC , 0 ročník, zimní semestr, volitelný
    specializace NNET , 0 ročník, zimní semestr, volitelný
    specializace NVER , 0 ročník, zimní semestr, volitelný
    specializace NIDE , 0 ročník, zimní semestr, volitelný
    specializace NEMB , 0 ročník, zimní semestr, volitelný
    specializace NSPE , 0 ročník, zimní semestr, volitelný
    specializace NADE , 0 ročník, zimní semestr, volitelný
    specializace NMAT , 0 ročník, zimní semestr, volitelný
    specializace NISY , 0 ročník, zimní semestr, volitelný

  • Program IT-MGR-2 magisterský navazující

    obor MGMe , 0 ročník, zimní semestr, povinně volitelný

Typ (způsob) výuky

 

Přednáška

26 hod., nepovinná

Vyučující / Lektor

doc. Ing. Lukáš Burget, Ph.D.

Osnova

  1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
  2. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
  3. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
  4. Inference v Bayesovských sítích (loopy belief propagation)
  5. Expectation-Maximization algoritmy (s aplikacemi na Gaussovské směsné modely)
  6. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
  7. Inference pomocí variačního Bayese (VB), Stochastický VB 
  8. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
  9. Pitman-Yor proces pro modelování jazyka. 
  10. Šíření očekávání (expectation propagation) 
  11. Gaussovské procesy 
  12. Auto-Encoding Variational Bayes 
  13. Praktické aplikace bayesovské inference

Cvičení odborného základu

13 hod., povinná

Vyučující / Lektor

Mgr. Lucas Antoine Francois Ondel, Ph.D.
Mireia Diez Sánchez, M.Sc., Ph.D.
Ing. Murali Karthick Baskar, Ph.D.

Osnova

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Projekt

13 hod., povinná

Vyučující / Lektor

Mgr. Lucas Antoine Francois Ondel, Ph.D.
Ing. Murali Karthick Baskar, Ph.D.
Mireia Diez Sánchez, M.Sc., Ph.D.

Osnova

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat. Studenti budou pracovat v týmech v "evaluačním" módu a presentovat své výsledky na poslední přednášce/cvičení.