Práca sa zaoberá využitím predtrénovaných jazykových modelov na sumarizáciu zdravot-
nej dokumentácie do formy prepúšťacích správ. Na vytvorenie funkčného modelu bola
využitá architektúra LLaMA a experimentovanie už s existujúcimi modelmi danej architek-
túry. Cielom experimentov bolo nájsť model, ktorý zvládne generovať časť dokumentácie v
českom jazyku. Vybraný model sa finetunoval pomocou metody LoRA. Následne sa exper-
imentovalo s inference parametrami na nájdenie tých najvhodnejších, aby model generoval
čo najkoreknejší výstup. Taktiež bola v rámci práce vytvorená webová a server aplikáciá,
ktorých učelom je demonštrovať funkčnosť fine-tunovaného modelu.
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Otázky k obhajobě
Při použití jazykových modelů pro konkrétní účel používáte dotazy (prompt), které kombinují instrukce v češtině i angličtině. Jaký je k tomu důvod?
Jak vypadala trénovací a testovací sada? Co bylo jejich zdrojem?
Jakou metriku jste používal pro porovnávání podobnosti zpráv napsaných lékařem a zpráv vygenerovaných vaším modelem?
Byly zprávy vygenerované vaším modelem konzultovány se skutečnými lékaři? Jaká byla jejich zpětná vazba?
Informační technologie a umělá inteligence (MITAI)
Specializace
Bioinformatika a biocomputing (NBIO)
Složení komise
doc. Ing. Richard Růžička, Ph.D., MBA (předseda)
doc. Ing. František Zbořil, CSc. (člen)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
Ing. Libor Polčák, Ph.D. (člen)
Mgr. Kamil Malinka, Ph.D. (člen)
doc. Ing. Tomáš Martínek, Ph.D. (člen)
Vzhledem k nevyváženému tempu práce a uspěchanému, problematickému dokončování považuji celkovou aktivitu studenta během řešení za podprůměrnou. Navrhuji hodnotit práci na stupněm uspokojivě (D).
Kritérium hodnocení
Slovní hodnocení
Informace k zadání
Cílem práce bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů při asistované tvorbě lékařských zpráv. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné.
Aktivita při dokončování
Práce byla dokončena dodatečně (po první neúspěšné obhajobě). Výsledná podoba technické zprávy byla konzultována a výsledné programové řešení bylo předvedeno.
Publikační činnost, ocenění
Bez publikací či ocenění.
Práce s literaturou
Student samostatně vyhledal a prozkoumal relevantní literaturu.
Aktivita během řešení, konzultace, komunikace
V průběhu řešení student pracoval nerovnoměrně a obtížně se vypořádával s četnými technickými komplikacemi a větší časovou náročností prováděných experimentů. Vzhledem k pomalejšímu postupu byly konzultace v průběhu řešení jen občasné. V průběhu dopracování (po první neúspěšné obhajobě) byly konzultace již pravidelné a časté, student dobře reagoval na připomínky a termíny byly dodrženy. Spolupráce v oblasti praktického nasazení probíhala s průmyslovým partnerem, opět spíše volnějším tempem.
Pan Pricl prostudoval poměrně složitou problematiku velkých jazykových modelů a jejich použití pro konkrétní aplikační doménu a navrhl a implementoval funkční řešení, které, ač je experimentální, dává poměrně nadějné výsledky. K technické zprávě mám některé výhrady převážně formálního charakteru. Celkově proto navrhuji hodnocení stupněm C.
Kritérium hodnocení
Slovní hodnocení
Body
Rozsah splnění požadavků zadání
Stupeň hodnocení: zadání splněno
Zadání považuji za splněné bez výhrad.
Rozsah technické zprávy
Stupeň hodnocení: je v obvyklém rozmezí
Technická zpráva je svým rozsahem v rozmezí obvyklém pro diplomovou práci.
Prezentační úroveň technické zprávy
Technická zpráva je dobře strukturovaná a pokrývá jak studium problematiky umělé inteligence se zaměřením na velké jazykové modely, tak i praktickou část, která se zabývá návrhem řešení pro asistenci při tvorbě lékařských zpráv. Konkrétně se autor zaměřil na automatické generování propouštěcí zprávy pacienta na základě záznamů o průběhu léčby uložených v databázi. Teoretická východiska, použité datové sady i způsob řešení jsou velmi podrobně popsány. Rovněž vyhodnocení výsledků je dostatečně podrobné.
78
Formální úprava technické zprávy
Práce je psána v anglickém jazyce, což obecně hodnotím jako klad, nicméně úroveň použité angličtiny je místy problematická. Často se objevují gramatické chyby, chybný slovosled (např. v závěru práce), apod. Nicméně celkově je text srozumitelný. K typografické stránce mám jen drobné připomínky např. k formátování seznamů.
65
Práce s literaturou
Seznam použité literatury je přiměřeně rozsáhlý a obsahuje relevantní zdroje. Tyto zdroje jsou v textu práce řádně citovány.
75
Realizační výstup
Realizačním výstupem je sada skriptů v jazyce Python, které provádí přípravu vstupu pro jazykový model, jeho trénování a použití. Výsledek mi byl demonstrován a je plně funkční. Součástí řešení je i webová aplikace skládající se ze serverové části provádějící generování propouštěcích zpráv a klientské části poskytující uživatelské rozhraní. Dalším výsledkem je i poměrně důkladné vyhodnocení úspěšnosti generování s použitím různých modelů a jejich nastavení.
82
Využitelnost výsledků
Práce je spíše experimentálního charakteru a výsledky dosud zřejmě nejsou použitelné v reálných podmínkách, nicméně poskytuje dobrý výchozí bod pro nasazení jazykových modelů v informačních systémech.
Náročnost zadání
Stupeň hodnocení: obtížnější zadání
Zadání předpokládá detailní prostudování funkce velkých jazykových modelů a jejich aplikaci v poněkud specifické oblasti. Jedná se spíše o výzkumnou a experimentální práci, daná problematika je poměrně složitá a zadání proto považuji za obtížnější.
Otázky k obhajobě:
Při použití jazykových modelů pro konkrétní účel používáte dotazy (prompt), které kombinují instrukce v češtině i angličtině. Jaký je k tomu důvod?