Master's Thesis

Assistance in Creating Medical Reports using Large Pretrained Language Models

Final Thesis 1.95 MB

Author of thesis: Ing. Patrik Pricl

Acad. year: 2023/2024

Supervisor: RNDr. Marek Rychlý, Ph.D.

Reviewer: doc. Ing. Radek Burget, Ph.D.

Abstract:

The thesis consider with the use of pre-trained language models for summarizing medical
documentation in the form of dismissal reports.

Keywords:

NLP, Text sumarization, Artificial intelligence, Large language models

Date of defence

17.06.2024

Result of the defence

Not defended (thesis was not successfully defended)

znamkaDznamka

Grading

D

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Bioinformatics and Biocomputing (NBIO)

Supervisor’s report
RNDr. Marek Rychlý, Ph.D.

Vzhledem k nevyváženému tempu práce a uspěchanému, problematickému a pozdnímu dokončování považuji aktivitu studenta během řešení za velmi podprůměrnou. Navrhuji hodnotit práci na stupněm dostatečně (E).

Evaluation criteria Verbal classification
Informace k zadání

Cílem práce bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů při asistované tvorbě lékařských zpráv. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Rámcově považuji zadání za splněné.

Aktivita při dokončování

Práce byla dokončena až na poslední chvíli, takže výsledná podoba technické zprávy nebyla konzultována (zejména celá část popisující vlastní řešení). Programové řešení bylo konzultováno průběžně.

Publikační činnost, ocenění

Bez publikací či ocenění.

Práce s literaturou

Student samostatně vyhledal a prozkoumal relevantní literaturu.

Aktivita během řešení, konzultace, komunikace

V průběhu řešení student pracoval nerovnoměrně a obtížně se vypořádával s četnými technickými komplikacemi a větší časovou náročností prováděných experimentů, což se projevilo na částečné nezralosti výsledného díla. Vzhledem k pomalejšímu postupu byly konzultace jen občasné s výjimkou dokončování poslední měsíc řešení, avšak rámcové termíny byly nakonec dodrženy. Spolupráce v oblasti praktického nasazení probíhala s průmyslovým partnerem, opět spíše volnějším tempem.

Points proposed by supervisor: 59
Display more

Grade proposed by supervisor: E

Reviewer’s report
doc. Ing. Radek Burget, Ph.D.

Pan Pricl nastudoval principy fungování a aplikace jazykových modelů a navrhl prototyp řešení, který demonstruje možný přístup k takovému problému. Problematika jazykových modelů je nadprůměrně složitá, při řešení student zřejmě překonal množství technických problémů a výsledek je alespoň částečně funkční. Bohužel však jak technická zpráva, tak odevzdaná implementace jsou extrémně stručné až nekompletní, jak uvádím výše. Proto celkově navrhuji hodnotit práci jako nedostatečnou.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno pouze částečně s vážnějšími výhradami

Vzhledem k celkové stručnosti technické zprávy je obtížné posoudit  splnění jednotlivých bodů zadání. Za bez problémů splněný lze považovat první bod 1. K bodům 2 a 3 lze dohledat zmínky o experimentech s několika existujícími modely, parametry těchto modelů a jejich trénování jsou řešeny pouze na několika řádcích v kapitole 4.3. Žádné měření použitelnosti modelů pro daný účel jsem nenašel. Popis implementace (bod 4 zadání) se omezuje na snímek obrazovky a tři řádky textu v kapitole 4.4.2. Testování je pouze letmo zmíněno a další vyhodnocení není v technické zprávě obsaženo.

Rozsah technické zprávy

Evaluation level: nesplňuje minimální požadavky

Technická zpráva svým rozsahem formálně splňuje požadované minimum 50 normostran. Avšak kapitola 1 však poskytuje jen velmi obecný úvod do problematiky umělé inteligence bez větší návaznosti na téma práce a naopak v kapitolách věnovaných vlastnímu řešení chybí mnohé podstatné informace, jak uvádím níže. Text práce proto nepovažuji z hlediska rozsahu za dostatečný.

Prezentační úroveň technické zprávy

Student v technické zprávě poměrně pěkně a srozumitelně zpracoval problematiku velkých jazykových modelů (kapitola 2). Cíl práce byl konkretizován na automatické generování propouštěcí zprávy pacienta na základě záznamů o průběhu léčby uložených v databázi, která je v práci popsána. Zbývající části práce však nedávají mnoho informací o způsobu řešení, ani dosažených výsledcích. Postrádám zejména podrobnosti o způsobu generování vstupu pro jazykový model, parametrech a dosažených výsledcích jednotlivých modelů zmíněných v kapitole 4.2.1, vlivu fine-tuningu aplikovaného na výsledný model a vyhodnocení výsledků. Jsou prezentovány pouze 1 - 2 ukázky vygenerovaného textu bez nějaké diskuse nebo zhodnocení.

40
Formální úprava technické zprávy

Technická zpráva je psána v anglickém jazyce na velmi dobré úrovni, po typografické stránce však trpí mnoha nedostatky včetně přetékajících řádků, poněkud svérázné sazbě seznamů apod. Celkově však z tohoto pohledu hodnotím práci jako přijatelnou.

60
Práce s literaturou

Seznam použité literatury obsahuje přiměřené množství zdrojů, které jsou relevantní a jsou v textu práce řádně citovány.

75
Realizační výstup

Realizačním výstupem je několik skriptů v jazyce Python, které zřejmě provádí přípravu vstupu pro jazykový model, jeho trénování a použití. V rámci předvedení se plnou funkčnost docílit nepodařilo, jednalo se však o problém na straně poskytovatele jazykových modelů HuggingFace. Podle zdrojových kódů jsou zřejmě vytvořené skripty schopny produkovat výstup popsaný v technické zprávě. Souhrnný návod k použití není k dispozici a kód je jen velmi spoře komentován. Dále je implementována webová aplikace, ze které je bohužel odevzdána jen přeložená klientská část, serverová část chybí. Nicméně funkčnost aplikace mi byla demonstrována. Hlavní cíl v podobě aplikace vybraných modelů pro danou úlohu odevzdaná implementace plní, nicméně rozsah a podobu odevzdání považuji za hraniční pro diplomovou práci.

50
Využitelnost výsledků

Jedná se o práci spíše experimentálního charakteru, dosažené výsledky mohou sloužit jako základ pro další využití jazykových modelů v dané oblasti.

Náročnost zadání

Evaluation level: obtížnější zadání

Zadání předpokládá detailní prostudování funkce velkých jazykových modelů a jejich aplikaci v poněkud specifické oblasti. Jedná se spíše o výzkumnou a experimentální práci, daná problematika je poměrně složitá a zadání proto považuji za obtížnější.

Points proposed by reviewer: 48
Display more

Grade proposed by reviewer: F