Master's Thesis

Assistance in Creating Medical Reports using Large Pretrained Language Models

Final Thesis 2 MB

Author of thesis: Ing. Patrik Pricl

Acad. year: 2023/2024

Supervisor: RNDr. Marek Rychlý, Ph.D.

Reviewer: doc. Ing. Radek Burget, Ph.D.

Abstract:

The thesis deals with the use of pre-trained language models for summarizing medical
documentation in the form of dismissal reports. To create a functional model, the LLaMA
architecture is used. Already existing models of the given architecture were used. The aim
of the experiments was to find a model that can generate part of the documentation in the
Czech language. The selected model was fine-tuned using the LoRA method. Subsequently,
the inference parameters were experimented with to find the most suitable ones so that the
model generates the most correct output. Web-client and server applications were also
created as part of the thesis, the purpose of which is to demonstrate the functionality of the fine-tuned model.

Keywords:

NLP, Text sumarization, Artificial intelligence, Large language models,Transformers, Peft,
LoRA, LLaMA, BERT, GPT, ChatGPT-3.5, Medical documents, Flask, Python, fine-
tuning

Date of defence

27.08.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaDznamka

Grading

D

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.

Topics for thesis defence

  1. Při použití jazykových modelů pro konkrétní účel používáte dotazy (prompt), které kombinují instrukce v češtině i angličtině. Jaký je k tomu důvod?
  2. Jak vypadala trénovací a testovací sada? Co bylo jejich zdrojem?
  3. Jakou metriku jste používal pro porovnávání podobnosti zpráv napsaných lékařem a zpráv vygenerovaných vaším modelem?
  4. Byly zprávy vygenerované vaším modelem konzultovány se skutečnými lékaři? Jaká byla jejich zpětná vazba?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Bioinformatics and Biocomputing (NBIO)

Composition of Committee

doc. Ing. Richard Růžička, Ph.D., MBA (předseda)
doc. Ing. František Zbořil, CSc. (člen)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
Ing. Libor Polčák, Ph.D. (člen)
Mgr. Kamil Malinka, Ph.D. (člen)
doc. Ing. Tomáš Martínek, Ph.D. (člen)

Supervisor’s report
RNDr. Marek Rychlý, Ph.D.

Vzhledem k nevyváženému tempu práce a uspěchanému, problematickému dokončování považuji celkovou aktivitu studenta během řešení za podprůměrnou. Navrhuji hodnotit práci na stupněm uspokojivě (D).

Evaluation criteria Verbal classification
Informace k zadání

Cílem práce bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů při asistované tvorbě lékařských zpráv. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné.

Aktivita při dokončování

Práce byla dokončena dodatečně (po první neúspěšné obhajobě). Výsledná podoba technické zprávy byla konzultována a výsledné programové řešení bylo předvedeno.

Publikační činnost, ocenění

Bez publikací či ocenění.

Práce s literaturou

Student samostatně vyhledal a prozkoumal relevantní literaturu.

Aktivita během řešení, konzultace, komunikace

V průběhu řešení student pracoval nerovnoměrně a obtížně se vypořádával s četnými technickými komplikacemi a větší časovou náročností prováděných experimentů. Vzhledem k pomalejšímu postupu byly konzultace v průběhu řešení jen občasné. V průběhu dopracování (po první neúspěšné obhajobě) byly konzultace již pravidelné a časté, student dobře reagoval na připomínky a termíny byly dodrženy. Spolupráce v oblasti praktického nasazení probíhala s průmyslovým partnerem, opět spíše volnějším tempem.

Points proposed by supervisor: 65
Display more

Grade proposed by supervisor: D

Reviewer’s report
doc. Ing. Radek Burget, Ph.D.

Pan Pricl prostudoval poměrně složitou problematiku velkých jazykových modelů a jejich použití pro konkrétní aplikační doménu a navrhl a implementoval funkční řešení, které, ač je experimentální, dává poměrně nadějné výsledky. K technické zprávě mám některé výhrady převážně formálního charakteru. Celkově proto navrhuji hodnocení stupněm C.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Zadání považuji za splněné bez výhrad.

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Technická zpráva je svým rozsahem v rozmezí obvyklém pro diplomovou práci.

Prezentační úroveň technické zprávy

Technická zpráva je dobře strukturovaná a pokrývá jak studium problematiky umělé inteligence se zaměřením na velké jazykové modely, tak i praktickou část, která se zabývá návrhem řešení pro asistenci při tvorbě lékařských zpráv. Konkrétně se autor zaměřil na automatické generování propouštěcí zprávy pacienta na základě záznamů o průběhu léčby uložených v databázi. Teoretická východiska, použité datové sady i způsob řešení jsou velmi podrobně popsány. Rovněž vyhodnocení výsledků je dostatečně podrobné.

78
Formální úprava technické zprávy

Práce je psána v anglickém jazyce, což obecně hodnotím jako klad, nicméně úroveň použité angličtiny je místy problematická. Často se objevují gramatické chyby, chybný slovosled (např. v závěru práce), apod. Nicméně celkově je text srozumitelný. K typografické stránce mám jen drobné připomínky např. k formátování seznamů.

65
Práce s literaturou

Seznam použité literatury je přiměřeně rozsáhlý a obsahuje relevantní zdroje. Tyto zdroje jsou v textu práce řádně citovány.

75
Realizační výstup

Realizačním výstupem je sada skriptů v jazyce Python, které provádí přípravu vstupu pro jazykový model, jeho trénování a použití. Výsledek mi byl demonstrován a je plně funkční. Součástí řešení je i webová aplikace skládající se ze serverové části provádějící generování propouštěcích zpráv a klientské části poskytující uživatelské rozhraní. Dalším výsledkem je i poměrně důkladné vyhodnocení úspěšnosti generování s použitím různých modelů a jejich nastavení.

82
Využitelnost výsledků

Práce je spíše experimentálního charakteru a výsledky dosud zřejmě nejsou použitelné v reálných podmínkách, nicméně poskytuje dobrý výchozí bod pro nasazení jazykových modelů v informačních systémech.

Náročnost zadání

Evaluation level: obtížnější zadání

Zadání předpokládá detailní prostudování funkce velkých jazykových modelů a jejich aplikaci v poněkud specifické oblasti. Jedná se spíše o výzkumnou a experimentální práci, daná problematika je poměrně složitá a zadání proto považuji za obtížnější.

Topics for thesis defence:
  1. Při použití jazykových modelů pro konkrétní účel používáte dotazy (prompt), které kombinují instrukce v češtině i angličtině. Jaký je k tomu důvod?
Points proposed by reviewer: 75
Display more

Grade proposed by reviewer: C