Master's Thesis

Utilising Large Pretrained Language Models for Configuration and Support of a Clinical Information System

Final Thesis 960.3 kB

Author of thesis: Ing. Michal Sova

Acad. year: 2023/2024

Supervisor: RNDr. Marek Rychlý, Ph.D.

Reviewer: doc. Ing. Radek Burget, Ph.D.

Abstract:

The aim of this work is to get acquainted with the essence and use of large pre-trained language models, to get acquainted with the configuration options of the clinical information system FONS Enterprise and the possibility of its adaptation to the specific environment of customers. The work first presents large pre-trained language models and the FONS Enterprise clinical information system. This work examines possibilities of training models and implementing RAG methods on data from the clinical system. The implementation of the RAG architecture is supported by the tools LangChain and LlamaIndex. The results show that the RAG method with the Gemma model and the bge-m3 embedding model provides the most relevant answers on basic questions, but struggles to understand more complex questions. The method of pre-training the model does not produce the expected results, even after adjusting the training parameters.

Keywords:

clinical information system, large language models, RAG architecture, pre-training, Llama, Gemma, Mistral, LangChain, LlamaIndex

Date of defence

18.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaDznamka

Grading

D

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.

Topics for thesis defence

  1. Bylo v praktické aplikaci nakonec využito vektorové úložiště zmiňované v kapitole 5.2.2? Pokud ano, jaké a jakým způsobem?
  2. Jak probíhalo ověřování Vašeho řešení?

Language of thesis

Czech

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Intelligent Systems (NISY)

Composition of Committee

doc. Ing. Vladimír Janoušek, Ph.D. (předseda)
prof. Ing. Jiří Jaroš, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Ing. Vojtěch Mrázek, Ph.D. (člen)
Ing. Martin Hrubý, Ph.D. (člen)
Ing. Radek Kočí, Ph.D. (člen)

Supervisor’s report
RNDr. Marek Rychlý, Ph.D.

Celkově považuji aktivitu studenta při řešení práce za průměrnou a navrhuji hodnotit práci stupněm dobře (C).

Evaluation criteria Verbal classification
Informace k zadání

Cílem bylo prozkoumat možnosti použití velkých před-trénovaných jazykových modelů pro uživatelskou podporu při konfiguraci klinického informačního systému. Vzhledem k rozsáhlé problematice, velmi aktivnímu vývoji existujících modelů a nutnosti častých experimentů se jedná, z pohledu vedoucího, o obtížnější zadání. Zadání považuji za splněné.

Aktivita při dokončování

Práce byla dokončena včas a její výsledná podoba byla dostatečně konzultována. Připomínky student zapracoval.

Publikační činnost, ocenění

Bez publikací či ocenění.

Práce s literaturou

Student samostatně vyhledal a nastudoval související literaturu.

Aktivita během řešení, konzultace, komunikace

Během řešení byl student aktivní a svůj postup pravidelně konzultoval. Prakticky zaměřené konzultace probíhaly také s průmyslovým partnerem. Na konzultacích byl student vždy dobře připraven a dohodnuté termíny dodržel.

Points proposed by supervisor: 75
Display more

Grade proposed by supervisor: C

Reviewer’s report
doc. Ing. Radek Burget, Ph.D.

Pan Sova nastudoval několik dostupných jazykových modelů a dokázal je prakticky aplikovat ve specifickém prostředí, což je největším přínosem práce. Výsledná aplikace je funkční, avšak málo dokumentovaná, také k technické zprávě mám různé, výše uvedené výhrady. S přihlédnutím k vyšší obtížnosti zadání však navrhuji hodnotit práci celkově stupněm C.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno s drobnými výhradami

Zadání považuji za splněné s drobnou výhradou k bodu 4, kde integrace aplikace do klinického informačního systému je vyřešena jedním odkazem a testování, i když zjevně proběhlo, není v technické zprávě explicitně diskutováno.

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Práce je svým rozsahem spíše na dolní hranici rozmezí obvyklého pro bakalářskou práci. Kapitoly pokrývající studijní etapu jsou přiměřeně rozsáhlé a podrobné, kapitoly věnované vlastnímu řešení jsou místy až příliš stručné, jak uvádím dále.

Prezentační úroveň technické zprávy

Technická zpráva obsahuje pěkně zpracovanou teoretickou část pokrývající nejvýznamnější současné velké jazykové modely a jejich principy, možnosti jejich přizpůsobení pro vlastní aplikační oblast a cílový informační systém FONS enterprise. Tyto části jsou přehledně strukturované, dostatečně podrobné a srozumitelné. V popisu vlastního řešení naopak poněkud postrádám definici cílů a předpokládaných scénářů nasazení velkých jazykových modelů. Vstupní datová sada je popsána na dvou řádcích v kapitole 6.1. Další kapitoly popisují experimenty s různými parametry modelů a nástrojů, bez stanovených cílů a ale tyto experimenty působí poněkud náhodně. Také kapitola věnovaná implementaci je poměrně krátká, základní představu však dává. Testování celého řešení vyplývá spíše z příkladů uváděných v textu a z odevzdaných datových souborů, explicitně diskutováno není.

65
Formální úprava technické zprávy

Teoretická část práce je po jazykové i typografické stránce na dobré úrovni. V částech věnovaných trénování modelů a implementaci řešení lze narazit na drobné prohřešky. Zejména texty generované jazykovým modelem jsou vysázeny nejednotně a často nejsou dostatečně odděleny od vlastního textu autora, což může být pro čtenáře matoucí (např. str. 27).

70
Práce s literaturou

Seznam použité literatury není příliš rozsáhlý a zdroje jsou v textu práce citovány spíše ojediněle. Podle jedné citace na začátku se zdá, že téměř celá část popisující jazykové modely čerpá z jediného zdroje [10], což zřejmě odpovídá realitě, explicitně deklarováno to ale není. Původ informací např. v kapitole 2.1.2 tak lze jen odhadovat.

60
Realizační výstup

Realizačním výstupem jsou skripty umožňující konfiguraci několika volně dostupných jazykových modelů, webová aplikace umožňující interakci s těmito modely a provedené experimenty. Také jsou odevzdány datové soubory s výsledky provedených experimentů. Ačkoliv co do rozsahu programového kódu se nejedná o příliš rozsáhlý výsledek, vzhledem k experimentální povaze použitých modelů a nástrojů a jejich časové i prostorové náročnosti lze konstatovat, že student zde odvedl velký kus práce. Výsledný nástroj je funkční a dává výsledky popsané v technické zprávě. Bohužel vlastní kód je velmi málo komentovaný a postrádám jakýkoliv návod nebo dokumentaci, která by umožnila vytvořené nástroje zprovoznit i dalším uživatelům.

78
Využitelnost výsledků

Práce je experimentálního charakteru, dosažené výsledky ale mají praktický potenciál v podpoře uživatelů informačního systému.

Náročnost zadání

Evaluation level: obtížnější zadání

Zadání předpokládá využití velkých jazykových modelů pro poskytování nápovědy při konfiguraci rozsáhlého informačního systému. Zadání hodnotím jako obtížnější vzhledem k nutně rozsáhlejší studijní etapě , která zahrnovala jak principy různých jazykových modelů, tak i praktické aspekty jejich nasazení a související nástroje.

Topics for thesis defence:
  1. Bylo v praktické aplikaci nakonec využito vektorové úložiště zmiňované v kapitole 5.2.2? Pokud ano, jaké a jakým způsobem?
Points proposed by reviewer: 70
Display more

Grade proposed by reviewer: C