bakalářská práce

Implementace rozpoznávání gest na ARM jako alternativa tradičního ovládání zařízení

Text práce 4.34 MB

Autor práce: Bc. Richard Gajdošík

Ak. rok: 2023/2024

Vedoucí: Ing. Radek Kočí, Ph.D.

Oponent: doc. Ing. František Zbořil, Ph.D.

Abstrakt:

Cieľom tejto bakalárskej práce je vývoj a implementácia systému na rozpoznávanie gest s využitím architektúry ARM, konkrétne s použitím dosky i.MX 93 a TensorFlow Lite. Projekt sa zameriava na aplikáciu neurónových sietí pre rozpoznávanie gest rúk, čím poskytuje alternatívu k tradičným metódam ovládania zariadení. Dôležitou súčasťou práce je rozsiahla analýza existujúcich riešení rozpoznávania gest, zameraná na identifikáciu ich silných stránok a možných vylepšení. Práca detailne opisuje proces navrhovania, vývoja a optimalizácie modelu na rozpoznávanie gest v reálnom čase, špeciálne prispôsobeného pre čipy ARM s dôrazom na efektivitu a výkon. Okrem toho práca aj obsahuje vytvorenie demonštračnej aplikácie, ktorá vizuálne reprezentuje rozpoznané gestá. Užívateľské testovanie je uskutočnené na hodnotenie praktickosti a užívateľského zážitku systému rozpoznávania gest, čo poskytuje cennú spätnú väzbu pre budúce vylepšenia.

Klíčová slova:

i.MX 93, TensorFlow Lite, Strojové učenie, Rozpoznávanie gest, Vstavané systémy, ARM Architektúra, Hlboké učenie, Neurónové siete, Spracovanie obrazu, Inferencia v reálnom čase

Termín obhajoby

12.06.2024

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaBznamka

Klasifikace

B

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Otázky k obhajobě

  1. Na základě čeho jste zvolil právě systémy MobileNetV2’s a Efficient Det?
  2. Jakých výsledků a úspěšností dosahuje navržený systém?
  3. Jak probíhala evaluace a jak se počítaly jednotlivé metriky?
  4. Jaké prostředky byly použity pro vývoj nástroje?

Jazyk práce

angličtina

Fakulta

Fakulta informačních technologií

Ústav

Ústav inteligentních systémů

Studijní program

Informační technologie (BIT)

Složení komise

doc. Ing. Lukáš Burget, Ph.D. (předseda)
Ing. Radek Kočí, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Jiří Hynek, Ph.D. (člen)
Ing. Lukáš Kekely, Ph.D. (člen)

Posudek vedoucího
Ing. Radek Kočí, Ph.D.

Student odvedl velmi dobrou práci, během řešení komunikoval a konzultoval problémy. Prokázal schopnost samostatné práce.


Přikládám vyjádření odborného konzultanta: Student byl při vypracovávání své závěrečné práce zaměřený na výsledek a vždy zapracoval, co jsme mu poradili a na čem jsme se dohodli. Když se objevila překážka, snažil se ihned prozkoumat několik možných variant, jak se posunout dále. Nakonec úspěšně vytvořil samostatně fungující embedded aplikaci, kterou bude možné využívat i v dalších komplexnějších řešeních. Plánujeme další spolupráci na těchto konkrétních řešeních.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

Téma práce byla vypsána společně s firmou NXP. Cílem bylo demonstrovat možnosti ARM čipů v aplikacích, která využívají gesta pro ovládání. Náročnost zadání spočívá především v experimentech, které je nutné provést pro úspěšné řešení. Zadání bylo studentem splněno.
Práce s literaturou

Student využil doporučenou literaturu, další zdroje vyhledával sám.
Aktivita během řešení, konzultace, komunikace

Komunikace s odborným konzultantem byla bezproblémová, konzultace probíhaly pravidelně a student byl vždy připraven a aktivní.  S pedagogickým vedoucím nebyla komunikace během řešení tak častá, což vzhledem k charakteru práce nevadí. O postupu jsem byl průběžně informován.
Aktivita při dokončování

Student konzultoval s pedagogickým vedoucím závěrečnou podobu práce s dostatečným předstihem.
Publikační činnost, ocenění
Výsledný počet bodů navržený vedoucím: 85
Zobrazit více

Známka navržená vedoucím: B

Posudek oponenta
doc. Ing. František Zbořil, Ph.D.

Mé hodnocení práce je založeno převážně na výsledné realizaci. Menší nedostatky v předložeeném textu překonává funkční a zdařile provedený ARM systém pro rozpoznávání gest.

Kritérium hodnocení Slovní hodnocení Body
Náročnost zadání

Stupeň hodnocení: průměrně obtížné zadání

Tématem práce bylo vytvořit systém pro rozpoznávání gest pro ARM systémy. Zadání vyžadovalo nelézt způsob, jak takový systém vytvořit a optimalizovat jej právě pro ARM. Náročnost hodnotím jako průměrnou.
Prezentační úroveň technické zprávy

Celkově text práce přináší přehledný a dostatečný popis toho, co bylo v rámci bakalářské práce učiněno. Práce představuje oblasti umělé inteligence a strojového učení. Dále student volí dva systémy pro detekci gest. Přestože píše, že správná volba je důležitá, proč právě tyto dva systémy vybral neuvádí. Na rozdílu od Mobile Net V2  systém Efficient Det, který je ve výsledk tím, který je nasazen pro ARM, blíže nerozebírá, jen konstatuje, že je pro tento problém vhodný. Dále text popisuje hardwarové a softwarové prostředky, které byly použity, diskutuje, jaké problémy nastaly zejména při pokusu upravit Mobile Net pro ARM a na závěr diskutuje výsledky. Co bych vytkl je ne zcela logické uspořádání jednotliivých částí. Dále v části popisující softwarové řešení je velké množství ukázek kódu, které jsou podle mého názoru zbytečné. Také smsysl zvláštních sekcí o ztrátové funkcí (2.5) nebo o epochách a dávkovém zpracování (3.4.1) mi příjdou zbytečné (tedy to, že pro tyto problémy byly vytvořený speciální sekce). Jinak ovšem práci považuji za nadprůměrnou.

 80
Formální úprava technické zprávy

Formální úprava práce je velmi dobrá, nenalezl jsem prohřešky proti jazyku, nakolik můžu angličtinu posoudit. Formu uvádění ukázek kódu s vesměs krátkým úvodním komentářem jsem již zahrnul do hodnocení výše.

 90
Realizační výstup

Výsledkem je funkční a pěkně realizovaný systém pro rozpoznávání gest. I když jeho úspěšnost není stoprocentní, vzhledem k použitým prostředkům (dle zadání) a jejich omezením dosáhl student téměř maxima možného.

 99
Využitelnost výsledků

Mám za to, že tento systém by mohl být nasazen tak jak je, nebo po menších úpravách, do běžného provozu.
Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno

Student se s tématem vypořádal zdařile a výsledkem je funkční systém pro rozpoznávání gest běžící na ARM. Student zvolil dca systémy, neuronovou síť Mobile Net V2 a systém Efficient Det. Druhý ze systému se podařilo umístit na ARM platformu. 
Rozsah technické zprávy

Stupeň hodnocení: je v obvyklém rozmezí
Práce s literaturou

Student uvádí celkem 57 pramenů, což je na bakalářskou práci poměrně vysoké číslo. Tyto prameny jsou v praci řádně citovány. Otázkou je, zdali všechny zdroje byly nezbytné a podstatné pro vznik této práce, ale věřím, že pro použití každěho z nich měl student důvod.

 92
Otázky k obhajobě:
  1. Na základě čeho jste zvolil právě systémy MobileNetV2’s a Efficient Det?
Výsledný počet bodů navržený oponentem: 90
Zobrazit více

Známka navržená oponentem: A