As machine learning (ML) technology penetrates embedded devices, a new class of design automation algorithms capable of generating hardware-aware implementations of ML algorithms is highly desired. In addition, a lot of effort is now invested in developing explainable ML. We hypothesize that the design time of hardware-aware implementations of ML systems showing additional properties (such as explainable behavior) can be substantially reduced if the used design automation algorithms employ suitable surrogate models for estimating the accuracy, hardware parameters, and other desired properties. In addition to developing suitable surrogate models, we will create a new method based on genetic programming for the automated design of highly-optimized ML models showing excellent trade-offs among the quality of service, hardware parameters, and explainability. The design method and ML models automatically generated by the method will be evaluated in case studies, including image classifiers, Parkinson's disease assessment, and command classifiers of brain signals.

Popis česky
Vzhledem k tomu, že technologie strojového učení (ML) proniká do vestavěných zařízení, je žádoucí vytvořit novou třídu algoritmů pro automatizaci návrhu, která by byla schopna generovat hardwarově orientované implementace algoritmů ML. Kromě toho je dnes investováno velké úsilí do vývoje vysvětlitelného ML. Předpokládáme, že dobu návrhu hardwarových implementací ML systémů vykazujících další vlastnosti (např. vysvětlitelné chování) lze podstatně zkrátit, pokud použité algoritmy automatizace návrhu využijí vhodné náhradní modely pro odhad přesnosti, hardwarových parametrů a dalších vlastností. Kromě vývoje vhodných náhradních modelů vytvoříme novou metodu založenou na genetickém programování pro automatizovaný návrh vysoce optimalizovaných ML modelů vykazujících vynikající kompromisy mezi kvalitou výstupu, hardwarovými parametry a vysvětlitelností. Návrhová metoda a ML modely automaticky generované touto metodou budou vyhodnoceny v případových studiích zahrnujících klasifikátory obrazu, hodnocení Parkinsonovy nemoci a klasifikátory příkazů ze signálů vytvářených mozkem.

Klíčová slova
evolutionary algorithm;approximate computing;deep neural network;machine learning;hardware accelerator;explainability;design automation;

Klíčová slova česky
evoluční algoritmus;aproximativní počítání;hluboká neuronová síť;strojové učení;hardwarový akcelerátor;vysvětlitelnost;automatizace návrhu;

GA24-10990S

angličtina

Sekanina Lukáš, prof. Ing., Ph.D. - hlavní řešitel
Drahošová Michaela, Ing., Ph.D. - spoluřešitel
Hurta Martin, Ing. - spoluřešitel
Malik Aamir Saeed, prof., Ph.D. - spoluřešitel
Mrázek Vojtěch, Ing., Ph.D. - spoluřešitel
Piňos Michal, Ing. - spoluřešitel
Vašíček Zdeněk, doc. Ing., Ph.D. - spoluřešitel
Zaheer Muhammad Asad - spoluřešitel

Ústav počítačových systémů
- odpovědné pracoviště (21.3.2023 - nezadáno)
Výzkumná skupina Evolvable Hardware
- interní (21.3.2023 - 31.12.2026)
Ústav počítačových systémů
- příjemce (21.3.2023 - 31.12.2026)

SEKANINA, L. Tutorial: Evolutionary Design Methods in Electronic Design Automation. In IEEE 42nd International Conference on Computer Design (ICCD). Milano: IEEE Computer Society, 2024. p. 689-690. ISBN: 979-8-3503-8040-8.
Detail

SEKANINA, L.; JŮZA, T. Genetic Programming with Memory for Approximate Data Reconstruction. In Genetic Programming Theory and Practice XXI. Singapore: Springer Nature Singapore, 2025. p. 199-218. ISBN: 978-981-9600-76-2.
Detail

ARIF, M.; REHMAN, F.; SEKANINA, L.; MALIK, A. A comprehensive survey of evolutionary algorithms and metaheuristics in brain EEG-based applications. Journal of Neural Engineering, 2024, vol. 21, no. 5, p. 1-25. ISSN: 1741-2552.
Detail

PIŇOS, M.; SEKANINA, L.; MRÁZEK, V. ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers. In 2024 The International Joint Conference on Neural Networks (IJCNN). Yokohama: Institute of Electrical and Electronics Engineers, 2024. p. 1-8. ISBN: 979-8-3503-5931-2.
Detail

VAŠÍČEK, Z.; MRÁZEK, V.; SEKANINA, L. Automated Verifiability-Driven Design of Approximate Circuits: Exploiting Error Analysis. In 2024 Design, Automation & Test in Europe Conference & Exhibition (DATE). Valencia: Institute of Electrical and Electronics Engineers, 2024. p. 1-6. ISBN: 979-8-3503-4859-0.
Detail

KLHŮFEK, J.; ŠAFÁŘ, M.; MRÁZEK, V.; VAŠÍČEK, Z.; SEKANINA, L. Exploiting Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators. In 2024 27th International Symposium on Design & Diagnostics of Electronic Circuits & Systems (DDECS). Kielce: Institute of Electrical and Electronics Engineers, 2024. p. 1-6. ISBN: 979-8-3503-5934-3.
Detail

JAWED, S.; FAYE, I.; MALIK, A. Deep learning-based assessment model for Real-time identification of visual learners using Raw EEG. IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, 2024, vol. 32, no. 1, p. 378-390. ISSN: 1558-0210.
Detail

Odpovědnost: Sekanina Lukáš, prof. Ing., Ph.D.