Detail projektu

AppNeCo: Aproximativní neurovýpočty

Období řešení: 01.01.2022 — 31.12.2024

Zdroje financování

Grantová agentura České republiky - Standardní projekty

- částečně financující (2022-01-01 - 2024-12-31)

O projektu

V současnosti jsou v zařízeních s omezenými zdroji (např. mobilní telefony napájené baterií) implementovány moderní technologie umělé inteligence založené na hlubokých neuronových sítích, jejichž výpočet je náročný na spotřebu energie. V aplikacích tolerantních vůči chybám (např. klasifikace obrazu) může použití metod aproximativního počítání ušetřit ohromné množství energii za cenu jen malé ztráty přesnosti. AppNeCo je projektem základního výzkumu aproximativních neurovýpočtů, jehož ambicí je originální synergie teorie aproximace a složitosti neuronových sítí a empirické zkušenosti se špičkovým návrhem výkonných aproximativních implementací hardwarových obvodů. Jeho cílem je rozvoj složitostně-teoretických základů aproximativních výpočtů konvolučních neuronových sítí (CNN) omezené energetické složitosti pro aplikační domény specifikované distribucemi vstupního prostoru. Tyto poznatky budou použity při návrhu nových strategií aproximace komponent a učících algoritmů nízkoenergetických, vysoce přesných CNN. Nové metody budou testovány na úlohách zpracování obrazu.

Popis anglicky
Nowadays, modern AI technologies based on deep neural networks, whose computation is demanding on energy consumption, are implemented in devices with limited resources (e.g. battery powered cellphones). In error-tolerant applications (e.g. image classification), the use of approximate computing methods can save enormous amount of energy at the cost of only a small loss in accuracy. AppNeCo is a basic research project of approximate neurocomputing, whose ambition is an original synergy of approximation and complexity theory of neural networks and empirical experience with the top design of high-performance approximate implementations of hardware circuits. Its goal is to develop complexity-theoretic foundations of approximate computation by convolutional neural networks (CNN) of bounded energy complexity for application domains specified by input space distributions. This knowledge will be used in designing new strategies for approximating components and learning algorithms of low-energy high-precision CNNs. The new methods will be tested on image processing tasks.

Klíčová slova
aproximativní počítání,konvoluční sítě,energetická složitost,robustní učení,hardwarový akcelerátor,klasifikace obrazu

Klíčová slova anglicky
approximate computing,convolutional networks,energy complexity,robust learning,hardware accelerator,image classification

Označení

GA22-02067S

Originální jazyk

čeština

Řešitelé

Sekanina Lukáš, prof. Ing., Ph.D. - hlavní řešitel
Klhůfek Jan, Ing. - spoluřešitel
Mrázek Vojtěch, Ing., Ph.D. - spoluřešitel
Vašíček Zdeněk, doc. Ing., Ph.D. - spoluřešitel

Útvary

Ústav počítačových systémů
- spolupříjemce (06.04.2021 - 31.12.2024)
Ústav informatiky AV ČR, v.v.i.
- příjemce (06.04.2021 - 31.12.2024)

Výsledky

KLHŮFEK, J.; MRÁZEK, V. ArithsGen: Arithmetic Circuit Generator for Hardware Accelerators. In 2022 25th International Symposium on Design and Diagnostics of Electronic Circuits and Systems (DDECS '22). Prague: Institute of Electrical and Electronics Engineers, 2022. p. 44-47. ISBN: 978-1-6654-9431-1.
Detail

KOCNOVÁ, J.; VAŠÍČEK, Z. Delay-aware evolutionary optimization of digital circuits. In Proceedings of IEEE Computer Society Annual Symposium on VLSI, ISVLSI. Nicosia, Cyprus: IEEE Computer Society, 2022. p. 188-193. ISBN: 978-1-6654-6605-9.
Detail

MARCHISIO, A.; MRÁZEK, V.; MASSA, A.; BUSSOLINO, B.; MARTINA, M.; SHAFIQUE, M. RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks. IEEE Access, 2022, vol. 2022, no. 10, p. 109043-109055. ISSN: 2169-3536.
Detail

VÁLEK, M.; SEKANINA, L. Evolutionary Approximation in Non-Local Means Image Filters. In 2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC). Praha: Institute of Electrical and Electronics Engineers, 2022. p. 2759-2766. ISBN: 978-1-6654-5258-8.
Detail

PIŇOS, M.; MRÁZEK, V.; SEKANINA, L. Prediction of Inference Energy on CNN Accelerators Supporting Approximate Circuits. In 2023 26th International Symposium on Design and Diagnostics of Electronic Circuits and Systems. Talinn: Institute of Electrical and Electronics Engineers, 2023. p. 45-50. ISBN: 979-8-3503-3277-3.
Detail

VAŠÍČEK, Z. Automated Synthesis of Commutative Approximate Arithmetic Operators. In 2024 IEEE Congress on Evolutionary Computation, CEC 2024 - Proceedings. Yokohama: IEEE Computer Society, 2024. p. 1-8. ISBN: 979-8-3503-0836-5.
Detail

KALKREUTH, R.; VAŠÍČEK, Z.; HUSA, J.; VERMETTEN, D.; YE, F.; THOMAS, B. General Boolean Function Benchmark Suite. In FOGA 2023 - Proceedings of the 17th ACM/SIGEVO Conference on Foundations of Genetic Algorithms. Potsdam: Association for Computing Machinery, 2023. p. 84-95. ISBN: 979-8-4007-0202-0.
Detail

ŠÍMA, J.; VIDNEROVÁ, P.; MRÁZEK, V. Energy Complexity Model for Convolutional Neural Networks. In Artificial Neural Networks and Machine Learning - ICANN 2023: 32nd International Conference on Artificial Neural Networks. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Heraklion: 2023. p. 186-198. ISBN: 978-3-031-44203-2.
Detail

KALKREUTH, R.; VAŠÍČEK, Z.; HUSA, J.; VERMETTEN, D.; YE, F.; THOMAS, B. Towards a General Boolean Function Benchmark Suite. In GECCO 2023 Companion - Proceedings of the 2023 Genetic and Evolutionary Computation Conference Companion. New York: Association for Computing Machinery, 2023. p. 591-594. ISBN: 979-8-4007-0120-7.
Detail

ŠÍMA, J.; MRÁZEK, V.; VIDNEROVÁ, P. Energy Complexity of Convolutional Neural Networks. NEURAL COMPUTATION, 2024, vol. 36, no. 8, p. 1601-1625. ISSN: 0899-7667.
Detail

SEDLÁČEK, M.; SEKANINA, L. Evolution of Editing Scripts From Examples. In Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO '23). Lisbon: Association for Computing Machinery, 2023. p. 803-806. ISBN: 979-8-4007-0120-7.
Detail

Odpovědnost: Sekanina Lukáš, prof. Ing., Ph.D.