Mnohé počítačové systémy mohou být chápány jako (semi-)autonomní agenti, kteří interagují se svým prostředím. Chování těchto agentů je řízeno pomocí tzv. kontrolerů, které musí nezbytně brát do úvahy různé formy neurčitosti pramenící zejména z nepredikovatelného chování prostředí a z nepřesnosti dat, které sbírají o svém stavu. Existuje několik přístupů pro automatizovaný návrh kontrolerů, ale jejich reálné nasazení je limitované buď omezenou škálovatelností nebo zárukami, které mohou poskytnout na bezpečnost výsledných kontrolerů: formální metody se typicky soustředí na bezpečnost zatímco metody strojové učení na škálovatelnost. Cílem tohoto projektu je vývoj teoretických základů a syntetizačních algoritmů, které dovolí redukovat tyto limity a tak zásadně zlepšit aplikovatelnost automatizovaného návrhu kontrolerů. Hlavní vizí projektu je adaptovat, dále vyvinout a synergicky integrovat nově vznikající paradigmata: induktivní syntézu, která vylepšuje škálovatelnost formálních metod a risk-aware učení, které vylepšuje garance bezpečnosti výsledných kontrolerů.

Description in English
Many modern computing systems can be seen as (semi)-autonomous agents interacting with their environment. The agent's behaviour is determined by a controller that necessarily needs to deal with uncertainties including unpredictability of the environment and the imprecision of data gathered about its current state. There exists a multitude of approaches to automated controller design, however, they all tackle the safety-scalability gap: scalability limits the complexity of the problems that can be handled and safety ensures that agent operates in a safe and interpretable way. There are two principal approaches: formal methods prioritize safety and reinforcement learning prioritizes scalability. The project aims at developing theoretical foundation and synthesis algorithms that reduce this gap and thus improve their practical applicability. The key idea is to adapt, further develop and synergically integrate two emerging paradigms:  inductive synthesis improving the scalability of correct-by-construction design techniques and risk-aware learning improving the safety guarantees.

Keywords
Řízení agentů v nejistém prostředí; automatizovaný návrh systémů; bezpečnost a škálovatelnost; induktivní syntéza; zpětnovazebné učení; risk-aware učení;

Key words in English
Decision making under uncertainty; controller design; safety and scalalbility; inductive synthesis; reinforcement learning, risk-aware learning;

GA23-06963S

Czech

Češka Milan, doc. RNDr., Ph.D. - principal person responsible
Andriushchenko Roman, Ing. - fellow researcher
Gaďorek Petr, Ing. - fellow researcher
Hudák David, Ing. - fellow researcher
Macák Filip, Ing. - fellow researcher
Malásková Věra - fellow researcher
Mrázek Vojtěch, Ing., Ph.D. - fellow researcher
Nesvedová Šárka - fellow researcher
Oravcová Marcela, Ing. - fellow researcher
Paulíková Barbora, Mgr. - fellow researcher
Štanclová Eva - fellow researcher
Štursová Markéta, Ing. - fellow researcher
Ventrubová Hana - fellow researcher

Department of Intelligent Systems
- responsible department (24.3.2022 - not assigned)
Automata@FIT
- internal (24.3.2022 - 31.12.2025)
Department of Intelligent Systems
- beneficiary (24.3.2022 - 31.12.2025)

MACÁK, F.; ANDRIUSHCHENKO, R.; ČEŠKA, M.; JUNGES, S.; KATOEN, J. An Oracle-Guided Approach to Constrained Policy Synthesis Under Uncertainty. JOURNAL OF ARTIFICIAL INTELLIGENCE RESEARCH, 2025, vol. 2025, no. 82, p. 433-469. ISSN: 1076-9757.
Detail

ČEŠKA, M.; ANDRIUSHCHENKO, R.; ARND, H.; JUNGES, S.; KŘETÍNSKÝ, J. Tools at the Frontiers of Quantitative Verification: QComp 2023 Competition Report. In International TOOLympics Challenge. Lecture Notes in Computer Science. Cham: Springer Nature Switzerland AG, 2024. p. 90-146. ISBN: 978-3-031-67694-9.
Detail

ANDRIUSHCHENKO, R.; ČEŠKA, M.; MACÁK, F.; JUNGES, S. Policies Grow on Trees: Model Checking Families of MDPs. Proceeding of 22nd International Symposium on Automated Technology for Verification and Analysis. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Cham: Springer Verlag, 2025. p. 51-75. ISBN: 978-3-031-78749-2.
Detail

ANDRIUSHCHENKO, R.; BARTOCCI, E.; ČEŠKA, M.; FRANCESCO, P.; SARAH, S. Deductive Controller Synthesis for Probabilistic Hyperproperties. In Quantitative Evaluation of SysTems. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Cham: Springer Verlag, 2023. p. 288-306. ISBN: 978-3-031-43834-9.
Detail

ANDRIUSHCHENKO, R.; ALEXANDER, B.; ČEŠKA, M.; JUNGES, S.; KATOEN, J.; MACÁK, F. Search and Explore: Symbiotic Policy Synthesis in POMDPs. In Computer Aided Verification. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Cham: Springer Verlag, 2023. p. 113-135. ISBN: 978-3-031-37708-2.
Detail

Responsibility: Češka Milan, doc. RNDr., Ph.D.