1. Etapa průzkum možností fúze a příprava prvotního souboru postupů 1. 7. 2022 30.11.2022 Prozkoumání možnosti zpracování fúze kamerových dat (obraz) a senzorových dat získaných z 3D radarového senzoru (point cloud) a zpracování postupů pro takovou fúzi dat. Cílem je zejména: Připravit ve spolupráci s CAMEA (a další spolupracující firmou COGNITECHNA) dataset dopravních scén s obrazovými a radarovými daty i s anotacemi (nejméně 500 záběrů). Připravit strukturu neuronové sítě a připravit vstupní data tak, aby byla se sítí kompatibilní s cílem analýzy dat pro detekci objektů, jejich klasifikaci a kategorizaci. Připravit algoritmy realizující analýzu dat neuronovou sítí (typu CNN), vybrat pro tento software vhodnou knihovnu pro běh ve smart camera systému CAMEA (na bázi Intel Atom). Experimentálně realizovat prvotní verzi konfiguraci sítě a ověřit kompatibilitu a základní funkčnost (například na detekci vozidel). 2. Etapa optimalizace fúze a zpracování ověřeného souboru postupů 1. 12. 2022 31.5.2023 Optimalizace parametrů fúze a dodání aktualizované verze příslušného souboru postupů pro fúzi obrazu a 3D dat (point cloud). Cílem je zejména: Optimalizovat samotný postup detekce tak, aby detekoval objekty v dopravě se spolehlivostí alespoň 90% (přesné metriky a kategorie objektů budou upřesněny v průběhu 1. etapy). Zrychlit detekci tak, aby na smart camera systému probíhala detekce v reálném čase (rychleji, než je proud objektů, přesné parametry budou upřesněny v 1. etapě). Připravit postupy realizující analýzu dat neuronovou sítí a připravit ji pro provoz jak na nasbíraném datasetu, tak i v podmínkách reálného vstupu dat. Ověřit připravený optimalizovaný software v laboratorních podmínkách blížících se reálnému provozu (z pohledu algoritmů a toku dat, nikoli nutně v nasazení přímo v silničním provozu).

Popis anglicky
1. Stage of exploring the possibilities of merger and preparation of the initial set of procedures 1. 7. 2022 30.11.2022 Exploring the possibility of processing the fusion of camera data (image) and sensor data obtained from a 3D radar sensor (point cloud) and processing procedures for such data fusion. The aim is in particular: Prepare, in cooperation with CAMEA (and another cooperating company COGNITECHNA), a dataset of traffic scenes with image and radar data as well as with annotations (at least 500 shots). Prepare the structure of the neural network and prepare the input data so that it is compatible with the network for the purpose of data analysis for object detection, classification and categorization. Prepare algorithms implementing data analysis by neural network (CNN type), select a suitable library for this software to run in the smart camera system CAMEA (based on Intel Atom). Experimentally implement the initial version of the network configuration and verify compatibility and basic functionality (for example, on vehicle detection). 2. Stage of merger optimization and processing of a verified set of procedures 1. 12. 2022 31.5.2023 Optimization of fusion parameters and delivery of an updated version of the relevant set of procedures for image and 3D data fusion (point cloud). The aim is in particular: Optimize the detection procedure itself so that it detects objects in traffic with a reliability of at least 90% (exact metrics and categories of objects will be specified during the 1st stage). Accelerate detection so that real-time detection takes place on the smart camera system (faster than the flow of objects, the exact parameters will be specified in the 1st stage). Prepare procedures implementing data analysis by neural network and prepare it for operation both on the collected dataset and in the conditions of real data entry. Verify the prepared optimized software in laboratory conditions close to real traffic (from the point of view of algorithms and data flow, not necessarily in deployment directly in road traffic).

Klíčová slova
inteligentní senzor, radar, edge computing, cloud computing

Klíčová slova anglicky
intelligent sensor, radar, edge computing, cloud computing

čeština

Hajduk Petr, Ing. - hlavní řešitel
Kula Michal, Ing., Ph.D. - spoluřešitel
Nesvedová Šárka - spoluřešitel

Fakulta informačních technologií
- odpovědné pracoviště (2.3.2022 - nezadáno)
CAMEA, spol. s r. o.
- objednatel (2.3.2022 - 31.5.2023)
Fakulta informačních technologií
- příjemce (2.3.2022 - 31.5.2023)

Odpovědnost: Hajduk Petr, Ing.