Detail projektu

Topografická analýza obrazu s využitím metod hlubokého učení

Období řešení: 01.07.2019 — 30.06.2022

Zdroje financování

Ministerstvo školství, mládeže a tělovýchovy ČR - INTER-EXCELLENCE - Podprogram INTER-ACTION

- plně financující (2019-07-01 - 2022-06-30)

O projektu

Projekt se zaměřuje na aktuální problémy počítačového vidění, zejména na vizuální lokalizaci v přírodním prostředí. Vizuální lokalizace kamery ve venkovním prostředí není v současnosti vyřešeným problémem, přestože nabízí celou řadu atraktivních aplikací od automatického porozumění obrazu, přes aplikace rozšířené reality až po navigaci samořiditelných vozidel a letounů. Projekt si klade za cíl výzkum nových metod pro lokalizaci kamery založených na registraci (angl. matching) multimodálních dat, zejména fotografické informace, syntetických (angl. rendered) obrazů, hloubkové informace a terénních modelů s využitím aktuálních metod strojového učení, zejména hlubokých neuronových sítí (DNN). Vedle využití terénních dat ve formě grafických modelů bude zkoumána také alternativa predikce hloubkové informace ze vstupní fotografie. Skupina CPhoto@FIT (mailto:CPhoto@FIT) se dlouhodobě daným problémem zabývá a do projektu přináší hluboké zkušenosti výzkumné i aplikační, izraelskému partnerovi dále nabízí unikátní datové sady nepostradatelné pro trénování DNN.

Popis anglicky
The project focuses on the current problems of computer vision, especially on visual localization in the natural environment. The visual location of the camera in the outdoor environment is not a fixed issue today, although it offers a wide range of attractive applications from automatic image comprehension, to expanded reality applications to navigation of self-governing vehicles and airplanes. The project aims to research new methods for locating cameras based on the multimodal data registration, especially photographic information, synthetic rendered images, depth information and field models using current machine learning methods, especially deep neural networks (DNN). In addition to the use of terrain data in the form of graphical models, an alternative of predictive depth information from an input photograph will be explored. The CPhoto @ FIT Group has been dealing with the long-standing problem and has deep experience in research and application. The Israeli partner also offers unique data sets indispensable for DNN training.

Klíčová slova
image geo-lokalizace, topografické informace, registrace obrazu, hluboké učení, počítačové vidění

Klíčová slova anglicky
image geo-localization, topographic information, image registration, deep-learning, computer vision

Označení

LTAIZ19004

Originální jazyk

čeština

Řešitelé

Čadík Martin, doc. Ing., Ph.D. - hlavní řešitel
Brejcha Jan, Ing., Ph.D. - spoluřešitel
Lysek Tomáš, Ing. - spoluřešitel
Polášek Tomáš, Ing. - spoluřešitel
Tomešek Jan, Ing. - spoluřešitel

Útvary

Ústav počítačové grafiky a multimédií
- příjemce (23.01.2019 - 30.06.2022)

Výsledky

BREJCHA, J.; LUKÁČ, M.; HOLD-GEOFFROY, Y.; WANG, O.; ČADÍK, M. LandscapeAR: Large Scale Outdoor Augmented Reality by Matching Photographs with Terrain Models Using Learned Descriptors. In Computer Vision - ECCV 2020. Lecture Notes in Computer Science. Cham: Springer Nature Switzerland AG, 2020. p. 295-312. ISBN: 978-3-030-58525-9.
Detail

BOBÁK, P.; ČMOLÍK, L.; ČADÍK, M. Temporally Stable Boundary Labeling for Interactive and Non-Interactive Dynamic Scenes. COMPUTERS & GRAPHICS-UK, 2020, vol. 91, no. 10, p. 265-278. ISSN: 0097-8493.
Detail

TOMEŠEK, J.; ČADÍK, M.; BREJCHA, J. CrossLocate: Cross-Modal Large-Scale Visual Geo-Localization in Natural Environments using Rendered Modalities. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa: Institute of Electrical and Electronics Engineers, 2022. p. 2193-2202. ISBN: 978-1-6654-0477-8.
Detail

POLÁŠEK, T.; ČADÍK, M.; KELLER, Y.; BENEŠ, B. Vision UFormer: Long-Range Monocular Absolute Depth Estimation. COMPUTERS & GRAPHICS-UK, 2023, vol. 111, no. 4, p. 180-189. ISSN: 0097-8493.
Detail

RAJASEKARAN, S.; KANG, H.; ČADÍK, M.; GALIN, E.; GUÉRIN, E.; PEYTAVIE, A.; SLAVÍK, P.; BENEŠ, B. PTRM: Perceived Terrain Realism Metric. ACM Transactions on Applied Perception, 2022, vol. 19, no. 2, p. 1-22. ISSN: 1544-3558.
Detail

BOBÁK, P.; ČMOLÍK, L.; ČADÍK, M. Reinforced Labels: Multi-Agent Deep Reinforcement Learning for Point-Feature Label Placement. IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2023, p. 1-14. ISSN: 1077-2626.
Detail

AHMAD, T.; EMAMI, E.; ČADÍK, M.; BEBIS, G. Resource Efficient Mountainous Skyline Extraction using Shallow Learning. In Proceedings of the International Joint Conference on Neural Networks (IJCNN). Hoffman Estates: Institute of Electrical and Electronics Engineers, 2021. p. 1-9. ISBN: 978-1-6654-3900-8.
Detail

POLÁŠEK, T.; HRŮŠA, D.; BENEŠ, B.; ČADÍK, M. ICTree: Automatic Perceptual Metrics for Tree Models. ACM TRANSACTIONS ON GRAPHICS, 2021, vol. 40, no. 6, p. 1-15. ISSN: 0730-0301.
Detail

LUKÁČ, M.; WANG, O.; BREJCHA, J.; HOLD-GEOFFROY, Y.; ČADÍK, M.; Adobe VUT Brno: Large-scale outdoor augmented reality scenes using camera pose based on learned descriptors. US11568642B2, patent. (2023)
Detail

TOMEŠEK, J.; ČADÍK, M.; BREJCHA, J.: CrossLocate; CrossLocate: Cross-Modal Large-Scale Visual Geo-Localization in Natural Environments using Rendered Modalities. https://github.com/JanTomesek/CrossLocate. URL: https://github.com/JanTomesek/CrossLocate. (software)
Detail

ČADÍK, M.; POLÁŠEK, T.: ICTree; ICTree: Automatic Perceptual Metric for Tree Models. http://cphoto.fit.vutbr.cz/ictree/. URL: http://cphoto.fit.vutbr.cz/ictree/. (software)
Detail

BREJCHA, J.; ČADÍK, M.: ITR; Immersive Trip Reports. https://github.com/brejchajan/itr. URL: https://github.com/brejchajan/itr. (software)
Detail

BREJCHA, J.; ČADÍK, M.: LandscapeAR; LandscapeAR. https://github.com/brejchajan/LandscapeAR. URL: https://github.com/brejchajan/LandscapeAR. (software)
Detail

Odkaz

http://cadik.posvete.cz/locate/

Odpovědnost: Čadík Martin, doc. Ing., Ph.D.