Project detail

Deep-Learning Approach to Topographical Image Analysis

Duration: 01.07.2019 — 30.06.2022

Funding resources

Ministerstvo školství, mládeže a tělovýchovy ČR - INTER-EXCELLENCE - Podprogram INTER-ACTION

- whole funder (2019-07-01 - 2022-06-30)

On the project

Projekt se zaměřuje na aktuální problémy počítačového vidění, zejména na vizuální lokalizaci v přírodním prostředí. Vizuální lokalizace kamery ve venkovním prostředí není v současnosti vyřešeným problémem, přestože nabízí celou řadu atraktivních aplikací od automatického porozumění obrazu, přes aplikace rozšířené reality až po navigaci samořiditelných vozidel a letounů. Projekt si klade za cíl výzkum nových metod pro lokalizaci kamery založených na registraci (angl. matching) multimodálních dat, zejména fotografické informace, syntetických (angl. rendered) obrazů, hloubkové informace a terénních modelů s využitím aktuálních metod strojového učení, zejména hlubokých neuronových sítí (DNN). Vedle využití terénních dat ve formě grafických modelů bude zkoumána také alternativa predikce hloubkové informace ze vstupní fotografie. Skupina CPhoto@FIT (mailto:CPhoto@FIT) se dlouhodobě daným problémem zabývá a do projektu přináší hluboké zkušenosti výzkumné i aplikační, izraelskému partnerovi dále nabízí unikátní datové sady nepostradatelné pro trénování DNN.

Description in English
The project focuses on the current problems of computer vision, especially on visual localization in the natural environment. The visual location of the camera in the outdoor environment is not a fixed issue today, although it offers a wide range of attractive applications from automatic image comprehension, to expanded reality applications to navigation of self-governing vehicles and airplanes. The project aims to research new methods for locating cameras based on the multimodal data registration, especially photographic information, synthetic rendered images, depth information and field models using current machine learning methods, especially deep neural networks (DNN). In addition to the use of terrain data in the form of graphical models, an alternative of predictive depth information from an input photograph will be explored. The CPhoto @ FIT Group has been dealing with the long-standing problem and has deep experience in research and application. The Israeli partner also offers unique data sets indispensable for DNN training.

Keywords
image geo-lokalizace, topografické informace, registrace obrazu, hluboké učení, počítačové vidění

Key words in English
image geo-localization, topographic information, image registration, deep-learning, computer vision

Mark

LTAIZ19004

Default language

Czech

People responsible

Brejcha Jan, Ing., Ph.D. - fellow researcher
Lysek Tomáš, Ing. - fellow researcher
Polášek Tomáš, Ing. - fellow researcher
Tomešek Jan, Ing. - fellow researcher
Čadík Martin, doc. Ing., Ph.D. - principal person responsible

Units

Department of Computer Graphics and Multimedia
- beneficiary (2019-01-23 - 2022-06-30)

Results

BREJCHA, J.; LUKÁČ, M.; HOLD-GEOFFROY, Y.; WANG, O.; ČADÍK, M. LandscapeAR: Large Scale Outdoor Augmented Reality by Matching Photographs with Terrain Models Using Learned Descriptors. In Computer Vision - ECCV 2020. Lecture Notes in Computer Science. Cham: Springer Nature Switzerland AG, 2020. p. 295-312. ISBN: 978-3-030-58525-9.
Detail

BOBÁK, P.; ČMOLÍK, L.; ČADÍK, M. Temporally Stable Boundary Labeling for Interactive and Non-Interactive Dynamic Scenes. COMPUTERS & GRAPHICS-UK, 2020, vol. 91, no. 10, p. 265-278. ISSN: 0097-8493.
Detail

TOMEŠEK, J.; ČADÍK, M.; BREJCHA, J. CrossLocate: Cross-Modal Large-Scale Visual Geo-Localization in Natural Environments using Rendered Modalities. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa: Institute of Electrical and Electronics Engineers, 2022. p. 2193-2202. ISBN: 978-1-6654-0477-8.
Detail

POLÁŠEK, T.; ČADÍK, M.; KELLER, Y.; BENEŠ, B. Vision UFormer: Long-Range Monocular Absolute Depth Estimation. COMPUTERS & GRAPHICS-UK, 2023, vol. 111, no. 4, p. 180-189. ISSN: 0097-8493.
Detail

RAJASEKARAN, S.; KANG, H.; ČADÍK, M.; GALIN, E.; GUÉRIN, E.; PEYTAVIE, A.; SLAVÍK, P.; BENEŠ, B. PTRM: Perceived Terrain Realism Metric. ACM Transactions on Applied Perception, 2022, vol. 19, no. 2, p. 1-22. ISSN: 1544-3558.
Detail

BOBÁK, P.; ČMOLÍK, L.; ČADÍK, M. Reinforced Labels: Multi-Agent Deep Reinforcement Learning for Point-Feature Label Placement. IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2023, p. 1-14. ISSN: 1077-2626.
Detail

AHMAD, T.; EMAMI, E.; ČADÍK, M.; BEBIS, G. Resource Efficient Mountainous Skyline Extraction using Shallow Learning. In Proceedings of the International Joint Conference on Neural Networks (IJCNN). Hoffman Estates: Institute of Electrical and Electronics Engineers, 2021. p. 1-9. ISBN: 978-1-6654-3900-8.
Detail

POLÁŠEK, T.; HRŮŠA, D.; BENEŠ, B.; ČADÍK, M. ICTree: Automatic Perceptual Metrics for Tree Models. ACM TRANSACTIONS ON GRAPHICS, 2021, vol. 40, no. 6, p. 1-15. ISSN: 0730-0301.
Detail

LUKÁČ, M.; WANG, O.; BREJCHA, J.; HOLD-GEOFFROY, Y.; ČADÍK, M.; Adobe VUT Brno: Large-scale outdoor augmented reality scenes using camera pose based on learned descriptors. US11568642B2, patent. (2023)
Detail

TOMEŠEK, J.; ČADÍK, M.; BREJCHA, J.: CrossLocate; CrossLocate: Cross-Modal Large-Scale Visual Geo-Localization in Natural Environments using Rendered Modalities. https://github.com/JanTomesek/CrossLocate. URL: https://github.com/JanTomesek/CrossLocate. (software)
Detail

ČADÍK, M.; POLÁŠEK, T.: ICTree; ICTree: Automatic Perceptual Metric for Tree Models. http://cphoto.fit.vutbr.cz/ictree/. URL: http://cphoto.fit.vutbr.cz/ictree/. (software)
Detail

BREJCHA, J.; ČADÍK, M.: ITR; Immersive Trip Reports. https://github.com/brejchajan/itr. URL: https://github.com/brejchajan/itr. (software)
Detail

BREJCHA, J.; ČADÍK, M.: LandscapeAR; LandscapeAR. https://github.com/brejchajan/LandscapeAR. URL: https://github.com/brejchajan/LandscapeAR. (software)
Detail

Link

http://cadik.posvete.cz/locate/

Responsibility: Čadík Martin, doc. Ing., Ph.D.