Projekt se zaměřuje na aktuální problémy počítačového vidění, zejména na vizuální lokalizaci v přírodním prostředí. Vizuální lokalizace kamery ve venkovním prostředí není v současnosti vyřešeným problémem, přestože nabízí celou řadu atraktivních aplikací od automatického porozumění obrazu, přes aplikace rozšířené reality až po navigaci samořiditelných vozidel a letounů. Projekt si klade za cíl výzkum nových metod pro lokalizaci kamery založených na registraci (angl. matching) multimodálních dat, zejména fotografické informace, syntetických (angl. rendered) obrazů, hloubkové informace a terénních modelů s využitím aktuálních metod strojového učení, zejména hlubokých neuronových sítí (DNN). Vedle využití terénních dat ve formě grafických modelů bude zkoumána také alternativa predikce hloubkové informace ze vstupní fotografie. Skupina CPhoto@FIT (mailto:CPhoto@FIT) se dlouhodobě daným problémem zabývá a do projektu přináší hluboké zkušenosti výzkumné i aplikační, izraelskému partnerovi dále nabízí unikátní datové sady nepostradatelné pro trénování DNN.

Description in English
The project focuses on the current problems of computer vision, especially on visual localization in the natural environment. The visual location of the camera in the outdoor environment is not a fixed issue today, although it offers a wide range of attractive applications from automatic image comprehension, to expanded reality applications to navigation of self-governing vehicles and airplanes. The project aims to research new methods for locating cameras based on the multimodal data registration, especially photographic information, synthetic rendered images, depth information and field models using current machine learning methods, especially deep neural networks (DNN). In addition to the use of terrain data in the form of graphical models, an alternative of predictive depth information from an input photograph will be explored. The CPhoto @ FIT Group has been dealing with the long-standing problem and has deep experience in research and application. The Israeli partner also offers unique data sets indispensable for DNN training.

Keywords
image geo-lokalizace, topografické informace, registrace obrazu, hluboké učení, počítačové vidění

Key words in English
image geo-localization, topographic information, image registration, deep-learning, computer vision

LTAIZ19004

Czech

Čadík Martin, doc. Ing., Ph.D. - principal person responsible
Brejcha Jan, Ing., Ph.D. - fellow researcher
Lysek Tomáš, Ing. - fellow researcher
Polášek Tomáš, Ing. - fellow researcher
Tomešek Jan, Ing. - fellow researcher

Department of Computer Graphics and Multimedia
- responsible department (23.1.2019 - not assigned)
Department of Computer Graphics and Multimedia
- beneficiary (23.1.2019 - 30.6.2022)

ČADÍK, M.; ČADÍK, M.; ČADÍK, M.; ČADÍK, M.: HiVisComp 2017, High Visual Computing 2017. Prostřední Bečva (01.02.2017)
Detail

DEKEL, S.; KELLER, Y.; ČADÍK, M. Estimating Extreme 3D Image Rotations using Cascaded Attention. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE Computer Society, 2024. p. 2588-2598. ISBN: 979-8-3503-5301-3.
Detail

BOBÁK, P.; ČMOLÍK, L.; ČADÍK, M. Reinforced Labels: Multi-Agent Deep Reinforcement Learning for Point-Feature Label Placement. IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2024, vol. 30, no. 9, p. 5908-5922. ISSN: 1077-2626.
Detail

POLÁŠEK, T.; ČADÍK, M.; KELLER, Y.; BENEŠ, B. Vision UFormer: Long-Range Monocular Absolute Depth Estimation. COMPUTERS & GRAPHICS-UK, 2023, vol. 111, no. 4, p. 180-189. ISSN: 0097-8493.
Detail

LUKÁČ, M.; WANG, O.; BREJCHA, J.; HOLD-GEOFFROY, Y.; ČADÍK, M.; Adobe VUT Brno: Large-scale outdoor augmented reality scenes using camera pose based on learned descriptors. US11568642B2, patent. (2023)
Detail

TOMEŠEK, J.; ČADÍK, M.; BREJCHA, J.: CrossLocate; CrossLocate: Cross-Modal Large-Scale Visual Geo-Localization in Natural Environments using Rendered Modalities. https://github.com/JanTomesek/CrossLocate. URL: https://github.com/JanTomesek/CrossLocate. (software)
Detail

ČADÍK, M.; POLÁŠEK, T.: ICTree; ICTree: Automatic Perceptual Metric for Tree Models. http://cphoto.fit.vutbr.cz/ictree/. URL: http://cphoto.fit.vutbr.cz/ictree/. (software)
Detail

RAJASEKARAN, S.; KANG, H.; ČADÍK, M.; GALIN, E.; GUÉRIN, E.; PEYTAVIE, A.; SLAVÍK, P.; BENEŠ, B. PTRM: Perceived Terrain Realism Metric. ACM Transactions on Applied Perception, 2022, vol. 19, no. 2, p. 1-22. ISSN: 1544-3558.
Detail

TOMEŠEK, J.; ČADÍK, M.; BREJCHA, J. CrossLocate: Cross-Modal Large-Scale Visual Geo-Localization in Natural Environments using Rendered Modalities. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa: Institute of Electrical and Electronics Engineers, 2022. p. 2193-2202. ISBN: 978-1-6654-0477-8.
Detail

AHMAD, T.; EMAMI, E.; ČADÍK, M.; BEBIS, G. Resource Efficient Mountainous Skyline Extraction using Shallow Learning. In Proceedings of the International Joint Conference on Neural Networks (IJCNN). Hoffman Estates: Institute of Electrical and Electronics Engineers, 2021. p. 1-9. ISBN: 978-1-6654-3900-8.
Detail

POLÁŠEK, T.; HRŮŠA, D.; BENEŠ, B.; ČADÍK, M. ICTree: Automatic Perceptual Metrics for Tree Models. ACM TRANSACTIONS ON GRAPHICS, 2021, vol. 40, no. 6, p. 1-15. ISSN: 0730-0301.
Detail

BREJCHA, J.; ČADÍK, M.: ITR; Immersive Trip Reports. https://github.com/brejchajan/itr. URL: https://github.com/brejchajan/itr. (software)
Detail

BREJCHA, J.; ČADÍK, M.: LandscapeAR; LandscapeAR. https://github.com/brejchajan/LandscapeAR. URL: https://github.com/brejchajan/LandscapeAR. (software)
Detail

BOBÁK, P.; ČMOLÍK, L.; ČADÍK, M. Temporally Stable Boundary Labeling for Interactive and Non-Interactive Dynamic Scenes. COMPUTERS & GRAPHICS-UK, 2020, vol. 91, no. 10, p. 265-278. ISSN: 0097-8493.
Detail

BREJCHA, J.; LUKÁČ, M.; HOLD-GEOFFROY, Y.; WANG, O.; ČADÍK, M. LandscapeAR: Large Scale Outdoor Augmented Reality by Matching Photographs with Terrain Models Using Learned Descriptors. In Computer Vision - ECCV 2020. Lecture Notes in Computer Science. Cham: Springer Nature Switzerland AG, 2020. p. 295-312. ISBN: 978-3-030-58525-9.
Detail

Responsibility: Čadík Martin, doc. Ing., Ph.D.