Project detail
Improvements of Change Detection in Point Cloud Data and Visualization of the Changes by Incorporating Semantic Information
Duration: 1.8.2015 — 31.12.2015
Funding resources
Ministerstvo školství, mládeže a tělovýchovy ČR - AKTION Česká republika - Rakousko
On the project
The project deals with improvements of the change detection in point cloud data and its visualization, as a part of robotic systems, by using semantic environmental maps of the surrounding environment, and with a user friendly representation and visualization of these changes. Typical approaches for the detection of changes in point cloud data obtained by sensors like MS Kinect or Velodyne LiDAR use only the measured 3D information about the object geometry (points, surfels). The changes are typically visualized by highlighting changed parts of the scene. The newly proposed approach will benefit from the semantic description of the environment what means description of particular objects, information on their class (floor, table), connections (a cup on the table), etc. The prepared software solution will be able to identify changing (moving) objects in the scene and present them to a remote operator of the robotic system in more clear and precise way: "The cup is no more present on the table." The semantic information might also enable multi-modal communication with the operator by communicating the changes in the environment using synthesized voice messages, etc.
Description in Czech
Projekt se zabývá modifikací a vylepšením současných metod pro detekci změn
v mračnech bodů a jejich vizualizací jako součástí robotického systému. Řešení
využívá mapu okolního prostředí, prezentuje a vizualizuje nalezené změny
uživatelsky přívětivým způsobem.
Typické přístupy k detekci změn v mračnech bodů získaných senzory jako MS Kinect
nebo Velodyne LiDAR využívají pouze změřenou 3D informaci o geometrii objektu
(body, orientované plošky, atd.). Změny jsou poté reprezentovány označením
měnících se částí scény. Nově navržené řešení využívá sémantického popisu
prostředí - tj. popisu jednotlivých objektů, informace o kategorii těchto
nalezených objektů (podlaha, stůl), jejich vztazích (hrnek leží na stole), apod.
Připravované softwarové řešení bude schopné identifikovat měnící (pohybující) se
objekty ve scéně a prezentovat je vzdálenému uživateli robotického systému ve
srozumitelnější a přesnější formě: Hrnek se už nenachází na stole." Sémantická
informace také umožňuje vícemodální komunikaci s operátorem, např. sdělováním
informací o změnách pomocí syntetizované řeči.
Keywords
Robotic systems, environment perception, point cloud data, change detection,
semantic information, human-robot interaction
Mark
AKTION
Default language
English
People responsible
Španěl Michal, doc. Ing., Ph.D. - principal person responsible
Units
Department of Computer Graphics and Multimedia
- responsible department (21.11.2014 - not assigned)
Vienna University of Technology
- co-beneficiary (21.11.2014 - 31.12.2015)
Department of Computer Graphics and Multimedia
- beneficiary (21.11.2014 - 31.12.2015)
Responsibility: Španěl Michal, doc. Ing., Ph.D.