The M4 project started in March 2002, and has a duration of three years. The overall objective of the project is the construction of a demonstration system to enable structuring, browsing and querying of an archive of automatically analysed meetings. The archived meetings will have taken place in a room equipped with multimodal sensors. For each meeting, audio, video, textual, and (possibly) interaction information will be available. Audio information will come from close talking and distant microphones, as well as binaural recordings. Video information will come from multiple cameras. While the video and audio information will form several streams of data generated during the meeting, the textual information---the agenda, discussion papers, text of slides---will be pre-generated and can be used to guide the automatic structuring of the meeting. The interaction stream consists of any information that can help in analysing events within the meeting, for example, mouse tracking from a PC-based presentation or laser pointing information.

Description in Czech
Cílem projektu M4 "Multimodal meeting manager" je vyvinout systém pro analýzu a záznam živých jednání. Účastníci jednání budou snímáni mikrofony a kamerami. Jejich řeč a gesta budou automaticky rozpoznána a indexována pro snadnou orientaci a hledání v záznamu. Uživatel pak bude moci například položit systému otázku "Kdy mluvil pan X o tématu Y" a systém automaticky vyhledá příslušné sekvence. FIT VUT Brno bude pracovat na nových metodách rozpoznávání specifických částí řeči, které bude nezávislé na jazyku jednání. Dalším úkolem bude určení mluvčího pomocí analýzy gest a jeho sledování otočnou kamerou.

Keywords
speech processing, video processing, information merging, meeting summarization