The M4 project started in March 2002, and has a duration of three years. The overall objective of the project is the construction of a demonstration system to enable structuring, browsing and querying of an archive of automatically analysed meetings. The archived meetings will have taken place in a room equipped with multimodal sensors. For each meeting, audio, video, textual, and (possibly) interaction information will be available. Audio information will come from close talking and distant microphones, as well as binaural recordings. Video information will come from multiple cameras. While the video and audio information will form several streams of data generated during the meeting, the textual information---the agenda, discussion papers, text of slides---will be pre-generated and can be used to guide the automatic structuring of the meeting. The interaction stream consists of any information that can help in analysing events within the meeting, for example, mouse tracking from a PC-based presentation or laser pointing information.

Popis česky
Cílem projektu M4 "Multimodal meeting manager" je vyvinout systém pro analýzu a záznam živých jednání. Účastníci jednání budou snímáni mikrofony a kamerami. Jejich řeč a gesta budou automaticky rozpoznána a indexována pro snadnou orientaci a hledání v záznamu. Uživatel pak bude moci například položit systému otázku "Kdy mluvil pan X o tématu Y" a systém automaticky vyhledá příslušné sekvence. FIT VUT Brno bude pracovat na nových metodách rozpoznávání specifických částí řeči, které bude nezávislé na jazyku jednání. Dalším úkolem bude určení mluvčího pomocí analýzy gest a jeho sledování otočnou kamerou.

Klíčová slova
speech processing, video processing, information merging, meeting summarization

IST-2001-34485

angličtina

Heřmanský Hynek, prof. Ing., Dr. Eng. - hlavní řešitel

Ústav počítačové grafiky a multimédií
- odpovědné pracoviště (1.1.1989 - nezadáno)
Výzkumná skupina dolování dat z řeči BUT Speech@FIT
- interní (17.9.2002 - 28.2.2005)
Výzkumná skupina počítačové grafiky
- interní (17.9.2002 - 28.2.2005)
Ústav počítačové grafiky a multimédií
- spolupříjemce (17.9.2002 - 28.2.2005)
Ústav počítačové grafiky a multimédií
- příjemce (1.1.2002 - 31.12.2004)

SCHWARZ, P., MATĚJKA, P., ČERNOCKÝ, J. Phoneme Recognition. AMI Workshop. 2004. p. 1 ( p.)
Detail

SCHWARZ, P., MATĚJKA, P., ČERNOCKÝ, J. Towards Lower Error Rates in Phoneme Recognition. Lecture Notes in Computer Science, 2004, vol. 2004, no. 3206, p. 465 ( p.)ISSN: 0302-9743.
Detail

SCHWARZ, P., MATĚJKA, P., ČERNOCKÝ, J. Towards Lower Error Rates in Phoneme Recognition. In Proceedings of 7th International Conference Text,Speech and Dialoque 2004. Brno: Springer, 2004. p. 465 ( p.)ISBN: 3-540-23049-1.
Detail

MATĚJKA, P., SCHWARZ, P., ČERNOCKÝ, J., HEŘMANSKÝ, H. Phoneme Recognition using Temporal Patterns. In In Proceedings of the conference TSD'2003. International Conference on Text Speech and Dialogue, TSD 2003. 2003. p. 198 ( p.)ISBN: 3-540-20024-X.
Detail

Odpovědnost: Heřmanský Hynek, prof. Ing., Dr. Eng.