Detail projektu

Jazykově nezávislá detekce klíčových slov

Období řešení: 01.01.2012 — 31.12.2014

Zdroje financování

Grantová agentura České republiky - Postdoktorandské granty

- plně financující (2012-01-01 - 2014-12-31)

O projektu

Projekt je zaměřen na jazykově nezávislé vyhledávání klíčových slov mluvené řeči. Klíčová slova budou zadávána jako vzor (Query-by-Example). Aplikace výsledku projektu umožní vyhledávání v řeči v řrípadech, kde současné přístupy selhávají. Jedná se zejména o nahrávky exotických jazyků (minimální nebo žádné zdroje trénovacích dat) a také nahrávky, kde mluvčí střídají několik jazyků během hovoru. Prvním cílem projektu je definovat evaluační data pro několik jazyků a vyhodnotit úspěšnost současných systémů Query-by-Example ve vícejazyčném prostředí. Hlavní cíle jsou: (1) návrh a testování postupu pro získávání jazykově nezávislých high-level příznaků z řeči. Příznaky budou získávány pomocí kombinace jazykově závislých klasifikátorů založených na umělých neuronových sítích. (2) návrh na testování postupu pro detekci klíčových slov zadaných vzorem pomocí GMM/HMM. Důležitý bude výzkum vhodného odhadu modelu klíčového slova pouze na základě několika příkladů a také odhadu modelu obecné řeči. Dosažené výsledky budou porovnány se standardním jazykově závislým přístupem.

Popis anglicky
This project aims at research and development of language-independent keyword spotter in spoken speech. The keywords will be entered as examples (Query-by-Example). The application of project results is in search in speech where current approaches fail: exotic languages (insufficient or no training data) and recordings where speakers change language within the conversation. The first goal is to define evaluation data for several languages and to evaluate the state-of-the-art Query-by-Example systems in cross-lingual environment. Main goals are: (1) to design and evaluate an approach to language-independent high-level feature extraction from speech. We will use combination of several language-dependent artificial neural network classifiers. (2) To design and evaluate a GMM/HMM approach to Query-by-Example. It will be important to correctly estimate the keyword model on several examples and to investigate training of the universal background model. We will also compare achieved results with standard language-dependent approaches.

Klíčová slova
detekce klíčových slov, zadání pomocí vzoru, jazykově nezávislý, skryté Markovovy modely, umělá neuronová siť

Klíčová slova anglicky
keyword spotting, query-by-example, language independent, hidden Markov models, artificial neural network

Označení

GPP202/12/P567

Originální jazyk

čeština

Řešitelé

Szőke Igor, Ing., Ph.D. - hlavní řešitel

Útvary

Ústav počítačové grafiky a multimédií
- příjemce (21.04.2011 - 31.12.2014)

Výsledky

SZŐKE, I.; FAPŠO, M.; ŽIŽKA, J.; BERAN, V.; ČERNOCKÝ, J. Efektivní přístup ke znalostem v audio-vizuálních záznamech. Proceedings of the Annual Database Conference. Praha: Technická univerzita v Košiciach, 2012. s. 57-74. ISBN: 978-80-553-1049-7.
Detail

SZŐKE, I.; FAPŠO, M.; VESELÝ, K. BUT2012 přístup pro Spoken Web Search úkol na MediaEval2012. Working Notes Proceedings of the MediaEval 2012 Workshop. CEUR Workshop Proceedings. Pisa: CEUR-WS.org, 2012. s. 1-2. ISSN: 1613-0073.
Detail

TEJEDOR, J.; FAPŠO, M.; SZŐKE, I.; ČERNOCKÝ, J.; GRÉZL, F. Comparison of methods for language-dependent and language-independent query-by-example spoken term detection. ACM TRANSACTIONS ON INFORMATION SYSTEMS, 2012, vol. 2012, no. 30, p. 1-34. ISSN: 1046-8188.
Detail

SZŐKE, I.; BURGET, L.; GRÉZL, F.; ONDEL YANG, L. BUT SWS 2013 - Massive Parallel Approach. In Proceedings of the MediaEval 2013 Multimedia Benchmark Workshop. CEUR Workshop Proceedings. Barcelona: CEUR-WS.org, 2013. p. 1-2. ISSN: 1613-0073.
Detail

ANGUERA, X.; METZE, F.; BUZO, A.; SZŐKE, I.; RODRIGUEZ-FUENTES, L. The Spoken Web Search Task. CEUR Workshop Proceedings. CEUR Workshop Proceedings. Barcelona: CEUR-WS.org, 2013. p. 1-2. ISSN: 1613-0073.
Detail

ANGUERA, X.; RODRIGUEZ-FUENTES, L.; BUZO, A.; METZE, F.; SZŐKE, I.; PENAGARIKANO, M. QUESST 2014: Evaluating Query-By-Example Speech Search in a Zero-Resource. In Proceedings of 2015 IEEE International Conference on Acoustics, Speech and Signal Processing. South Brisbane, Queensland: IEEE Signal Processing Society, 2015. p. 5833-5837. ISBN: 978-1-4673-6997-8.
Detail

ANGUERA, X.; RODRIGUEZ-FUENTES, L.; SZŐKE, I.; BUZO, A.; METZE, F. Query-by-example Spoken Term Detection Evaluation on Low-resource Languages. Proceedings of the 4th International Workshop on Spoken Language Technologies for Under- resourced Languages SLTU-2014. St. Petersburg, Russia. St. Petersburg: International Speech Communication Association, 2014. p. 24-31. ISBN: 978-5-8088-0908-6.
Detail

SZŐKE, I.; SKÁCEL, M.; BURGET, L. BUT QUESST 2014 System Description. In CEUR Workshop Proceedings. CEUR Workshop Proceedings. Barcelona: CEUR-WS.org, 2014. p. 1-2. ISSN: 1613-0073.
Detail

ANGUERA, X.; RODRIGUEZ-FUENTES, L.; SZŐKE, I.; BUZO, A.; METZE, F. Query by Example Search on Speech at Mediaeval 2014. In CEUR Workshop Proceedings. CEUR Workshop Proceedings. Barcelona: CEUR-WS.org, 2014. p. 1-2. ISSN: 1613-0073.
Detail

SZŐKE, I.; SKÁCEL, M.; ČERNOCKÝ, J.; BURGET, L. Coping with Channel Mismatch in Query-By-Example - BUT QUESST 2014. In Proceedings of 2015 IEEE International Conference on Acoustics, Speech and Signal Processing. South Brisbane, Queensland: IEEE Signal Processing Society, 2015. p. 5838-5842. ISBN: 978-1-4673-6997-8.
Detail

SZŐKE, I.; BURGET, L.; GRÉZL, F.; ČERNOCKÝ, J.; ONDEL YANG, L. Calibration and Fusion of Query-by-example Systems - BUT SWS 2013. In Proceedings of ICASSP 2014. Florencie: IEEE Signal Processing Society, 2014. p. 7899-7903. ISBN: 978-1-4799-2892-7.
Detail

Odpovědnost: Szőke Igor, Ing., Ph.D.