Publication detail

Efektivní přístup ke znalostem v audio-vizuálních záznamech

SZŐKE, I. FAPŠO, M. ŽIŽKA, J. BERAN, V. ČERNOCKÝ, J.

Original Title

Efektivní přístup ke znalostem v audio-vizuálních záznamech

English Title

Effective access for information in audio-visual recordings

Type

article in a collection out of WoS and Scopus

Language

Czech

Original Abstract

Množství audiovizuálních dat se neustále zvětšuje. Část z nich obsahuje důležité informace - záznamy přednášek, konferencí, kurzů atd. Tato data jsou však pro současné vyhledávače (Google, Seznam) neviditelná. Pokud potřebujeme nalézt záznam, který se týká konkrétní problematiky nebo se jen potřebujeme rychle zorientovat v záznamu, současné vyhledávače nám mnoho nepomohou. V první části přednášky se podíváme, jak zviditelnit audiovizuální záznamy prezentací pro standardní textové vyhledávače. Z technického hlediska si ukážeme, jak vypadá celkové schéma systému, a pak se podrobněji podíváme na jednotlivé komponenty. Zejména na komponentu automatického rozpoznávače řeči (převod audia do textu s časováním), a komponentu automatické synchronizace a rozpoznání slajdů s videem (převod videa do textu s časováním). Dále si ukážeme, jak jsou zpracována audiovizuální data reprezentována pro vyhledávací engine Lucene. V druhé části přednášky se zaměříme na prezentaci uživatelům, a také na zpětnou vazbu od uživatelů. Systém je prakticky nasazen na Fakultě informačních technologií VUT v Brně, a také pro několik velkých konferencí.

English abstract

The amount of audiovisual data in growing. Part of the data as lecture or conference recordings contain important information. However this information is hidden and unreachable for standard web crawlers as Google. This paper deals with a system, which makes the information available for standard text based indexers and searchers. It is done by conversion of speech and video into text. Description of the audiovisual indexing and search system is provided in the first part of this paper. We briefly describe the speech-to-text and slide synchronization components. Next, the description of an indexing engine is given. The engine is capable to index not only text but also timing and probability of recognized speech. The second part is aimed at practical issues like user interface and customer feedback.

Keywords

audiovizuální záznam, převod řeči do textu, převod obrazu do textu, indexace a vyhledávání, web

Key words in English

audiovisual recording, speech-to-text, image-to-text, indexing and search, web

Authors

SZŐKE, I.; FAPŠO, M.; ŽIŽKA, J.; BERAN, V.; ČERNOCKÝ, J.

RIV year

2012

Released

16. 10. 2012

Publisher

Technická univerzita v Košiciach

Location

Praha

ISBN

978-80-553-1049-7

Book

Proceedings of the Annual Database Conference

Pages from

57

Pages to

74

Pages count

18

URL

https://www.fit.vut.cz/research/publication/10172/

BibTex

@inproceedings{BUT97053,
  author="Igor {Szőke} and Michal {Fapšo} and Josef {Žižka} and Vítězslav {Beran} and Jan {Černocký}",
  title="Efektivní přístup ke znalostem v audio-vizuálních záznamech",
  booktitle="Proceedings of the Annual Database Conference",
  year="2012",
  pages="57--74",
  publisher="Technická univerzita v Košiciach",
  address="Praha",
  isbn="978-80-553-1049-7",
  url="https://www.fit.vut.cz/research/publication/10172/"
}