Publication detail

Strojové učení základem pro hybridní lemmatizační algoritmus

KARÁSEK, J. ŠANDA, P. BURGET, R. MORSKÝ, O.

Original Title

Strojové učení základem pro hybridní lemmatizační algoritmus

English Title

Machine learning as a cornerstone for hybrid lemmatization algorithm

Type

journal article - other

Language

Czech

Original Abstract

Lemmatizace je jednou ze základních technik předzpracování textu. Hlavním účelem tohoto procesu je nalezení normalizované formy slova. V tomto článku bude představen lemmatizační algoritmus založený na lemmatizačních pravidlech naučených pomocí Ripple-Down Rules patřících mezi techniky strojového učení. Výhodou tohoto přístupu je, že nevyžaduje znalost morfologie českého jazyka. Dále jsou představeny metody řešící lemmatizaci výjimek a specifických typů slov, které dokážou zvýšit přesnost lemmatizace českého jazyka. V závěru článku jsou diskutovány dosažené výsledky a další potenciální rozšíření, která by pomohla úspěšnost navrženého lemmatizátoru dále zvyšovat. Je také uvedeno srovnání dosažených výsledků s již existujícím systémem LemmaGen pro lemmatizaci českého jazyka, založeném na stejném principu strojového učení, stejně tak jako srovnání se systémy využívajícími morfologickou analýzu a desambiguaci.

English abstract

Lemmatization is one of the basic techniques of text preprocessing. The main purpose of this process is to find a standard form of words. In this article will be presented a lemmatization algorithm based on rules learned by Ripple-Down Rules technique belonging to the machine learning techniques. The advantage of this approach is that it does not require knowledge of the morphology of the Czech language. In addition, methods presented in this article are dealing with exceptions in lemmatization which can increase the accuracy lemmatization of Czech language. In conclusion, the article discusses the achievements and further potential extensions that would help improve the accuracy of algorithm. At the end of the article is also presented a comparison of the results obtained by the existing system LemmaGen, based on the same principle of machine learning, as well as compared to systems that use morphological analysis and disambiguation.

Keywords

Lemmatizace, Strojové učení, RDR

Key words in English

Lemmatization, Machine Learning, RDR

Authors

KARÁSEK, J.; ŠANDA, P.; BURGET, R.; MORSKÝ, O.

RIV year

2012

Released

7. 9. 2012

Location

Brno

ISBN

1213-1539

Periodical

Elektrorevue - Internetový časopis (http://www.elektrorevue.cz)

Year of study

2012

Number

57

State

Czech Republic

Pages from

1

Pages to

10

Pages count

10

BibTex

@article{BUT92901,
  author="Jan {Karásek} and Pavel {Šanda} and Radim {Burget} and Ondřej {Morský}",
  title="Strojové učení základem pro hybridní lemmatizační algoritmus",
  journal="Elektrorevue - Internetový časopis (http://www.elektrorevue.cz)",
  year="2012",
  volume="2012",
  number="57",
  pages="1--10",
  issn="1213-1539"
}