Detail publikace

Strojové učení základem pro hybridní lemmatizační algoritmus

KARÁSEK, J. ŠANDA, P. BURGET, R. MORSKÝ, O.

Originální název

Strojové učení základem pro hybridní lemmatizační algoritmus

Anglický název

Machine learning as a cornerstone for hybrid lemmatization algorithm

Typ

článek v časopise - ostatní, Jost

Jazyk

čeština

Originální abstrakt

Lemmatizace je jednou ze základních technik předzpracování textu. Hlavním účelem tohoto procesu je nalezení normalizované formy slova. V tomto článku bude představen lemmatizační algoritmus založený na lemmatizačních pravidlech naučených pomocí Ripple-Down Rules patřících mezi techniky strojového učení. Výhodou tohoto přístupu je, že nevyžaduje znalost morfologie českého jazyka. Dále jsou představeny metody řešící lemmatizaci výjimek a specifických typů slov, které dokážou zvýšit přesnost lemmatizace českého jazyka. V závěru článku jsou diskutovány dosažené výsledky a další potenciální rozšíření, která by pomohla úspěšnost navrženého lemmatizátoru dále zvyšovat. Je také uvedeno srovnání dosažených výsledků s již existujícím systémem LemmaGen pro lemmatizaci českého jazyka, založeném na stejném principu strojového učení, stejně tak jako srovnání se systémy využívajícími morfologickou analýzu a desambiguaci.

Anglický abstrakt

Lemmatization is one of the basic techniques of text preprocessing. The main purpose of this process is to find a standard form of words. In this article will be presented a lemmatization algorithm based on rules learned by Ripple-Down Rules technique belonging to the machine learning techniques. The advantage of this approach is that it does not require knowledge of the morphology of the Czech language. In addition, methods presented in this article are dealing with exceptions in lemmatization which can increase the accuracy lemmatization of Czech language. In conclusion, the article discusses the achievements and further potential extensions that would help improve the accuracy of algorithm. At the end of the article is also presented a comparison of the results obtained by the existing system LemmaGen, based on the same principle of machine learning, as well as compared to systems that use morphological analysis and disambiguation.

Klíčová slova

Lemmatizace, Strojové učení, RDR

Klíčová slova v angličtině

Lemmatization, Machine Learning, RDR

Autoři

KARÁSEK, J.; ŠANDA, P.; BURGET, R.; MORSKÝ, O.

Rok RIV

2012

Vydáno

7. 9. 2012

Místo

Brno

ISSN

1213-1539

Periodikum

Elektrorevue - Internetový časopis (http://www.elektrorevue.cz)

Ročník

2012

Číslo

57

Stát

Česká republika

Strany od

1

Strany do

10

Strany počet

10

BibTex

@article{BUT92901,
  author="Jan {Karásek} and Pavel {Šanda} and Radim {Burget} and Ondřej {Morský}",
  title="Strojové učení základem pro hybridní lemmatizační algoritmus",
  journal="Elektrorevue - Internetový časopis (http://www.elektrorevue.cz)",
  year="2012",
  volume="2012",
  number="57",
  pages="1--10",
  issn="1213-1539"
}