Přejít k obsahu


General framework for mining, processing and storing large amounts of electronic texts for language modeling purposes

Citace:
ŠVEC, J., LEHEČKA, J., IRCING, P., SKORKOVSKÁ, L., PRAŽÁK, A., VAVRUŠKA, J., STANISLAV, P., HOIDEKR, J. General framework for mining, processing and storing large amounts of electronic texts for language modeling purposes. Language Resources and Evaluation, 2014, roč. 48, č. 2, s. 227-248. ISSN: 1574-020X
Druh: ČLÁNEK
Jazyk publikace: eng
Anglický název: General framework for mining, processing and storing large amounts of electronic texts for language modeling purposes
Rok vydání: 2014
Autoři: Ing. Jan Švec , Ing. Jan Lehečka , Ing. Pavel Ircing Ph.D. , Ing. Lucie Skorkovská , Ing. Aleš Pražák Ph.D. , Ing. Jan Vavruška , Ing. Petr Stanislav , Ing. Jan Hoidekr
Abstrakt CZ: Článek popisuje obecný rámec pro "dolování" velkého množství textových dat z definované sady webových stránek. Získaná data jsou určena k vytvoření korpusu pro trénování robustních a spolehlivých jazykových modelů a proto tento rámec musí také obsahovat algoritmy pro vhodné zpracování textu a detekce duplicit s cílem zajistit kvalitu a konzistenci údajů. Jelikož očekáváme, že výsledné korpusy budou obrovské, jsou také implementovány algoritmy pro detekci tématu, které nám umožňují automaticky vybrat dílčí korpusy pro domény specifických jazykových modelů. Popis rámcové architektury a implementovaných algoritmů je doplněn o podrobnou experimentální část. Ta analyzuje základní vlastnosti získaných českých korpusů obsahujících více než jednu miliardu slov, ukazuje výsledky metod detekce tématu a konečně také popisuje návrh a výsledky automatických pokusů rozpoznávání řeči s konkrétními jazykovými modely natrénovanými ze shromážděných dat.
Abstrakt EN: The paper describes a general framework for mining large amounts of text data from a defined set of Web pages. The acquired data are meant to constitute a corpus for training robust and reliable language models and thus the framework needs to also incorporate algorithms for appropriate text processing and duplicity detection in order to secure quality and consistency of the data. As we expect the resulting corpus to be very large, we have also implemented topic detection algorithms that allow us to automatically select subcorpora for domain-specific language models. The description of the framework architecture and the implemented algorithms is complemented with a detailed evaluation section. It analyses the basic properties of the gathered Czech corpus containing more than one billion text tokens collected using the described framework, shows the results of the topic detection methods and finally also describes the design and outcomes of the automatic speech recognition experiments with domain-specific language models estimated from the collected data.
Klíčová slova

Zpět

Patička