Přejít k obsahu


Automatic Dubbing of TV Programmes for the Hearing Impaired

Citace: [] MATOUŠEK, J., HANZLÍČEK, Z., TIHELKA, D., MÉNER, M. Automatic Dubbing of TV Programmes for the Hearing Impaired. In 2010 IEEE 10th International Conference on Signal Processing Proceedings. Beijing: Institute of Electrical and Electronics Engineers, Inc., 2010. s. 589-592. ISBN: 978-1-4244-5898-1
Druh: STAŤ VE SBORNÍKU
Jazyk publikace: eng
Anglický název: Automatic Dubbing of TV Programmes for the Hearing Impaired
Rok vydání: 2010
Místo konání: Beijing
Název zdroje: Institute of Electrical and Electronics Engineers, Inc.
Autoři: Doc. Ing. Jindřich Matoušek Ph.D. , Ing. Zdeněk Hanzlíček Ph.D. , Ing. Daniel Tihelka Ph.D. , Bc. Martin Méner
Abstrakt CZ: Článek popisuje experimenty s úpravou korpusově orientovaného systému syntézy řeči (TTS) s výběrem jednotek pro automatický dabing televizních pořadů. Projekt se zaměřuje na lidi se sluchovým postižením a jeho hlavním cílem je vytvářet vysoce srozumitelnou, méně dynamickou a méně rušící zvukovou stopu televizních pořadů automaticky z titulků. Abychom se vypořádali s problémy synchronizace mezi zvukovou a obrazovou stopou, navrhli jsme dvoufázový synchronizační proces. Tento proces zahrnuje časovou kompresi všech promluv zdrojového řečového korpusu (off-line) a on-line časovou kompresi řeči, která přesahuje časové sloty přiřazené titulkům. S ohledem na případovou studii, při níž jsme analyzovali zvukovou stopu vytvořenou systémem TTS vybraného filmu, jsme navrhli provádět zjednodušování textů desynchronizovaných titulků. Tímto způsobem je možné udržet časové komprimační faktory v rozumných mezích a vyhnout se tak rychlým změnám v dynamice vytvářené zvukové stopy.
Abstrakt EN: This paper presents experiments with a customisation of a corpus-based unit-selection text-to-speech (TTS) system for automatic dubbing of TV programmes. The project aims at people with hearing impairments as its main goal is to produce a highly intelligible, less-dynamic, and more-undisturbed audio track for TV programmes automatically from subtitles. A two-phase synchronisation process was proposed to cope with audio-video synchronisation issues. These phases include both off-line time compression of all utterances in a source speech corpus used for TTS and on-line time compression of speech that overlaps assigned subtitle time slots. Based on a case study, in which a TTS-generated audio track of a selected movie was analysed, a simplification of to-be-desynchronised subtitle texts was proposed in order to keep time-compression factors in a reasonable extent. In this way, abrupt changes in dynamics of the produced audio track are avoided.
Klíčová slova

Zpět

Patička