Přejít k obsahu


Recursive parameters estimation and structure adaptation of neural network

Citace: [] ŠIMANDL, M., HERING, P. Recursive parameters estimation and structure adaptation of neural network. In Proceedings of the eighth IASTED international conference on Intelligent systems and control. Anaheim: ACTA Press, 2005. s. 78-83. ISBN: 0-88986-517-5
Druh: STAŤ VE SBORNÍKU
Jazyk publikace: eng
Anglický název: Recursive parameters estimation and structure adaptation of neural network
Rok vydání: 2005
Místo konání: Anaheim
Název zdroje: ACTA Press
Autoři: Miroslav Šimandl , Pavel Hering
Abstrakt CZ: Je prezentována aplikace neuronových sítí pro identifikaci nelineárních stochastických systémů. Důraz je kladen na odhad parametrů a adaptaci struktury sítí. Jsou trénovány globální metodou filtrace, která umožňuje určení podmíněných hustot pravděpodobnosti parametrů sítě. Metoda Gaussovských směsí použitá pro odhad parametrů sítě dává lepší výsledky než běžně užívané metody chyby predikce a je zajímavou alternativou k sekvenční metodě Monte Carlo. Tento přístup též umožňuje adaptaci struktury která je dána prořezáváním nevýznamných spojení z předem vybrné velké sítě. Navržená metoda adaptace struktury využívá podmíněných hustot pravděpodobnosti parametrů získaných algoritmem odhadu k změření význačnosti spojení sítě a představuje zobecnění metody prořezávání založené na rozšířeném Kalmanově filtru. Navržený přístup trénování a prořezávání sítě je demonstrován na příkladě.
Abstrakt EN: Application of neural networks in identification of nonlin- ear stochastic systems is treated. The stress is laid on a parameters estimation and structure adaptation of the net- works. They are trained by a global filtering method allow- ing to determine conditional probability density functions of network parameters. The Gaussian sum approach used for parameters estimation of network gives better results than the commonly used prediction error methods, and it is an interesting alternative to sequential Monte Carlo meth- ods. The approach also enables structure adaptation which is given by pruning of insignificant connections from an a priori chosen large network. The designed structure adap- tation method utilizes conditional probability density func- tions of the parameters obtained from the estimation algo- rithm to measure saliency of the network connections and it represents a generalization of the extended Kalman filter based pruning method.
Klíčová slova

Zpět

Patička