Extreme learning machine and its variants for time-varying neural networks

System identification in nonstationary environment represents a challenging problem and an advaned neural architecture namely Time-Varying Neural Networks (TV-NN) has shown remarkable identification properties in nonlinear and nonstationary conditions. Time-varying weights, each being a linear combination of a certain set of basis functions, are used in such kind of networks instead of stable ones, which inevitalbly increases the number of free parameters. Therefore, an Extreme Learning Machine (ELM) approach is developed to accelerate the training procedure for TV-NN. What is more, in order to obtain a more compact structure, or determine several important parameters, or update the network more efficiently in online case, several variants of ELM-TV are proposed and discussed in the thesis. Related computer simulations have been carried out and show the effectiveness of the algorithms.

L’Identificazione di sistemi tempo-varianti rappresenta un problema e una sfida nell’ambito dell’elaborazione dei segnali. Una innovativa architettura neurale proposta di recente, ovvero le reti neurali tempo varianti (TV-NN), ovvero che variano nel tempo, ha dimostrato notevoli proprietà di identificazione in condizioni non lineari e non stazionari. Queste reti sono caratterizzate da pesi che invece di essere parametri numerici sono funzioni del tempo, ciascuno dei quali è una combinazione lineare di un certo insieme di funzioni di base. questo fatto aumenta inevitabilmente il numero di parametri liberi da trainare. Pertanto, l’approccio Extreme Machine Learning (ELM) è stato sviluppato per accelerare la procedura di training per la TV-NN, dando luogo all’algoritmo base ELM-TV. Inoltre, al fine di ottenere o una struttura più compatta, o determinare alcuni parametri importanti, o aggiornare la rete in modo più efficiente nel caso di applicazioni on-line, diverse varianti di ELM-TV vengono proposte e discusse nella tesi. Sono state effettuate diverse simulazioni al computer che hanno mostrato ląŕefficacia degli algoritmi implementati.