Книги по разным темам Pages:     | 1 |   ...   | 15 | 16 | 17 | 18 | 19 |   ...   | 82 |

Таблица 4. Сравнение контроллеров с гауссовскими ФП и ANFIS ННК Мамдани с ННК Цукамото с ННК Сугено с Сеть ANFIS гауссовской ФП гаусовской ФП гауссовской ФП Реальное значение Прогноз Ошибка Прогноз Ошибка Прогноз Ошибка Прогноз Ошибка 58,1 58,62 0,52 58,23 0,13 58,37 0,27 58,42 0,58,7 58,23 0,47 58,54 0,16 58,47 0,23 58,34 0,59,4 59 0,4 59,14 0,26 59,1 0,3 59,02 0,59 59,57 0,57 59,11 0,11 59,25 0,25 59,29 0,59,85 60,51 0,66 59,97 0,12 60,19 0,34 60,24 0,59,6 59,02 0,58 59,416 0,184 59,37 0,23 59,29 0,59,9 60,66 0,76 60,12 0,22 60,27 0,37 60,3 0,60,65 60,04 0,61 60,5 0,15 60,48 0,17 60,41 0,60,65 60,07 0,58 60,54 0,11 60,42 0,23 60,4 0,61,15 61,78 0,63 61,32 0,17 61,4 0,25 61,43 0, СКО: 0,34312 СКО: 0,028236 СКО: 0,0728 СКО: 0,Таблица 5. Сравнение контроллеров с треугольными ФП и ANFIS.

ННК Мамдани с ННК Цукамото с ННК Сугено Сеть ANFIS треугольной ФП треугольной ФП треугольной с ФП Реальное значение Прогноз Ошибка Прогноз Ошибка Прогноз Ошибка Прогноз Ошибка 58,1 58,62 0,52 58,41 0,31 58,48 0,38 58,5 0,58,7 58,23 0,47 58,46 0,24 58,37 0,33 58,31 0,59,4 59 0,4 59,11 0,29 59,05 0,35 59,01 0,59 59,57 0,57 59,15 0,15 59,27 0,27 59,33 0,59,85 60,51 0,66 60,1 0,25 60,23 0,38 60,3 0,59,6 59,02 0,58 59,313 0,287 59,23 0,37 59,16 0,59,9 60,66 0,76 60,22 0,32 60,32 0,42 60,39 0,60,65 60,04 0,61 60,45 0,2 60,4 0,25 60,31 0,60,65 60,07 0,58 60,31 0,34 60,28 0,37 60,38 0,61,15 61,78 0,63 61,39 0,24 61,42 0,27 61,49 0, СКО: 0,34312 СКО: 0,072077 СКО: 0,081787 СКО: 0,На рис.1 приведены результаты прогнозирования для НК Мамдани, Цукамото и Сугено, для гауссовских ФП и ННС ANFIS, а на рис.2 для треугольной ФП.

Как демонстрируют приведенные результаты в таблицах и на рис., наилучшим, хотя и с небольшим отрывом, оказался контроллер Мамдани с гауссовской ФП. Его СКО составляет всего 0,028236. Дальше по качеству прогноза идет контроллер Цукамото, причем гауссовские ФП дают немного лучший результат, чем треугольные. Но в целом их прогнозы очень близки (СКО=0,0728 и СКО=0,0817 соответственно).

Это дает основание допустить, что подбор еще более удачного кода функций принадлежности дает возможность еще больше улучшить результаты прогноза.

И наконец, уже на последнем месте (со сравнительно большим отрывом) находятся результаты, полученные с помощью ННС ANFIS (СКО=0,34312).

Neural and Growing Networks 60,59,Мамдани Цукомото Сугено ANFIS 58,real 1 2 3 4 5 6 7 8 9 Рис.60,59,Мамдани Цукомото Сугено ANFIS 58,Real 1 2 3 4 5 6 7 8 9 Рис.Выводы 1.В статье рассмотрены нечеткие нейронные сети с логическим выводом Мамдани, Цукамото и Сугено.

2.Описан алгоритм обучения гауссовского вида с выодом Мамдани и Цукамото.

3.Проведены экспериментальные исследования применения нечетких нейросетей в задачах прогнозирования финансовых показателей и выполнен анализ их эффективности.

4.Сравнительный анализ точности прогнозирования с использованием ННС Мамдани, Цукамото, Сугено и ANFIS показали, что наилучшей для прогнозирования экономических и финансовых показателей является НК Мамдани с гауссовской ФП, а наихудшей - ННС ANFIS, показатели которой существенно хуже в сравнении с НК Мамдани, Цукамото и Сугено. Этот результат можно объяснить тем, что в ННС ANFIS параметры выходных функций задаются априори и не настраиваются в процессе обучения, что является недостатком данной нейросети.

5.Проведенные экспериментальные исследования показали большие потенциальные возможности ННС и подтвердили их эффективность в задачах макроэкономического и финансового прогнозирования XII-th International Conference "Knowledge - Dialogue - Solution" Литература 1. Круглов В.В., Борисов В.В. Гибридные нейронные сети. Горячая линия - телеком, Москва, 2002.-382с.

2. Осовекий С. Нейронные сети для обработки информации. /Пер. с польского И.Д. Рудинского. - М. Финансы и статистика, 2002. - 344с.

3. Ярушкина Н.Г. Нечеткие нейронные сети. /новости искусственного интеллекта, №3, 2001.-стр.47-4. Зайченко Ю.П., Севаее Фатма, Титаренко К.М., Титаренко Н.В. Исследования нечетких нейронных сетей в задачах макроэкономического прогнозирования. // Системн дослдження та нформацйн технолог. -2004.-№2.с.70-86.

5. Зайченко Ю.П., Севаее Фатма. Исследования нечеткой нейронной сети ANFIS в задачах макроэкономического прогнозирования. // В тр. 11-ой международной конференции УKnowledge-Dialogue-Solution Ф. KDS.-2005. June 2030, 2005. Varna, Bulgaria. pp.479-485.

6. Зайченко Ю.П., Севаее Фатма. Исследования нечеткой нейронной сети ANFIS в задачах макроэкономического прогнозирования. // Системн дослдження та нформацйн технолог.-2005.-№1.-с.100-7. Зайченко Ю.П. Основи проектування нтелектуальних систем.- Вид.дм Слово, Киев, 2004. - 352с.

Информация об авторах Зайченко Юрий Петрович - НТУУ Киевский политехнический институт, профессор, Киев, проспект Победы 37, тел. 38-044-2418693, e-mail: zaych@i.com.ua Фатма М. Севаее (Ливия) - НТУУ Киевский политехнический институт, аспирант, Киев, проспект Победы 37, тел. 38-044-Келестин Юрий Васильевич - магистр, начальник объединения Техноцентр, г. Рогатин, Ивано-Франковская обл., тел. 38-03435-RECURRENT LEARNING ALGORITHM FOR DOUBLE-WAVELET NEURON Yevgeniy Bodyanskiy, Nataliya Lamonova, Olena Vynokurova Abstract: In this paper a new double wavelet neuron architecture obtained by modification of standard wavelet neuron, and its learning algorithm for its parameters are proposed. The offered architecture allows to improve the approximation properties of wavelet-neuron. Double wavelet neuron and its learning algorithm are examined for predicting non-stationary chaotic time series.

Keywords: wavelet, double-wavelet neuron, recurrent learning algorithm, forecasting, emulation.

Introduction Recently, in the analysis tasks and the non-stationary series processing under the uncertainty conditions computational intelligence techniques are widely used, particularly hybrid neural networks. The most important task related to signal processing is forecasting and emulation of dynamic non-stationary states of systems in the future.

For solving such kind of problems a variety of neural network architectures including hybrid architectures are used. However they are either bulky because of their architecture (for instance multilayer perceptron) or poorly adjusted for learning process in real time. In most cases the activation functions for these neural networks are sigmoidal functions, splines, polynomials and radial basis functions.

In addition wavelet theory is widespread [1-3] and allows with high accuracy to recognize the local characteristics of the non-stationary signals. At the confluency of the two approaches, hybrid neural networks and wavelet theory, has evolved the so-called wavelet neural networks [4-18] that has good approximating properties and sensitivity to the changes of characteristics of the analyzed processes.

Neural and Growing Networks Previous studies have proposed and described [19-21] attractive features of wavelet neuron such as technical realization, ensured accuracy and learning simplicity. At the same time the wavelet functions are incarnated either at the level of synaptic weights or the neuron output, and as a learning algorithm the gradient learning algorithm with constant step is used. For the improvement of approximation abilities and the acceleration of the learning process the present work introduces a new structure called double wavelet-neuron and learning algorithm that has smoothing and approximation properties.

Wavelet Activation Functions As the activation functions of double-wavelet-neuron one can use various kind of analytical wavelets. Among them, two wavelet families, POLYWOG-wavelets and RASP-wavelets have of the most interesting properties.

Wavelet RASP family consists of wavelets on the basis of rational functions (RAtional functions with Secondorder Poles - RASP), concerned with the residue theorem of complex variables [4].

Fig. 1 shows two typical representatives of mother wavelet RASP, which can be described as following 1 cos(xi (k)) 1 (xi (k)) =, 1 = 2.7435, (1) ji xi2(k) + sin( xi (k)) 2 (xi (k)) =, = 0.6111. (2) ji xi2(k) -These wavelets are real odd functions with zero average.

a) b) Fig. 1 - Representatives of wavelet RASP family Another large wavelet family can be obtained from polynomials windowed with Gaussians type of functions (POLYnomials WindOwed with Gaussians type of function - POLYWOG) [4]. It is interesting to note that the derivatives from these functions are as well wavelet POLYWOG and can be used as mother wavelets.

Fig. 2 shows several typical wavelets from POLYWOG family which can be described as following -xi2(k) 1 (xi (k)) = 1xi (k) exp, 1 = exp, (3) (-12) ji -xi2(k) 2 (xi (k)) = 2 xi3(k) - 3xi (k) exp, 2 = 0.7246, (4) () ji -xi2(k) 3 (xi (k)) = 3 xi4(k) - 6xi2(k) + 3 exp, 3 = 13, (5) () ji -xi2(k) 4 (xi (k)) = 1- xi2(k) exp. (6) ()ji XII-th International Conference "Knowledge - Dialogue - Solution" а) b) c) d) Fig. 2 - Representatives of POLYWOG family Some wavelets of POLYWOG family can be obtained with the help of simple generators. In this way, wavelet of the family can be generated by taking into consideration hermicity properties of the polynomial derivative and Gaussian function.

Structure of Double-wavelet Neuron Fig. 3 introduces the structure of double-wavelet neuron, and one can note that double wavelet-neuron is very close by its structure to n-input wavelet-neuron [19-21], however, it consists of nonlinear wavelet functions at the synaptic weights and output levels of the structure.

f1(x1) x1(k) WSf2(x2) u(k) y(k) x2(k) WS2 WS xn(k) WSn fn(xn) Fig. 3 - Generalized structure of double wavelet-neuron Neural and Growing Networks If a vector signal x(k) = (x1(k), x2(k), Е, xn(k))T (here k = 0, 1, 2, Е number of sample in the training set or current discrete time) is fed to the input of he double wavelet-neuron shown in Fig. 4 then the output is determined as n y(k) = f0 fi (xi (k)) = f0(u(k)) = i= (7) h2 n h1 h = (xi (k))wji (k)wj0 = (u(k))wl (k), l0 ji l0 l=0 i=1 j=0 l= this is determined by synaptic weights wji (k), wl 0 as well as by the values of the used wavelet functions (xi (k)), l 0(u(k)), on assumption that 00(Х) = 0i (Х) 1.

ji The double wavelet-neuron is composed of two layers: hidden layer that contains n-wavelet synapses with h1 wavelet-functions in each and output layer that contains one wavelet-synapse with h2 wavelet-functions.

In each wavelet-synapse, the wavelets that differ between each other by dilation and translation factors and bias are realized.

wwf1(x1) x1 21 w h 1 wh 1 w02 w12 w12 wf2(x2) u y x2 22 w22 20 w h 2 wh 2 h 0 wh 1 1 w0n 1n w1n fn(xn) xn 2n w2n hn whn Fig. 4 - Architecture of double wavelet-neuron with nonlinear wavelet-synapses Synthesis of Double Wavelet-neuron Learning Algorithm In the tuning for the output layer of double wavelet-neuron as a criterion we use E(k) = (d(k) - y(k))2 = e2(k), (8) where d(k) - the external training signal.

The learning algorithm for the output layer of double wavelet-neuron on the basis of gradient approach is as wj0(k +1) = wj0(k) +0(k)e(k) (u(k)), (9) jXII-th International Conference "Knowledge - Dialogue - Solution" or in the vector form w0(k +1) = w0(k) +0(k)e(k)0(u(k)), (10) where w0(k) = (w10(k), w20(k),Е, wh 0(k))T - the vector of synaptic weights, 0(k) = (10(k),20(k),Е,h 0(k))T - the vector of wavelet-activation functions, e(k) - the learning error, 0(k) - learning rate parameter which is subject to determination.

To increase the rate of convergence of the training process it is necessary to turn from gradient procedures to the second-order procedures among which the Levenberg-Marquardt algorithm is widespread.

After simple transformations one can obtain the learning algorithm in the form e(k)0(u(k)) w (k +1) = w0(k) +, iw (k). (11) w00 (k +1) = iw (k) + 0(u(k +1)), i where - the forgetting factor of out-dated information ( 0 1).

The tuning of hidden layer is carried out in the same way on the basis of error backpropagation by using the same criterion written in the form hn E(k) = (d(k) - f0(u(k)))2 = d(k) - f0 (12) (xi (k))wji (k).

ji i=1 j= The learning algorithm for the hidden layer of double wavelet-neuron on the basis of gradient optimization has a form wji (k +1) = wji (k) +(k)e(k) f0(u(k)) (xi (k)), (13) ji or in the vector form wi (k +1) = wi (k) +(k)e(k) f0(u(k))i (xi (k)), (14) where wi (k) = (w1i (k), w2i (k),Е, wh i (k))T - the vector of synaptic weights, i (k) = (1i (k),2i (k),Е,h i (k))T - the vector of wavelet-activation functions, e(k) - the learning error, (k) - the learning rate.

By analogy with (11) one can introduce the procedure e(k) f0(u(k))i (xi (k)) w (k +1) = wi (k) +, i iw (k). (15) w11 (k +1) = iw (k) + i (xi (k +1)), i where 0 1.

Simulation Results Effectiveness of performance for the proposed double wavelet-neuron and its learning algorithm (11), (15) were investigated in the process of solving forecasting problem and emulation of chaotic behavior of nonlinear dynamic system in the form 5xn xn+1 = - 0.5xn - 0.5xn-1 + 0.5xn-2 (16) 1+ xn with initial values x0 = 0.2, x1 = 0.3, x2 =1.0.

The training set contained 1000 samples, and checking set - 500 samples. Double wavelet-neuron had synapses in the hidden layer corresponding to 5 inputs x(k - 4), x(k - 3), x(k - 2), x(k -1), x(k);(n = 5) Neural and Growing Networks with 20 wavelets in each synapse ( hi = 20, i =1Е5). Output layer consisted of 5 wavelets in synapse WS0.

Initial values of synaptic weights were generated in a random way from -0.1 to +0.1.

Several criterions were used for the quality rating of forecast:

- mean-square error (RMSE) N RMSE = (x(k) - x(k))2 ;

N k =- Trefferquote [23, 23] represents percentage ratio of correctly predicted directions to actual direction of the signal N N - sign(x(k) - x(k -1)) - sign(x(k) - x(k -1)) k =Trefferquote =100% ;

N - Wegstrecke [22, 23], represents quality rating of the predicted model (value +1 corresponds to the optimal predictive model, and -1 - to the incorrect forecast) and described by the equation N signal(k)(x(k) - x(k -1)) k =Wegstreke =, N x(k) - x(k -1) k =where signal(k) - sign-function in the form 1, if x(k) - x(k) > 0, signal(k) = if x(k) - x(k) < 0, -1, 0, in other cases, x(k) - the actual value of forecasting process, x(k) - the forecast, N - the length of training set.

Fig. 5 shows the results of forecast process on the basis of data from text set after 10 training epoch with the parameter = 0.99.

Pages:     | 1 |   ...   | 15 | 16 | 17 | 18 | 19 |   ...   | 82 |    Книги по разным темам