| Д.Э. БЭСТЕНС, В.М. ВАН ДЕН БЕРГ, Д. ВУД. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. - Москва: ТВП,1997. - хх, 236 с., 1997 |
Обратное распространение ошибки |
Рассмотрим теперь наиболее распространенный алгоритм обучения нейронных сетей с прямой связью - алгоритм обратного распространения ошибки (Backpropagation, ВР), представляющий собой развитие так называемого обобщенного дельта-правша (см. [281]). Этот алгоритм был заново открыт и популяризирован в 1986 г. Ру- мельхартом и МакКлеландом из знаменитой Группы по изучению параллельных распределенных процессов в Массачусетсом техноло-гическом институте. В этом пункте мы более подробно рассмотрим математическую суть алгоритма. Он является алгоритмом градиентного спуска, минимизирующим суммарную квадратичную ошибку:
(9)
1 ы ;
Здесь индекс г пробегает все выходы многослойной сети.
Основная идея ВР состоит в том, чтобы вычислять чувствительность ошибки сети к изменениям весов. Для этого нужно вычислить частные производные от ошибки по весам. Пусть обучающее множество состоит из Р образцов, и входы к-го образца обозначены через \х'к}. Вычисление частных производных осуществляется по правшу цепи: вес входа 1-го нейрона, идущего от ]-го нейрона, пересчи- тывается по формуле
дш =-еуо- = -еУ = , (10)
где Е - длина шага в направлении, обратном к градиенту.
Если рассмотреть отдельно к-й образец, то соответствующее изменение весов равно
AWii = -e-^- = -e5,kx[. (11)
4 дWij к к
Множитель вычисляется через аналогичные множители из последующего слоя, и ошибка, таким образом, передается в обратном направлении.
Для выходных элементов мы получаем:
=-(4-4)ГК). (12)
дук дх'к дук Дня скрытых элементов множитель определяется так:
дЕ, дЕ, dv*l _ ч
dvk hdvk dvk
С учетом того, что
= и ^f = Whifb[), (14)
получаем:
8l=-^=-/Vt)2>* 8J. (15)
где индекс h пробегает номера всех нейронов, на которые воздействует i-й нейрон.
Данный алгоритм используется в двух вариантах. В стохастическом варианте веса пересЧитываются каждый раз после просчета очередного образца, а в лэпохальном, или off-line варианте, веса меняются после просчета всего обучающего множества.
|
| << Предыдушая |
Следующая >> |
| = К содержанию = |
Похожие документы: "Обратное распространение ошибки" |
- Введение
обратного распространения ошибки (MBPN, Multilayer BackPropagation Network). Этот алгоритм наиболее широко распространен и наименее уязвим с точки зрения математики. Благодаря экспоненциально возрастающему в последние несколько лет количеству конференций по финансовым применениям нейронных сетей, эта методика завоевывает все большее доверие в финансовых кругах. Она имеет самые разные применения:
- Другие алгоритмы обучения
обратного распространения ошибки и квази-ньютоновские методы. В литературе описано много других алгоритмов, реализующих иные подходы к задаче оптимизации. Так, в основанном на идеях статистической физики методе лзамораживания стабилизация алгоритма осуществляется за счет понижения лтемпературного параметра. Другие подходы, такие, как метод случайного блуждания [ 13] или А1орех [269] используют
- Динамические, самоорганизующиеся сети и сети со встречным распространением
обратного распространения ошибки рассматриваются в литературе чаще других. Кроме них, существует много других сетевых моделей, некоторые из которых имеют вычурные названия: лконкурентное обучение (или ладаптивная теория резонанса), сети Хопфилда, машины Больцмана, самоорганизующиеся карты признаков
- Нейронные сети с временной задержкой
обратного распространения ошибки или какого-то из его многочисленных вариантов. Сети такой конструкции успешно применялись в задачах распознавания речи, предсказания нелинейных временных рядов и нахождения закономерностей в
- НЕСКОЛЬКО НЕЙРОННО-СЕТЕВЫХ ЭКСПЕРИМЕНТОВ С ЛОГИСТИЧЕСКИМИ ВРЕМЕННЫМИ РЯДАМИ
обратного распространения ошибки (МВРЫ) на искусственно смоделированном псевдохаотическом временном ряде. Начнем с простого логистического механизма обратной связи, описанного выше (см. рис. 3.4): р, =1-4^+4^. (4) Рассматривалась 1-2-1 МВРЫ-сеть (1 входной элемент, 1 скрытый слой из двух элементов и 1 выходной элемент), с полной связью между соседними слоями и без прямых связей между входом и
- ОБУЧЕНИЕ
обратного распространения ошибки. Сеть имела 10 входных узлов, 3 узла в скрытом слое и выходной слой, состоящий из одного узла. Применялся программный пакет NevProp с параметрами, приведенными в табл. 7.5. В случаях, когда делались прогнозы для США, Японии и Великобритании, в качестве целевого индекса выбирался индекс MSCI для Германии, представляющей второй по величине рынок. Это делалось для
- РАЗРАБОТКА МОДЕЛИ
обратного распространения ошибки с постепенным уменьшением коэффициента обучения по правилу Липма- на, и модель достигала сходимости после 2000 итераций (эпох), при этом квадратный корень из среднеквадратичной ошибки составил 6.2% от среднего отклонения
- 0 НАУКАХ
обратно пропорционально их распространению, а добро - прямо пропорционально. Ловкий обманщик, как правило, человек недюжинных способностей, часто пользуется обожанием невежественной толпы, а просвещенные люди его освистывают. Знания облегчают сравнения между предметами и, увеличивая число различных точек зрения на эти предметы, противопоставляют 233 мнотие ощущения друг другу, что взаимно их
- 2.5. Региональные предпринимательские сети: бизнес-центры, бизнес-инкубаторы
обратной связи между местной властью и предпринимательскими структурами; Консультативное направление Аналитическое направление Инвестиционное направление ? лоббирование законодательства в вопросах малого предпринимательства. Руководитель бизнес-центра Координационное направление Организационное направление Образовательное направление Информационное направление Рис. 2.4. Организационная
- 18.3 Процесс управления персоналом предприятия
обратное - адаптация работы к человеку: организация рабочих мест в соответствии с требованиями эргономики; гибкое регули рование ритма и продолжительности рабочего времени; построе ние структуры предприятия (подразделения) и распределение трудовых функций и конкретных заданий исходя из личных осо-бенностей и способностей работников; индивидуализация систе мы стимулирования. Большинство людей в
|
Финансы