Банковское дело / Доходы и расходы / Лизинг / Финансовая статистика / Финансовый анализ / Финансовый менеджмент / Финансы / Финансы и кредит / Финансы предприятий / Шпаргалки Главная Финансы Финансы
Д.Э. БЭСТЕНС, В.М. ВАН ДЕН БЕРГ, Д. ВУД. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. - Москва: ТВП,1997. - хх, 236 с., 1997

Обратное распространение ошибки

Рассмотрим теперь наиболее распространенный алгоритм обучения нейронных сетей с прямой связью - алгоритм обратного распространения ошибки (Backpropagation, ВР), представляющий собой развитие так называемого обобщенного дельта-правша (см. [281]). Этот алгоритм был заново открыт и популяризирован в 1986 г. Ру- мельхартом и МакКлеландом из знаменитой Группы по изучению параллельных распределенных процессов в Массачусетсом техноло-гическом институте. В этом пункте мы более подробно рассмотрим математическую суть алгоритма. Он является алгоритмом градиентного спуска, минимизирующим суммарную квадратичную ошибку:
(9)
1 ы ;
Здесь индекс г пробегает все выходы многослойной сети.
Основная идея ВР состоит в том, чтобы вычислять чувствительность ошибки сети к изменениям весов. Для этого нужно вычислить частные производные от ошибки по весам. Пусть обучающее множество состоит из Р образцов, и входы к-го образца обозначены через \х'к}. Вычисление частных производных осуществляется по правшу цепи: вес входа 1-го нейрона, идущего от ]-го нейрона, пересчи- тывается по формуле
дш =-еуо- = -еУ = , (10)
где Е - длина шага в направлении, обратном к градиенту.
Если рассмотреть отдельно к-й образец, то соответствующее изменение весов равно
AWii = -e-^- = -e5,kx[. (11)
4 дWij к к
Множитель вычисляется через аналогичные множители из последующего слоя, и ошибка, таким образом, передается в обратном направлении.
Для выходных элементов мы получаем:
=-(4-4)ГК). (12)
дук дх'к дук Дня скрытых элементов множитель определяется так:
дЕ, дЕ, dv*l _ ч
dvk hdvk dvk
С учетом того, что
= и ^f = Whifb[), (14)
получаем:
8l=-^=-/Vt)2>* 8J. (15)
где индекс h пробегает номера всех нейронов, на которые воздействует i-й нейрон.
Данный алгоритм используется в двух вариантах. В стохастическом варианте веса пересЧитываются каждый раз после просчета очередного образца, а в лэпохальном, или off-line варианте, веса меняются после просчета всего обучающего множества.
<< Предыдушая Следующая >>
= К содержанию =
Похожие документы: "Обратное распространение ошибки"
  1. Введение
    обратного распространения ошибки (MBPN, Multilayer BackPropagation Network). Этот алгоритм наиболее широко распространен и наименее уязвим с точки зрения математики. Благодаря экспоненциально возрастающему в последние несколько лет количеству конференций по финансовым применениям нейронных сетей, эта методика завоевывает все большее доверие в финансовых кругах. Она имеет самые разные применения:
  2. Другие алгоритмы обучения
    обратного распространения ошибки и квази-ньютоновские методы. В литературе описано много других алгоритмов, реализующих иные подходы к задаче оптимизации. Так, в основанном на идеях статистической физики методе лзамораживания стабилизация алгоритма осуществляется за счет понижения лтемпературного параметра. Другие подходы, такие, как метод случайного блуждания [ 13] или А1орех [269] используют
  3. Динамические, самоорганизующиеся сети и сети со встречным распространением
    обратного распространения ошибки рассматриваются в литературе чаще других. Кроме них, существует много других сетевых моделей, некоторые из которых имеют вычурные названия: лконкурентное обучение (или ладаптивная теория резонанса), сети Хопфилда, машины Больцмана, самоорганизующиеся карты признаков
  4. Нейронные сети с временной задержкой
    обратного распространения ошибки или какого-то из его многочисленных вариантов. Сети такой конструкции успешно применялись в задачах распознавания речи, предсказания нелинейных временных рядов и нахождения закономерностей в
  5. НЕСКОЛЬКО НЕЙРОННО-СЕТЕВЫХ ЭКСПЕРИМЕНТОВ С ЛОГИСТИЧЕСКИМИ ВРЕМЕННЫМИ РЯДАМИ
    обратного распространения ошибки (МВРЫ) на искусственно смоделированном псевдохаотическом временном ряде. Начнем с простого логистического механизма обратной связи, описанного выше (см. рис. 3.4): р, =1-4^+4^. (4) Рассматривалась 1-2-1 МВРЫ-сеть (1 входной элемент, 1 скрытый слой из двух элементов и 1 выходной элемент), с полной связью между соседними слоями и без прямых связей между входом и
  6. ОБУЧЕНИЕ
    обратного распространения ошибки. Сеть имела 10 входных узлов, 3 узла в скрытом слое и выходной слой, состоящий из одного узла. Применялся программный пакет NevProp с параметрами, приведенными в табл. 7.5. В случаях, когда делались прогнозы для США, Японии и Великобритании, в качестве целевого индекса выбирался индекс MSCI для Германии, представляющей второй по величине рынок. Это делалось для
  7. РАЗРАБОТКА МОДЕЛИ
    обратного распространения ошибки с постепенным уменьшением коэффициента обучения по правилу Липма- на, и модель достигала сходимости после 2000 итераций (эпох), при этом квадратный корень из среднеквадратичной ошибки составил 6.2% от среднего отклонения
  8. 0 НАУКАХ
    обратно пропорционально их распространению, а добро - прямо пропорционально. Ловкий обманщик, как правило, человек недюжинных способностей, часто пользуется обожанием невежественной толпы, а просвещенные люди его освистывают. Знания облегчают сравнения между предметами и, увеличивая число различных точек зрения на эти предметы, противопоставляют 233 мнотие ощущения друг другу, что взаимно их
  9. 2.5. Региональные предпринимательские сети: бизнес-центры, бизнес-инкубаторы
    обратной связи между местной властью и предпринимательскими структурами; Консультативное направление Аналитическое направление Инвестиционное направление ? лоббирование законодательства в вопросах малого предпринимательства. Руководитель бизнес-центра Координационное направление Организационное направление Образовательное направление Информационное направление Рис. 2.4. Организационная
  10. 18.3 Процесс управления персоналом предприятия
    обратное - адаптация работы к человеку: организация рабочих мест в соответствии с требованиями эргономики; гибкое регули рование ритма и продолжительности рабочего времени; построе ние структуры предприятия (подразделения) и распределение трудовых функций и конкретных заданий исходя из личных осо-бенностей и способностей работников; индивидуализация систе мы стимулирования. Большинство людей в