Образовательный портал | Нейронные сети с прямой связью Нейронные сети и финансовые рынки:

Blog

Банковское дело / Доходы и расходы / Лизинг / Финансовая статистика / Финансовый анализ / Финансовый менеджмент / Финансы / Финансы и кредит / Финансы предприятий / Шпаргалки Главная

Д.Э. БЭСТЕНС, В.М. ВАН ДЕН БЕРГ, Д. ВУД. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. - Москва: ТВП,1997. - хх, 236 с., 1997
Нейронные сети с прямой связью
Искусственная нейронная сеть построена из нейронов, связанных друг с другом. Даже если работа нейронной сети имитируется на компьютере, лучше представлять ее себе не как программу, а как электронную схему. Мы будем рассматривать два вида нейронных сетей: статические, которые также часто называют сетями с прямой связью (feed-forward), и динамические, или рекуррентные сети. В этом разделе мы займемся статическими сетями. Сети других видов будут кратко рассмотрены позднее. Нейронные сети с прямой связью состоят из статических нейронов, так что сигнал на выходе сети появляется в тот же момент, когда подаются сигналы на вход. Организация (топология) сети может быть различной. Если не все составляющие ее нейроны являются выходными, говорят, что сеть содержит скрытые нейроны. Наиболее общий тип архитектуры сети получается в случае, когда все нейроны связаны друг с другом (но без обратных связей). В конкретных задачах нейроны обычно бывают сгруппированы в слои. На рис. 1.3 показана типовая схема нейронной сети с прямой связью с одним скрытым слоем. Интересно отметить, что, согласно теоретическим результатам [79], [118], нейронные сети с прямой связью и с сигмоидными функциями являются универсальным средством для приближения (аппроксимации) функций. Говоря точнее, любую вещественнозначную функцию нескольких переменных на компактной области определе ния можно сколь угодно точно приблизить с помощью трехслойной сети. При этом, правда, мы не знаем ни размеров сети, которая для этого потребуется, ни значений весов. Более того, из доказательства этих результатов видно, что число скрытых элементов неограниченно возрастает при увеличении точности приближения. Сети с прямой связью, действительно, могут служить универсальным средством для аппроксимации, но нет никакого правила, позволяющего найти оптимальную топологию сети для данной задачи. Выходные элементы Скрытые элементы Входные элементы Рис. 1.3. Нейронная сеть с прямой связью с одним скрытым слоем (пороги не отмечены) I I Таким образом, задача построения нейронной сети является не-тривиальной. Вопросы о том, сколько нужно взять скрытых слоев, сколько элементов в каждом из них, сколько связей и какие обучающие параметры, в имеющейся литературе, как правило, трактуются облегченно. Предлагаемая обычно процедура состоит в переборе различных архитектур с целью найти лнаилучшую или хотя бы удовлетворительную модель. Такая концепция представляется весьма ограниченной. В литературе можно найти многочисленные лправила большого пальца для определения числа скрытых узлов или количества весовых коэффициентов. В качестве рецептов могут предлагаться: среднее арифметическое числа входов и выходов, половина числа входов или удвоенный квадратный корень из произведения входов и выходов. Такие предложения математически необоснованны, и исследования в этой области ведутся очень активно. Каждый узел многослойной сети проектирует свой входной вектор на вектор весов посредством скалярного произведения. Таким образом, в простейшем случае сети с одним скрытым слоем вектор входного сигнала проектируется на вектор весов каждого из нейронов скрытого слоя. В результате мы получаем иное представление входного сигнала. После этого результаты проекций подвергаются нелинейным преобразованиям. Их цель - усилить те характеристики, за которые отвечает соответствующий узел. Компоненты вектора весов каждого узла подобраны так, чтобы выделить определенные свойства сигнала. Посредством нелинейного преобразования способность узла улавливать эти свойства увеличивается. Число характеристик, которые нужно уловить, чтобы осуществить правильную конструкцию сети, зависит от исходной задачи. Выбор вариантов схемы сети может быть сужен также за счет априорных знаний о задаче. Так, Ле Куном [175] была разработана сеть с лраспределенными весами для цифрового распознавания рукописного текста (где разные области входного изображения накрывались одинаковыми масками, извлекающими нужные характеристики). Итак, мы описали, каким образом сеть с прямой связью осуществляет преобразование сигнала посредством весов, приписанных соединениям. Но как правильно выбрать значения этих весов? Этот момент обычно называют лобучением или лтренировкой сети. Мы займемся им в следующем разделе.
<< Предыдушая	Следующая >>
= К содержанию =
Похожие документы: "Нейронные сети с прямой связью"
Динамические, самоорганизующиеся сети и сети со встречным распространением сети с прямой связью и обучением методом обратного распространения ошибки рассматриваются в литературе чаще других. Кроме них, существует много других сетевых моделей, некоторые из которых имеют вычурные названия: лконкурентное обучение (или ладаптивная теория резонанса), сети Хопфилда, машины Больцмана, самоорганизующиеся карты признаков НЕЙРОННЫЕ СЕТИ В ЗАДАЧАХ КЛАССИФИКАЦИИЦель классификации нейронных вычислений. В настоящей главе мы исследуем две главные области применения сетей с прямой связью: задачи классификации и моделирование временных рядов. Отличие между задачами этих двух типов состоит в наличии (временной) упорядоченности примеров. Рассмотрим, как нейронные сети с прямой связью (или многослойные персептроны - MLP, Multilayer Perceptron) используются в задачах Нейронная сеть с прямой связью как классификатор нейронных сетей с прямой связью к задачам классификации. Как правило, они оказываются эффективнее других методов, потому что нейронная сеть генерирует бесконечное число нелинейных регрессионных моделей (см. [230]). К сожалению, хотя теоретически характеристики нейронной сети с прямой связью стремятся к байесовской, в применении их к практическим задачам выявляется ряд недостатков. Во-первых, Введение нейронные сети (сети компьютерных процессоров, взаимодействие которых построено по образцу процессов обучения, происходящих в человеческом мозге) и генетические алгоритмы (методы, в которых, исходя из большого набора первоначальных предположений, вырабатывают все более правильные представления о поведении рынка и, в конечном счете, более содержательные рабочие гипотезы). Про методы обоих видов Обратное распространение ошибки нейронных сетей с прямой связью - алгоритм обратного распространения ошибки (Backpropagation, ВР), представляющий собой развитие так называемого обобщенного дельта-правша (см. [281]). Этот алгоритм был заново открыт и популяризирован в 1986 г. Ру- мельхартом и МакКлеландом из знаменитой Группы по изучению параллельных распределенных процессов в Массачусетсом техноло-гическом институте. В этом Объем обучающей выборки нейронов: Баум установил, что на сети с прямой связью, построенной из линейных пороговых функциональных элементов, можно получить правильные обобщения, если объем обучающего множества в несколько раз больше объема сети. Для многослойных сетей общего вида, построенных из сигмоидальных элементов, аналогичное утверждение не имеет места (см. Нейронные сети с временной задержкой нейронной сети с временной задержкой позволяет моделировать любую конечную временную зависимость вида (21) Поскольку -рекуррентные связи отсутствуют, такая сеть может быть обучена при помощи стандартного алгоритма обратного распространения ошибки или какого-то из его многочисленных вариантов. Сети такой конструкции успешно применялись в задачах распознавания речи, предсказания нелинейных Анализ показателей работы сети нейронная сеть с прямой связью и сигмоидными выходами выдает ответ в непрерывном виде, обычно в интервале от 0 до 1 в зависимости от того, как располагаются разделяющие гиперплоскости скрытых элементов. Однако, даже если на выходе используются не апостериорные вероятности, а какая-либо более простая решающая функция, имеется возможность выдать надежный ответ. Настраивая критерий отбрасывания, Модели, основанные на нейронных сетях с прямой связью нейронных сетей. Любая зависимость вида х, = с непрерывной нелинейной функцией/может быть воспроизведена на многослойной сети. Пример приведен на рис. 2.4. Рис. 2.4. Реализация АВМА (р,ц) модели на простейшей нейронной сети Вместо того, чтобы отображать поверхность во входном (фазовом) пространстве, образованную данными, посредством одной ги перплоскости (AR), нескольких гиперплоскостей (TAR), НЕСКОЛЬКО НЕЙРОННО-СЕТЕВЫХ ЭКСПЕРИМЕНТОВ С ЛОГИСТИЧЕСКИМИ ВРЕМЕННЫМИ РЯДАМИ нейронные сети лучше, чем другие методы, подходят для выявления нелинейных закономерностей в отсутствие априорных знаний об основной модели. Их можно применять во всех случаях, где обычно используются линейные (или преобразованные линейные) методы с проведением оценок посредством подходящего статистического метода (см. [114]). Чтобы лучше представить себе возможности нейронных сетей, рассмотрим