Поскольку сети с прямой связью являются универсальным средством аппроксимации функций, с их помощью можно оценить апостериорные вероятности в данной задаче классификации. Благодаря гибкости в построении отображения можно добиться такой точности аппроксимации апостериорных вероятностей, что они практически будут совпадать со значениями, вычисленными по правилу Байе- са (так называемые оптимальные процедуры классификации, см. [131]).
Богатые возможности отображения особенно важны в тех случа-ях, когда на основе нескольких оценок строится высокоуровневая процедура принятия решений. Известно много приложений нейронных сетей с прямой связью к задачам классификации. Как правило, они оказываются эффективнее других методов, потому что нейронная сеть генерирует бесконечное число нелинейных регрессионных моделей (см. [230]).
К сожалению, хотя теоретически характеристики нейронной сети с прямой связью стремятся к байесовской, в применении их к практическим задачам выявляется ряд недостатков. Во-первых, заранее неизвестно, какой сложности (т.е. размера) сеть потребуется для достаточно точной реализации отображения. Эта сложность может оказаться чрезмерно большой. Архитектура сети, т.е. число слоев и число элементов в каждом слое, должна быть зафиксирована до начала обучения. Эта архитектура порождает сложные нелинейные разделяющие поверхности в пространстве входов. В сети с одним скрытым слоем векторы образцов сначала преобразуются (нелинейным образом) в новое пространство представлений (пространство скрытого слоя), а затем гиперплоскости, соответствующие выходным узлам, располагаются так, чтобы разделить классы уже в этом новом пространстве. Тем самым, сеть распознает уже другие характерис-тикиЧ лхарактеристики характеристик, полученные в скрытом слое.
Все это подчеркивает важность этапа предварительной обработки данных. Чем более компактно представлены характеристики образцов, тем меньше зависимость от настраиваемых параметров сети (О или 1).
|
- Анализ показателей работы сети
нейронная сеть с прямой связью и сигмоидными выходами выдает ответ в непрерывном виде, обычно в интервале от 0 до 1 в зависимости от того, как располагаются разделяющие гиперплоскости скрытых элементов. Однако, даже если на выходе используются не апостериорные вероятности, а какая-либо более простая решающая функция, имеется возможность выдать надежный ответ. Настраивая критерий отбрасывания,
- Введение
нейронные сети (сети компьютерных процессоров, взаимодействие которых построено по образцу процессов обучения, происходящих в человеческом мозге) и генетические алгоритмы (методы, в которых, исходя из большого набора первоначальных предположений, вырабатывают все более правильные представления о поведении рынка и, в конечном счете, более содержательные рабочие гипотезы). Про методы обоих видов
- Нейронные сети с прямой связью
нейронная сеть построена из нейронов, связанных друг с другом. Даже если работа нейронной сети имитируется на компьютере, лучше представлять ее себе не как программу, а как электронную схему. Мы будем рассматривать два вида нейронных сетей: статические, которые также часто называют сетями с прямой связью (feed-forward), и динамические, или рекуррентные сети. В этом разделе мы займемся
- Объем обучающей выборки
нейронов: Баум установил, что на сети с прямой связью, построенной из линейных пороговых функциональных элементов, можно получить правильные обобщения, если объем обучающего множества в несколько раз больше объема сети. Для многослойных сетей общего вида, построенных из сигмоидальных элементов, аналогичное утверждение не имеет места (см.
- Нейронные сети с временной задержкой
нейронной сети с временной задержкой позволяет моделировать любую конечную временную зависимость вида (21) Поскольку -рекуррентные связи отсутствуют, такая сеть может быть обучена при помощи стандартного алгоритма обратного распространения ошибки или какого-то из его многочисленных вариантов. Сети такой конструкции успешно применялись в задачах распознавания речи, предсказания нелинейных
- НЕЙРОННЫЕ СЕТИ В ЗАДАЧАХ КЛАССИФИКАЦИИЦель классификации
нейронных вычислений. В настоящей главе мы исследуем две главные области применения сетей с прямой связью: задачи классификации и моделирование временных рядов. Отличие между задачами этих двух типов состоит в наличии (временной) упорядоченности примеров. Рассмотрим, как нейронные сети с прямой связью (или многослойные персептроны - MLP, Multilayer Perceptron) используются в задачах
- Модели, основанные на нейронных сетях с прямой связью
нейронных сетей. Любая зависимость вида х, = с непрерывной нелинейной функцией/может быть воспроизведена на многослойной сети. Пример приведен на рис. 2.4. Рис. 2.4. Реализация АВМА (р,ц) модели на простейшей нейронной сети Вместо того, чтобы отображать поверхность во входном (фазовом) пространстве, образованную данными, посредством одной ги перплоскости (AR), нескольких гиперплоскостей (TAR),
- Обратное распространение ошибки
нейронных сетей с прямой связью - алгоритм обратного распространения ошибки (Backpropagation, ВР), представляющий собой развитие так называемого обобщенного дельта-правша (см. [281]). Этот алгоритм был заново открыт и популяризирован в 1986 г. Ру- мельхартом и МакКлеландом из знаменитой Группы по изучению параллельных распределенных процессов в Массачусетсом техноло-гическом институте. В этом
- Динамические, самоорганизующиеся сети и сети со встречным распространением
прямой связью и обучением методом обратного распространения ошибки рассматриваются в литературе чаще других. Кроме них, существует много других сетевых моделей, некоторые из которых имеют вычурные названия: лконкурентное обучение (или ладаптивная теория резонанса), сети Хопфилда, машины Больцмана, самоорганизующиеся карты признаков
- НЕСКОЛЬКО НЕЙРОННО-СЕТЕВЫХ ЭКСПЕРИМЕНТОВ С ЛОГИСТИЧЕСКИМИ ВРЕМЕННЫМИ РЯДАМИ
нейронные сети лучше, чем другие методы, подходят для выявления нелинейных закономерностей в отсутствие априорных знаний об основной модели. Их можно применять во всех случаях, где обычно используются линейные (или преобразованные линейные) методы с проведением оценок посредством подходящего статистического метода (см. [114]). Чтобы лучше представить себе возможности нейронных сетей, рассмотрим
|
Финансы