Книги, научные публикации
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ ПОДХОДЫ К РЕШЕНИЮ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ А.С. Рудаков, аспирант Московского государственного университета печати E
mail: shmel_ras В статье предлагается методика выбора рационального подхода к решению задачи прогнозирования временных рядов с помощью нейронных сетей между существующим подходом аппроксимации и предлагаемым подходом кластеризации, который только косвенно упоминается в области прогнозирования. Предлагаемая методика позволяет повысить эффективность проектирования и применения нейронных сетей для решения задач прогнозирования временных рядов путем определения на начальном этапе проек тирования наиболее подходящей для решения поставленной задачи структуры сети и ал горитма обучения. Для выполнения этой задачи в основу методики положен анализ исходных обучающих данных, известных из условия поставленной задачи. В статье пред лагается алгоритм для реализации методики.
Введение дной из наиболее распространенных облас в результате обучения принимают вид, соответству тей применения нейронных сетей в настоя ющий некоторой функции, представленной вход Ощее время является область экономических ными и выходными векторами обучающего множе и финансовых систем [1]. Это обусловлено одним ства [2]. Данный подход в основном применяется из основных достоинств нейронных сетей Ч воз в задачах прогнозирования, в которых каждому можностью имитации процессов с большим коли конкретному входному вектору, представленному чеством влияющих параметров, что является очень входными параметрами нейронной сети, соответ сложным или невозможным для традиционных ствует конкретное значение прогнозируемого век методов в подобных условиях, например методов тора, представленного выходными параметрами оптимизации. Однако, следствием широкого рас нейронной сети:
пространения нейронных сетей стала разработка большого количества разнообразных алгоритмов (1) обучения нейронных сетей и их модификаций.
Таким образом, актуальной является задача разра где xi Ч i ый входной вектор, yi Ч соответствующее ботки метода выбора рационального подхода к ре значение прогнозируемого вектора;
шению задачи прогнозирования временных рядов f(xi) Ч прогнозирующая функция.
с помощью нейронных сетей.
В большинстве случаев для решения задач про Подход аппроксимации функции имеет свои не гнозирования с помощью нейронных сетей в насто достатки. В случае непериодической зависимости ящее время применяют подход аппроксимации входных и выходных данных не исключена ситуа функции. При использовании подхода аппрокси ция отрицательного результата обучения, из за мации функции, настраиваемые параметры сети сложной формы аппроксимируемой функции.
БИЗНЕС-ИНФОРМАТИКА №4(06)Ц2008 г. АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ Отрицательный результат обучения возможен так нейронной сети даже опытным специалистом не га же в условиях неполных данных, необходимых для рантирует рационального выбора подхода к реше успешной аппроксимации функции. Избежать по нию задачи прогнозирования, из за возможной добных результатов можно, например, путем ввода человеческой ошибки, что подтверждает актуаль в систему некоторой допустимой погрешности обу ность разработки метода выбора рационального чения. подхода к решению задачи прогнозирования, позво Для решения задач прогнозирования временных ляющего более обоснованно принять решение по рядов с помощью нейронных сетей предлагается так выбору подхода. Выбор рационального подхода влия же применять еще один подход, который только кос ет на эффективность проектирования и применения венно упоминается в области прогнозирования, Ч нейронной сети для решения задачи прогнозирова подход кластеризации. Применение подхода класте ния временных рядов, так как на начальном этапе оп ризации предпочтительно в случаях, когда все мно ределяет наиболее подходящую для поставленной жество входных векторов можно разбить на отдель задачи структуру сети и алгоритм обучения.
ные непересекающиеся подмножества Ч классы, или кластеры, и поставить в соответствие каждому Структуры и алгоритмы обучения нейронных сетей подмножеству отдельный выходной вектор: для реализации подходов к решению задач прогнозирования временных рядов (2) Каждый из подходов к решению задачи прогно зирования требует соответствующей структуры где xv Ч v ый входной вектор;
и алгоритма обучения нейронной сети. В большин yj Ч выходной вектор;
стве случаев для решения задачи аппроксимации (xv) Ч прогнозирующая функция;
функции применяют алгоритм обратного распро Xj Ч подмножество обучающих входных векто странения ошибки [2, 3, 4].
ров Ч класс, которое соответствует выходному Алгоритм обратного распространения ошибки вектору;
представляет собой итеративный градиентный ал k Ч количество непересекающихся подмно горитм обучения, который используется с целью жеств входных векторов Ч классов и, соответ минимизации среднеквадратичного отклонения те ственно, количество выходных векторов. кущего выхода от желаемого выхода многослойной нейронной сети [2]. Обобщенная структура двух Таким образом, задача прогнозирования времен слойной нейронной сети для реализации алгоритма ных рядов с применением подхода кластеризации за обратного распространения ошибки представлена ключается в нахождении класса, к которому в боль на рис. 1 [5], где wnm Ч весовые коэффициенты свя шей степени подходит входной вектор, представлен зей между нейронами, OUTm Ч выходные сигналы ный значениями входных параметров нейронной се нейронов выходного слоя, n Ч количество нейро ти. Подход кластеризации упрощает задачу прогно нов в скрытом слое, m Ч количество нейронов зирования, так как в нем происходит аппроксимация в выходном слое. Входной слой выполняет только подмножеств обучающих входных векторов, а не от распределительные функции.
дельных обучающих входных векторов, что увеличи вает скорость обучения, уменьшает время проекти рования и повышает эффективность применения нейронной сети. Одним из недостатков подхода кла стеризации является конечное число возможных прогнозируемых классов, которое зависит от количе ства выходных параметров проектируемой нейрон ной сети. Для увеличения числа возможных прогно зируемых классов можно увеличить размеры проек тируемой нейронной сети.
Часто главная роль в постановке задачи прогно Рис.1. Обобщенная структура двухслойной нейронной сети для зирования отводится человеку: он определяет цель реализации алгоритма обратного распространения ошибки задачи, ее исходные данные и подход к решению.
Положительный результат в решении поставленной Для подхода кластеризации предлагается приме задачи в большей степени определяется опытом нять структуру нейронной сети и алгоритм обучения и знаниями разработчика. Однако проектирование Кохонена, так как данная структура и алгоритм 30 БИЗНЕС-ИНФОРМАТИКА №4(06)Ц2008 г.
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ применяются в основном для кластеризации вход Методика выбора рационального подхода ных образов [2, 3, 4]. Алгоритм обучения Кохонена к решению задачи прогнозирования также называют алгоритмом конкурентного обуче с помощью нейронных сетей ния, а нейронные сети, использующие такой алго В основу предлагаемой методики выбора рацио ритм Ч конкурентными. Конкурентные нейрон нального подхода к решению задачи прогнозирова ные сети относятся к самоорганизующимся ней ния с помощью нейронных сетей между существу ронным сетям. Самоорганизующиеся нейронные ющим и предлагаемым подходами положен анализ сети характеризуются обучением без учителя, в ре исходных обучающих данных, известных из усло зультате которого происходит адаптация сети к ре вия поставленной задачи.
шаемой задаче. Структура конкурентной нейрон Пусть Ч вектор, размерность которого равна ной сети в общем случае представляет собой двух размерности входного вектора, содержащий ин слойную нейронную сеть с прямыми связями. Пер формацию о минимально возможном расстоянии вый слой выполняет распределительные функции, между подмножествами обучающих входных векто причем каждый нейрон первого слоя имеет связи со ров Ч классами, и пусть выполнены следующие ус всеми нейронами второго слоя, который является ловия:
выходным. Второй слой осуществляет конкурен 1. Подмножества Xj создают разбиение множест цию между нейронами, в результате которой опре ва X, для которого верно:
деляется нейрон победитель. Победителем в кон куренции считается нейрон, который в результате (3) подачи на вход сети определенного входного векто ра имеет максимальную взвешенную активность. (4) Для нейрона победителя весовые коэффициенты усиливаются, а для остальных нейронов не изменя (5) ются или уменьшаются. По мере поступления вход ных векторов посредством обучения происходит разбиение мерного входного пространства на раз где X Ч множество обучающих входных векторов;
личные области решений, каждой из которых соот Xj Ч j ое подмножество обучающих входных ветствует отдельный нейрон выходного слоя [2]. векторов Ч класс;
Обобщенная структура конкурентной нейронной k Ч количество подмножеств обучающих вход сети представлена на рисунке 2 [2], где wnm Ч весо ных векторов Ч классов.
вые коэффициенты связей между нейронами, OUTm Ч выходные сигналы нейронов выходного 2. В каждом из подмножеств расстояние между слоя, n Ч количество нейронов в распределитель наиболее близкими друг к другу соседними обучаю ном слое, m Ч количество нейронов в выходном щими входными векторами Ч xbj и xpj Ч не превы слое. шает y:
(6) где j[l, k], k, Ч количество подмножеств обучаю щих входных векторов Ч классов;
b[l, zj], p[l, zj], z, Ч количество обучающих входных векторов в j ом подмножестве обучаю щих входных векторов Ч классе;
xbj и xpj Ч наиболее близкие друг к другу сосед ние обучающие входные вектора j го подмно жества обучающих входных векторов Ч класса.
3. Расстояние между соседними подмножества ми обучающих входных векторов Ч классов превы шает или равно :
(7) Рис.2. Обобщенная структура конкурентной нейронной сети БИЗНЕС-ИНФОРМАТИКА №4(06)Ц2008 г. АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ где j[l, k], h[l, k], j h, k Ч количество подмно 2.1. Для рассмотрения выбирается очередной жеств обучающих входных векторов Ч классов;
обучающий входной вектор xm, где m[l, z], z Ч об xdj и xrh Ч соответственно наиболее близкие щее количество обучающих входных векторов.
друг к другу обучающие входные вектора сосед 2.2. Для рассмотрения выбирается очередной них подмножеств обучающих входных векто обучающий входной вектор xq, где q[l, z], z Ч общее ров Ч классов;
количество обучающих входных векторов, q m.
d[l, zj], zj Ч количество обучающих входных 2.3. Проверяется выполнение условия на при векторов в j ом подмножестве обучающих надлежность пары обучающих входных векторов xm входных векторов Ч классе;
и xq к одному подмножеству обучающих входных r[l, zh], zh Ч количество обучающих входных векторов Ч классу:
векторов в h ом подмножестве обучающих входных векторов Ч классе. (9) 4. Каждому обучающему входному вектору из j го Если условие (9) выполняется, идентификатор подмножества обучающих входных векторов Ч подмножества обучающего входного вектора xm оп класса, где j[l, k] и k Ч количество подмножеств ределен, kxm 0, который вводится для каждого обу обучающих входных векторов Ч классов, соответ чающего входного вектора и используется для хра ствует один выходной вектор Ч y j: нения информации о принадлежности обучающего входного вектора к определенному подмножеству, (8) и идентификатор подмножества обучающего вход ного вектора xq не определен, kxq= 0, то kxq= kxm где w[l, zj], zj Ч количество обучающих входных и осуществляется переход к этапу 2.7.
векторов в j ом подмножестве обучающих Иначе, если условие (9) выполняется, kxm= входных векторов Ч классе;
и kxq 0, то kxm= kxq и осуществляется переход к эта j[l, k], k, Ч количество подмножеств обучаю пу 2.7.
щих входных векторов Ч классов;
Иначе, если условие (9) выполняется, kxm= 0 и wj Ч w ая обучающая входная выборка j го kxq= 0, то увеличивается значение счетчика подмно подмножества обучающих входных векторов Ч жеств k, содержащего информацию о количестве класса. подмножеств обучающих входных векторов, kxm= k, kxq= k и осуществляется переход к этапу 2.7.
Тогда, при одновременном выполнении всех Иначе, если условие (9) выполняется, kxm 0, kxq 0, приведенных выше условий, все множество обуча то уменьшается значение счетчика подмножеств k и ющих выборок представляется в виде отдельных осуществляется переход к этапу 2.4.
подмножеств, каждому из которых соответствует 2.4. Для рассмотрения выбирается очередной обу определенный выходной вектор. Следовательно, чающий входной вектор xt, где t[l, z], z, Ч общее ко в этом случае, для решения задачи прогнозирова личество обучающих входных векторов, или выборок.
ния с помощью нейронных сетей целесообразно 2.5. Если kxm> kxq и kxt= kxm, то kxt= kxq.
применять подход кластеризации. Иначе, если kxm> kxq и kxt> kxm, то kxt= kxtЦ1.
Таким образом, предлагается следующая мето Иначе, если kxm< kxq и kxt= kxq, то kxt= kxm.
дика выбора рационального подхода к решению Иначе, если kxm< kxq и kxt> kxq, то kxt= kxtЦ1.
задачи прогнозирования с помощью нейронных 2.6. Если рассмотрены все обучающие входные сетей, представимая в виде последовательности вектора xt, то осуществляется переход к этапу 2.7.
следующих этапов: Иначе осуществляется переход к этапу 2.4.
1. Проектировщиком нейронной сети, на основе 2.7. Если рассмотрены все обучающие входные своих знаний и опыта, задается вектор Ч вектор, вектора xq, то осуществляется переход к этапу 2.8.
размерность которого равна размерности входного Иначе осуществляется переход к этапу 2.2.
вектора, содержащий информацию о минимально 2.8. Если рассмотрены все обучающие входные возможном расстоянии между подмножествами вектора xm, то осуществляется переход к этапу 3.
обучающих входных векторов Ч классами. Иначе осуществляется переход к этапу 2.1.
2. Осуществляется определение подмножеств 3. Осуществляется определение возможности обучающих входных векторов Ч классов Xj, создаю применения обучающих входных выборок подмно щих разбиение множества обучающих входных век жеств обучающих входных векторов Ч классов торов X: в подходе кластеризации:
32 БИЗНЕС-ИНФОРМАТИКА №4(06)Ц2008 г.
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ 3.1. Для рассмотрения выбирается очередное между подмножествами обучающих входных векто подмножество обучающих входных векторов Ч ров Ч классами.
класс Xj с номером j. 2. Инициализация переменных:
3.2. Для рассмотрения выбирается очередная обучающая входная выборка (x, yi). m = 1, q = 1, t = 1, i = 1, j = 1, k = 1, n = 0, 3.3. Если значение идентификатора подмножес тва выбранного обучающего входного вектора xi ра где m[l, z], q[l, z], t[l, z], i[l, z], z, Ч общее ко вен значению номера выбранного подмножества j личество обучающих входных выборок;
и данное равенство выполнилось впервые для вы j[l, k], k, Ч счетчик, содержащий информа бранного подмножества обучающих входных век цию о количестве подмножеств обучающих торов Ч класса, то y j = yi, где y j Ч выходной вектор входных векторов Ч классов;
для j го подмножества обучающих входных векто n Ч флаг, устанавливаемый при первом нахожде ров Ч класса, и устанавливается флаг выбранной нии обучающей входной выборки определенно обучающей входной выборки (xi, yi), показываю го подмножества обучающих входных векторов.
щий возможность ее применения в подходе класте ризации, fi = 1, иначе, если значение идентифика тора подмножества выбранного обучающего вход где i[l, z], kxi, Ч идентификатор подмножества ного вектора xi равен значению номера выбранного обучающего входного вектора, который вводит подмножества j и yi = y j, то fi = 1. ся для каждого обучающего входного вектора и 3.4. Если рассмотрены все обучающие входные используется для хранения информации о при выборки (xi, yi), то осуществляется переход к этапу надлежности обучающего входного вектора оп 3.5, иначе Ч к этапу 3.2. ределенному подмножеству;
3.5. Если рассмотрены все подмножества обуча ющих входных векторов Xj, то осуществляется пере ход к этапу 3.6, иначе Ч к этапу 3.1. где i[l, z], fi, Ч флаг i ой обучающей входной вы 3.6. Если все обучающие входные выборки (xi, yi) борки, показывающий возможность ее приме имеют возможность применения в подходе класте нения в подходе кластеризации.
ризации: fi = 1, то для данного вектора y целесооб разно применять подход кластеризации, иначе Ч 3. Выбор очередного обучающего входного подход аппроксимации. вектора xm.
Изменяя значения параметров вектора y, проек 4. Выбор очередного обучающего входного тировщик нейронной сети имеет возможность по вектора xq.
лучать различное количество подмножеств обучаю 5. Проверка условия (9). Если условие (9) выпол щих входных векторов. Чем меньше вектор y, тем няется, kxm 0 и kxq = 0, то kxq kxm и осуществляет большее количество подмножеств обучающих ся переход к шагу 9.
входных векторов можно получить. При выборе Иначе, если условие (9) выполняется, kxm = 0 и подхода кластеризации следует учитывать количес kxq 0, то kxm kxq и осуществляется переход к шагу 9.
тво полученных подмножеств обучающих входных Иначе, если условие (9) выполняется, kxm = 0 и векторов, так как чем больше количество подмно kxq = 0, то k k + 1, kxm k, kxq k и осуществляет жеств, тем большим должно быть число выходных ся переход к шагу 9.
параметров проектируемой нейронной сети. Иначе, если условие (9) выполняется, kxm 0, kxq 0, то k kЦ1 и осуществляется переход к шагу 6.
Алгоритм для реализации методики выбора 6. Выбор очередного обучающего входного рационального подхода к решению задачи вектора xi.
прогнозирования с помощью нейронных сетей 7. Если kxm > kxq и kxt = kxm, то kxt kxq.
Для реализации методики выбора рационального Иначе, если kxm > kxq и kxt > kxm, то kxt kxt Ц1.
подхода к решению задачи прогнозирования с помо Иначе, если kxm < kxq и kxt = kxq, то kxt kxm.
щью нейронных сетей предлагается следующий алго Иначе, если kxm < kxq и kxt > kxq, то kxt kxtЦ1.
ритм, который включает в себя следующие шаги: 8. Если t = z, то осуществляется переход к шагу 9.
1. Ввод проектировщиком нейронной сети Иначе t t+1 и осуществляется переход к шагу 6.
вектора Ч вектора, размерность которого равна 9. Если q = z, то осуществляется переход к шагу 10.
размерности входного вектора, содержащего ин Иначе q q+1 и осуществляется переход к шагу 4.
формацию о минимально возможном расстоянии 10. Если m=z, то осуществляется переход к этапу 11.
БИЗНЕС-ИНФОРМАТИКА №4(06)Ц2008 г. АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ Иначе m m +1 и осуществляется переход Выводы к шагу 3. Предлагаемая в статье методика позволяет осу 11. Выбор очередной обучающей выборки (xi, yi). ществить выбор рационального подхода к решению 12. Если kxi = j и n = 0, то n 1, yТ yi и fi 1. задачи прогнозирования временных рядов с помо Иначе m m+1, если kxi = j, n = 1, yi = y j, то fi 1. щью нейронных сетей между существующим под 13. Если i = z, то осуществляется переход к шагу 14. ходом аппроксимации и предлагаемым подходом Иначе i i +1 и осуществляется переход к шагу 11. кластеризации, который только косвенно упоми 14. Если i = k, то осуществляется переход к шагу 15. нается в области прогнозирования. Выбор рацио Иначе i 1, n 0, j j +1 и осуществляется пе нального подхода позволяет повысить эффектив реход к шагу 11. ность проектирования и применения нейронных 15. Если где i [1, z], z Ч общее коли сетей для решения задач прогнозирования времен чество обучающих входных выборок, fi Ч флаг обу ных рядов путем определения на начальном этапе чающей входной выборки, показывающий возмож проектирования наиболее подходящей для реше ность ее применения в подходе кластеризации, то ния поставленной задачи структуры сети и алго для данного вектора целесообразно применять ритма обучения. В основу методики положен ана подход кластеризации, иначе Ч подход аппрокси лиз исходных обучающих данных, известных из ус мации. ловия поставленной задачи, что позволяет более Алгоритм выбора рационального подхода к ре обоснованно принять решение по выбору подхода шению задачи прогнозирования с помощью ней к решению задачи прогнозирования временных ря ронных сетей считается завершенным. дов с помощью нейронных сетей.
Литература 1. Данько, Т.П. Системы искусственного интеллекта в разработке корпоративных маркетинговых стратегий, Журнал Маркетинг в России и за рубежом, № 5 / Т.П.Данько, М.А.Ходимчук. М.: Финпресс. 2000.
2. Головко, В.А. Нейронные сети: обучения, организация и применение / В.А.Головко. М.: ИПРЖР. 2001.
3. Круглов, В.В. Нечеткая логика и искусственные нейронные сети / В.В.Круглов, М.И.Дли, Р.Ю.Голунов. М.: ФИЗМАТЛИТ. 2001.
4. Крисилов, В.А. Представление исходных данных в задачах нейросетевого прогнозирования / В.А.Крисилов, К.В.Чумичкин, А.В.Кондратюк. Одесса: ОНПУ. 2003.
5. Уоссермен, Ф. Нейрокомпьютерная техника: теория и практика / Ф.Уоссермен. Пер. с англ. Ю.А.Зуев, В.А.Точенов. 1992.
ISBN 978-5-7598-0461- Мальцева И.О., Рощин С.Ю.
296 c.
60x88/ ГЕНДЕРНАЯ СЕГРЕГАЦИЯ И ТРУДОВАЯ МОБИЛЬНОСТЬ Переплёт НА РОССИЙСКОМ РЫНКЕ ТРУДА 2007 г.
Второе издание В книге рассматриваются особенности положения мужчин и женщин на российском рынке труда, исследуется феномен гендерной сегрегации занятости, начиная с советских времён и до настоящего времени, обсуждаются причины и последствия гендерной сегрегации на рынке труда, проводятся международные сопоставления. На основе данных российской статистики и Российского мониторинга экономического положения и здоровья населения проводятся эмпирические оценки интенсивности и направлений трудовой мобильности по гендерным группам, влияние мобильности на гендерные различия в заработной плате и сегрегацию. Отдельно исследуются вертикальная сегрегация и проблема стеклянного потолка в российской экономике.
Для экономистов, социологов, специалистов в области занятости и управления человеческими ресурсами.
34 БИЗНЕС-ИНФОРМАТИКА №4(06)Ц2008 г.