Краткосрочное прогнозирование на основе технологии нейросетевого пространственно-параметрического моделирования

Вид материала

Содержание

Общая характеристика работы
Цель работы.
Методы исследования.
Научная новизна
Практическая ценность работы
Реализация и внедрение результатов работы.
Апробация работы.
Основные положения, выносимые на защиту
Структура и объем диссертации.
В первой главе
Во второй главе
В третьей главе
В четвертой главе
В заключении

Подобный материал:

На правах рукописи

Гордиенко Владимир Алексеевич

КРАТКОСРОЧНОЕ ПРОГНОЗИРОВАНИЕ НА ОСНОВЕ ТЕХНОЛОГИИ НЕЙРОСЕТЕВОГО
ПРОСТРАНСТВЕННО-ПАРАМЕТРИЧЕСКОГО МОДЕЛИРОВАНИЯ

Специальность 05.13.01 – «Системный анализ, управление и обработка информации (информационные и технические системы)»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата технических наук

Краснодар – 2011

Р

абота выполнена в ГОУ ВПО «Кубанский государственный
технологический университет»

Научный руководитель:	доктор технических наук, профессор Ключко Владимир Игнатьевич
Официальные оппоненты:	доктор технических наук, профессор Хисамов Франгиз Гильфанетдинович; кандидат технических наук Григорьев Николай Федорович
Ведущая организация:	Кубанский государственный аграрный университет

Защита состоится 11 мая 2011 г. в 16⁰⁰ на заседании диссертационного совета Д 212.100.04 в Кубанском государственном технологическом
университете по адресу: 350072, г. Краснодар, ул. Московская, 2,
ауд. Г-251

С диссертацией можно ознакомиться в библиотеке Кубанского
государственного технологического университета

Автореферат разослан “8” апреля 2011 г.

Ученый секретарь

диссертационного совета,

канд. техн. наук, доцент А.В. Власенко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. В последние несколько лет наблюдается повышенный интерес к нейронным сетям, которые успешно применяются в самых различных областях - бизнесе, медицине, технике, геологии, физике. Нейронные сети вошли в практику везде, где нужно решать задачи прогнозирования, классификации или управления.

Успех бизнеса во многом определяется качеством информации, на основе которой принимаются ответственные финансовые решения. Именно поэтому сбор и аналитическая обработка информации сегодня является как предметом отдельного изучения с научно-методогической точки зрения, так и предметом самостоятельного бизнеса.

Потребность в усовершенствовании существующих методических приемов заставляет использовать совершенно новые технологии в задачах прогнозирования. Значительные успехи ученых и разработчиков в области развития нейросетевых технологий определяют это направление как современное и быстро развивающееся, а примеры успешного и экономически эффективного прикладного применения методов нейроматематики отражают перспективность его дальнейшего развития.

Математическое моделирование является неотъемлемой частью управления и обработки информации. Высокое качество управления достигается путём прогнозирования состояния системы, осуществление упреждающего или оперативного управления и, в результате, минимизация потерь.

Важной задачей в области инвестиций является эффективное управление денежными потоками. Для принятия решения инвестиционным компаниям необходимо обладать качественными краткосрочными прогнозами. Результатом деятельности таких компаний является получение прибыли, поэтому получения достоверных краткосрочных прогнозов является актуальной и современной задачей.

Цель работы. Разработка метода краткосрочного прогнозирования на основе технологии нейросетевого пространственно-параметрического моделирования для принятия управленческого решения.

Для достижения указанных целей были поставлены следующие задачи:

провести анализ основных методов прогнозирования на рынке недвижимости и выявить их основные недостатки;
рассмотреть особенности использования нейросетевых технологий для задач прогнозирования;
провести анализ процессов управления и принятия решений на рынка недвижимости;
провести системный анализ рынка недвижимости, выполнить декомпозицию процессов его функционирования и выявить основные особенности;
построить дискретную пространственно-параметрическую модель исследуемой системы и описать математические основы её построения;
разработать методику проверки качества обучения нейронной сети для задачи прогнозирования;
разработать метод краткосрочного прогнозирования индикаторов рынка недвижимости, способный эффективно работать в период излома тенденций;
выполнить экспериментальную проверку применимости разработанного метода на реальном наборе данных;
провести сравнение результатов исследования с результатами полученными другими методами;
рассчитать критерии эффективности для данной задачи.

Методы исследования. Поставленные задачи решены с применением системного анализа, теории искусственных нейронных сетей, прогнозирования, математической статистики, методов стоимостного анализа и экономико-математического моделирования.

Научная новизна выполненных в диссертации исследований состоит в следующем:

разработан метод прогнозирования на основе разложения дискретной пространственно-параметрической модели с последующим нейросетевым анализом;
разработана методология оценки эффективности обучения нейронной сети с использованием корреляционного анализа;
разработана методика вычисления пропущенных или недостоверных значений параметров в ячейках дискретной пространственно-параметрической модели;
разработана методика сценарного прогнозирования связанных значений одной части набора индикаторов рынка в определенной ячейке дискретной пространственно-параметрической модели (входов сети) для заданного значения другой части набора индикаторов рынка (выходов сети).

Практическая ценность работы заключается в в разработке и апробации метода краткосрочного прогнозирования индикаторов рынка недвижимости на основе технологии нейросетевого пространственно-параметрического моделирования. Рынок недвижимости нуждается в качественном анализе и прогнозировании, существующие методы прогнозирования плохо применимы в период отличающийся нестабильностью (период излома тенденции). Данный метод дает намного более точный прогноз.

Реализация и внедрение результатов работы. Разработанная методика краткосрочного прогнозирования используется для поддержки принятия решения на предприятиях: ООО «Агентство недвижимости ВИЛЛАН» (г. Краснодар), ООО «Домострой» (г. Краснодар) и ООО «Кубань Риэлт» (г. Краснодар).

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на 15-й Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2009 г.), 10-й Международной конференции «Актуальные проблемы современной науки» (г. Самара, 2009 г.) и 2-й Всероссийской научной конференции «Научное творчество 21 в.» (г. Красноярск, 2010 г.).

Основные положения, выносимые на защиту:

метод краткосрочного прогнозирования индикаторов рынка недвижимости основанный на разложения дискретной пространственно-параметрической модели с последующим нейросетевым анализом;
методология оценки качества обучения нейронной сети с использованием корреляционного анализа;
методика вычисления пропущенных и недостоверных данных в обучающей выборке;
методика сценарного прогнозирования связанных значений одной части набора индикаторов – входов сети, для заданного значения другой части – выходов сети;
результаты применения метода прогнозирования на реальном наборе данных;
результаты сравнительного анализа прогнозирования индикаторов рынка недвижимости, созданных пятью способами: нейросетевая пространственно-параметрическая модель, классическая нейросетевая модель, линейный регрессионный прогноз, полиномиальный регрессионный прогноз и логарифмическая регрессия.

Публикации. По теме диссертации опубликовано 4 печатных работы.

Структура и объем диссертации. Диссертация состоит из введения, четырёх разделов, заключения, списка использованной литературы и приложений. Ее общий объем составляет 152 страницы машинописного текста. Работа содержит 11 таблиц, 26 рисунков, список литературы из 128 наименований.

краткое содержание диссертации

Во введении обоснована актуальность темы исследования, определена научная проблема, поставлены цели и задачи исследования, дан обзор содержания работы.

В первой главе проведён анализ основных методов прогнозирования на рынке недвижимости; рассмотрены основные понятия прогностики и даны их характеристики; выявлены основные проблемы прогнозирования и описаны недостатки существующих моделей; обоснована необходимость создания новой методики для краткосрочного прогнозирования.

Основные этапы прогнозирования: постановка задачи и сбор необходимой информации; первичная обработка исходной информации; определение возможных моделей прогнозирования; оценка параметров рассматриваемых моделей; проверка адекватности выбранных моделей; расчет характеристик моделей; анализ полученных результатов прогноза.

По степени формализации методов прогнозирования различают экспертное предсказание, эвристическое прогнозирование, «фундаментальный» прогноз, регрессионное статистическое моделирование, многофакторное моделирование (включая моделирование и прогнозирование на нейронных сетях).

В результате анализа основных методов прогнозирования, можно выделить основные недостатки:

существующие методы прогнозирования не позволяют анализировать рынок недвижимости как систему, а лишь как её часть;
прогнозы, полученные общеизвестными методами, являются частичными и не взаимосвязанными с другими прогнозами о состоянии рынка в целом;
плохо работают в период излома тенденций;
для регрессионного анализа бывает недостаточно статистических рядов наблюдений, мешают большие пропуски в данных;
для краткосрочного прогнозирования существующие методы малоэффективны.

Все вышеперечисленные недостатки обуславливают необходимость разработки нового метода прогнозирования, способного давать качественные краткосрочные прогнозы в период излома тенденции. Этот метод является совокупностью существующих методов нейронных сетей и методов регрессионного анализа. Его можно применять самостоятельно при отсутствии длинных статистических рядов наблюдений, слабой изученности явлений и процессов, неясности закономерностей, связывающих между собой исследуемые рыночные факторы и прогнозируемый показатель.

Во второй главе рассмотрен системный подход к управлению рынком недвижимости; рассмотрена модель управления недвижимостью и основные проблемы, возникающие в процессе управления; рассмотрены варианты принятия решения.

Рынок недвижимости содержит все признаки т.н. кибернетической системы (рисунок 1), функционирующей по принципу обратной связи. Принцип обратной связи – это принцип коррекции входных воздействий в процессе управления системой, на основе информации о выходе управляемой системы.

Рисунок 1 - Система рынка недвижимости – кибернетическая система

На основании результатов прогнозирования необходимо принимать управленческие решения. Разработанный метод способен удовлетворить потребности большинства участников рынка недвижимости: инвестиционно-строительных компаний, покупателей и продавцов недвижимости, оценочных компаний, агентств недвижимости и аналитиков.

В третьей главе диссертации выполнен системный анализ рынка недвижимости; описано моделирование рынка недвижимости с использованием дискретно-пространственной параметрической модели; математические основы построения модели и её практическое применение на рынке недвижимости.

Системный подход к исследованию рынка как сложного объекта предусматривает:

анализ причинно-следственных связей на уровне изучаемого предмета и определение факторов, раскрывающих сущность процесса, протекающих в изучаемом объекте; классификация и оценка причинно-следственных связей системы;
формирование гипотез и теорий функционирования системы; подготовка концепции управления;
определение целей и задач; разработка имитационных систем и подсистем для проблемы;
разработка стратегии и тактики функционирования рынка недвижимости и поведения объектов и субъектов с учётом существующего законодательства, стандартов, нормативов, информационной системы, учитывая воздействие внешних факторов;
разработка математических моделей функционирования подсистем и управления системой в целом; разработка показателей эффективности функционирования системы;
разработка программного и информационного обеспечения и использование существующего;
проверка теории с использованием имитационного моделирования в работе подсистем и системы в целом; оценка результатов с помощью нормативных показателей эффективности;
доработка моделей и теории по результатам имитационного моделирования;
практическое использование системы в управлении субъектами на рынке недвижимости.

Для дальнейшего изучения системы необходимо построить её модель. Дискретно пространственно-параметрическая модель (далее ДППМ) - упорядоченный набор индикаторов состояния рынка по всем его сегментам, полученный в результате параллельного сечения рассматриваемой выборки объектов недвижимости по следующим измерениям: размер, местоположение, качество, срок сдачи объекта и (реже) другие.

Сущность методологии состоит в сборе документированной информации об объектах рынка, разделении объектов на однородные группы (выборки) по качеству, местоположению, периодам времени, определении характеристик каждой выборки и исследовании полученных числовых пространственно-параметрических и динамических моделей с дискретным шагом.

Пусть x_i=  X - удельная цена i-й квартиры, или цена 1 кв. м, в заданном периоде (в последующем временной параметр опускается), тогда дискретное множество значений удельных цен:

____

X = { x_i} , I = 1, N (1)

Запись (1) представляет собой модель первичной рыночной информации - исходных данных для построения модели рынка.

В общем случае цена квартиры на рынке зависит от ее характеристик _j:

x_i= S (_j) ,

где S – оператор связи.

Разделим все характеристики по трем классификационным основаниям – качества, местоположения, размера:

T = (_j_T) – множество характеристик качества

M = (_jM) – множество характеристик местоположения дома

R = (_jR) – множество характеристик размера квартиры

Тогда:

X  { x_i(_j_T, _jM, _jR) }. (2)

Преобразуем числовые значения характеристик в дискретные, разбив их на диапазоны. Тогда:

X = { x_i { _t₁,_t₂, …} , {_m₁, _m_{2 ,}… }, {_r_{1 ,}_r_2,… } } .

Множество подмножеств, объединяющих квартиры одного типа:

X_T= { X_T_{1 ,}X_T₂, …} (3)

Аналогично приводятся к дискретным характеристики (координаты) местоположения. Множество подмножеств, объединяющих объекты одной зоны:

X_M= { X_M_{1 ,}X_M₂, …} (4)

Следовательно, множество подмножеств, объединяющих объекты одного размера:

X_M= { X_R_{1 ,}X_R₂, …} (5)

Наконец, объединение множеств (3)-(5) приводит к выявлению групп объектов, выделенных по признаку сочетания типа, района и размера:

X = X_T  X_M X_R; (6)

 X_T  X_M X_R =  ; (7)

X = {{x_T₁_M₁_R₁} ,{x_T₂_M₁_R₁} , … } . (8)

В терминах дискретных пространственно-параметрических моделей эта процедура включает статистическую обработку выборок (8) и определение основных параметров выборки – объема n, среднего x_ср., размаха варьирования x_мин.и x_макс., дисперсии D, погрешности в определении среднего . В результате образуется исходная дискретная пространственно-параметрическая модель рынка:

X = {{( n, x_ср., x_мин., x_макс., D, ) _T₁_M₁_R₁},

{( n, x_ср., x_мин., x_макс., D, ) _T₂_M₁_R₁} , … }. (9)

В четвертой главе разработан метод прогнозирования индикаторов рынка недвижимости; метод применён на реальном наборе данных; проведено сравнение результатов исследования с другими методами прогнозирования; просчитаны критерии эффективности для данной задачи; обоснована универсальность метода и возможность его применения в других областях науки.

Алгоритм создания метода краткосрочного прогнозирования:

Статистическая обработка массива данных:

а) построение ДППМ;

б) двумерное разложение ДППМ;

в) подготовка и нормализация данных.

Интеллектуальная обработка данных:

а) обучение множества нейронных сетей;

б) оценка качества обучения.

Регрессионное моделирование:

а) формирование единого набора прогнозов;

б) построение регрессионного уравнения.

Для реализации метода прогнозирования необходимо создать несколько таблиц (по количеству измерений в ДППМ): в нашем случае три таблицы, у каждой из которых измерение, откладываемое по вертикали будет разным (рисунок 2). Таким же образом делается разложение ещё по двум плоскостям. Данные полученные после транспонирования ДППМ являются достаточно полными, но не идеальными. Для наиболее качественного обучения нейронных сетей необходимо проделать ряд процедур по подготовке и нормализации данных (замена пустых значений нулями, интерполяция данных и экстерполяция данных).

Рисунок 2 - Схема двумерного разложения ДППМ рынка недвижимости

Полученные три варианта транспонирования одной и той же ДППМ используются в обучении трех нейронных сетей. Входами в сеть будут значения параметров всех ячеек вошедших в один слой. Выходами - любой целевой параметр, значение которого известно по предыстории, но не известно в будущем (см. рисунок 3). Следует отметить, что на рисунке изображено схематическое изображение нейронной сети, реальная сеть состоит из трёх слоёв нейронов, число нейронов в каждом слое колеблется в пределах от 80 до 100 штук в каждом слое (в зависимости от сети). В качестве наиболее эффективного метода обучения сети был выбран – метод сопряжённых градиентов.

Рисунок 3 - Схема применения нейронной сети в прогнозировании

Получим три сети, обученные на одинаковом наборе исходных данных, но при разном способе ввода этих данных (ввод данных осуществляется группами ячеек с одинаковыми либо размерами квартиры, либо местоположением, либо качеством).

В традиционном смысле принято считать, что наиболее эффективная сеть даёт наибольшее количество правильно решённых примеров (точных прогнозов), но в задачах прогнозирования это оказывается не совсем правильным подходом. Для эффективного обучения была применена методика корреляционного анализа:

Где, x_iи у_iзначения двух переменных, х^- и у^- их средние значения,

a s_x и s_y их стандартные отклонения, n количество пар значений.

Дальнейшая работа с данными происходит с использованием регрессионного моделирования. В нашем случае необходимо использовать множественную регрессию, в общем виде формула выглядит следующим образом:

у = b₁*х₁+b₂*х₂+... + b_n*х_n+а

где, n - количество переменных, b₁,b_n- регрессионные коэффициенты,

х₁, х_n - переменные, а - некоторая константа.

Полученные выходы нейронных сетей представляют собой совокупность трех прогнозов по каждой ячейке ДППМ, которые необходимо совместить друг с другом (по уникальному адресу каждой ячейки) и подвергнуть регрессионному анализу-прогнозу.

Коэффициент детерминации (R2) – это величина характеризует качество регрессионной модели, то есть степень соответствия между регрессионной моделью и исходными данными. R2 равный 0,764 так же говорит о том, что данный метод учитывает 76,4% факторов, оказывающих своё влияние на модель. Вероятность наступления прогноза 95% (см. значимость изменения F в таблице 3).

Таблица 3 - Сводка регрессионной модели

R, коэффициент корреляции	R квадрат, коэффициент детерминации	Стандартная ошибка оценки	Значимость изменения F
0,874	0,764	0,682	0,05

Таблица 4 - Коэффициенты регрессионной модели

Коэффициент	Нестандартизов. коэффициенты		Стандартизов. коэффициенты	Значимость изменения F
Коэффициент	B	Стандарт. ошибка	ß (Beta)	Значимость изменения F
Константа	63,252	21,530		0,032
Прогноз местоположение	0,348	0,131	0,627	0,045
Прогноз класс	0,439	0,210	0,777	0,090
Прогноз размер	-0,407	0,222	-0,715	0,126

В вышеприведённой таблице в объяснение нуждается коэффициенты ß (Beta) – это регрессионные коэффициенты, стандартизованные соответствующей области значений, они указывают на важность независимых переменных, вовлечённых в регрессионное уравнение.

После получения регрессионных коэффициентов получаем следующие итоговое уравнение регрессии:

Прогноз общий = 63,252 + 0,348 х Прогноз_местоположение + 0,439 х

Прогноз_класс + (–0,407) х Прогноз_размер

Проведённый сравнительный анализ результатов прогнозирования индикаторов рынка показал, что авторский метод даёт лучшие результаты (рисунок 5).

Рисунок 5 – Сравнение прогнозов полученных различными методами

В заключении перечислены научные и практические результаты, полученные автором в ходе исследований.

В приложениях представлены скрипты используемые при двумерном разложении трёхмерной пространственно-параметрической модели и вербальное описание нейронной сети.

основные результаты и выводы

Проделанная в рамках диссертации работа позволила ответить на поставленные вопросы, цели и задачи исследования. Основными задачами исследования являлись: системный анализ рынка недвижимости, создание методики краткосрочного прогнозирования индикаторов рынка недвижимости на основе технологии нейросетевого дискретно-пространственного моделирования и ее апробация в важной прикладной проблеме. Выполненные нами исследования и разработки позволили получить сделать следующие выводы:

Рынок недвижимости определён как сложная динамическая система. Установлено, что для него характерна значительная неопределённость, связанная с разнотипностью инцидентных факторов.
В результате исследования системы, выявлено, что информация о системе обладает значительной зашумлённостью и неудовлетворительным качеством, отсюда вытекает необходимость применения методов, которые позволяют игнорировать недостатки информации. В связи, с чем была разработана методика нормализации и интерполяции данных для улучшения качества обучающей выборки.
Для анализа системы была описана математическая модель построения дискретной пространственно-параметрическая модели рынка недвижимости, а в последней главе построена ДППМ рынка недвижимости г. Краснодара.
Проведённый сравнительный анализ методов прогнозирования, выявил, что существующие методы не позволяют анализировать систему в целом, плохо работают в период излома тенденции, для регрессионного анализа бывает недостаточно статистических рядов наблюдений и существующие методы являются малоэффективными для краткосрочного прогнозирования. В связи, с чем была обусловлена необходимость разработки нового метода прогнозирования.
Таким образом можно выделить положительные черты разработанного метода:

- учитывает различные стороны, отталкивается одновременно от пространственного анализа, анализа динамики показателей, учёт внешних факторов самой дискретно-пространственной параметрической модели и исследует зависимости внутри системы;

- работоспособен в период излома тенденций;

- работоспособен при отсутствие полной информации о системе.

Управление системой было рассмотрено с точки зрения системного подхода и это позволило сделать вывод, что рынок недвижимости отвечает всем признакам саморегулируемой кибернетической системы с обратными связями.
Для управления рынком недвижимости авторский метод могут применять большинство его участников, таких как: инвестиционные компании, строительные компании, государственные органы, оценочные компании и агентства недвижимости.
В результате системного анализа создана нейростевая модель прогнозирования индикаторов рынка недвижимости. Которая основана на двумерном разложении трёхмерной дискретной пространственно-параметрической модели рынка недвижимости, с последующим нейросетевым моделированием и регрессионным анализом.
Методика нормализации и интерполяции данных для обучения, позволила привести данные в соответствие. Использование метода корреляционного анализа для проверки качества обучения нейронной сети, позволило достичь лучших результатов, по сравнению с обычными методами.
Проведённый сравнительный анализ результатов прогнозирования индикаторов рынка созданных пятью способами: нейросетевая пространственно-параметрическая модель, классическая нейросетевая модель, линейный регрессионный прогноз, полиномиальный регрессионный прогноз и логарифмическая регрессия, показал, что авторский метод даёт лучшие результаты.
Выделенные и просчитанные для данного метода критерии эффективности показали хороший результат, а именно:

коэффициент детерминации (R2) регрессионной модели построенной на реальном наборе данных равен 0,764, это означает, что данный метод учитывает 76,4% значимых факторов;
средняя ошибка аппроксимации À = 4,1458 % - попадает в допустимый предел 8-10%;
проведённый F-тест (критерий Фишера) F_tabl = 0,05 < F_fakt= 32,37
показал статистическую значимость и надёжность уравнения регрессии;
вероятность наступления прогноза равна 95%;
среднее линейное отклонение |Е| = 0,4975.

Разработанная система нейросетевого моделирования, является мощным и доступным средством для создания, исследования и прикладного использования. Возможно её применение в других областях науки, таких как биология, медицина и другие.

перечень работ, опубликованных
по теме диссертации

Гордиенко В. А., Евстафьев А. И. Прогнозирование индикаторов рынка недвижимости с использованием нейросетей // «Известия вузов Северо-Кавказский регион». Общественные науки. Ростов-на-Дону. 2009.
с. 83-90.
Гордиенко В. А. Оценка эффективности обучения нейронной сети при задачах прогнозирования посредствам корреляционно-регрессионного анализа // 10-я МК «Посвящённая 175-летию со дня рождения Менделеева» Самара. 2009. с. 20-23.
Гордиенко В. А., Прогнозирование индикаторов рынка недвижимости с использованием нейросетей // Тезисы докладов 15 ВНПК «Инновационные процессы в высшей школе» Краснодар. 2009. с. 51.
Гордиенко В. А., Метод прогнозирования основанный на создании многомерной ДППМ рынка недвижимости с последующим двумерным разложением и нейросетевым анализом // МНПК «В мире научных открытий» Красноярск. 2010. с. 81-82.

Blog

Краткосрочное прогнозирование на основе технологии нейросетевого пространственно-параметрического моделирования

Содержание