Модификация программного комплекса ас дрм для обработки временных рядов в технике и экономике Введение
| Вид материала | Программа |
- Программа дисциплины Анализ финансово-экономических временных рядов для направления, 76.91kb.
- Т. С. Скворцова Рязанский государственный радиотехнический университет, 39.64kb.
- Анализируются свойства медианных скользящих фильтров при их использовании для обработки, 68kb.
- Программа дисциплины Нелинейные модели временных рядов для направления 521600 Экономика, 66.64kb.
- Статистика временных рядов, 19.49kb.
- Рабочая программа дисциплины экономический анализ временных рядов цели и задачи изучения, 118.03kb.
- Современный интеллектуальный анализ нечетких временных рядов, 141.75kb.
- Пояснительная записка: Требования к студентам: необходимо знание курсов «Математического, 49.13kb.
- Пояснительная записка: Требования к студентам: необходимо знание курсов «Математического, 78.04kb.
- Курсовая работа на тему "Прогнозирование временных рядов", 149.68kb.
Модификация программного комплекса АС ДРМ для обработки временных рядов в технике и экономике
Введение. В настоящее время существует множество программных комплексов анализа и обработки временных рядов: пакет программ STATISTICA (модуль «Временные ряды»), программа Олимп:СтатЭксперт, программа CaterpillarSSA 3.30, основанная на методе анализа временных рядов «Гусеница» (SSA – Singular Spectrum Analysis) и др. Все эти пакеты не обеспечивают построение комплексных моделей временных рядов и предназначены, прежде всего, для краткосрочного прогнозирования динамики временных рядов с невысокой точностью.
Разработанный в Ульяновском государственном техническом университете (УлГТУ) программный комплекс «Автоматизированная система динамического регрессионного моделирования» (АС ДРМ) [1, 3, 8], основанный на методологии ДРМ [1], позволяет комплексно анализировать тенденции и строить прецизионное математическое описание динамики технико-экономических показателей.
Для анализа временных рядов технике и экономике предлагается модификация базового пакета путем расширения банка функций включением моделей сглаживания [4], смешанной модели авторегрессии и скользящего среднего (АРСС) [5], авторегрессионной модели условной гетероскедастичности (ARCH) [6, 7], использования мультифрактального анализа [2] и др.
Возможности базового программного комплекса АС ДРМ. Программа АС ДРМ предназначена для статистического анализа и прогнозирования развития процессов, представленных временными рядами наблюдений и пространственными данными [1, 3, 8].
Программа выполнена в среде Borland Delphi 7.0 по технологии многодокументного приложения Windows с применением стандартного интерфейса взаимодействия, который состоит из различных графических компонентов: строка меню, панель инструментов, строка статуса; программных и диалоговых окон [3].
Использование методов объектно-ориентированного программирования при воплощении алгоритмического кода программы даёт возможность разделения и расширения основных функций системы и используемых методов расчета.
Для работы программы АС ДРМ необходима одна из операционных систем Windows 9x/Me/2000/XP, персональный компьютер, совместимый с IBM PC/AT – Pentium II и выше, со скоростью процессора от 900 МГц, 256 Мбайт оперативной памяти, 256 Мбайт свободной памяти на жестком диске.
Пакет АС ДРМ состоит из интерфейсной, управляющей части и модулей, реализующих схемы вычислений.
При запуске программы на экране появляется окно (рис.1), содержащее меню, перечисляющее возможности, предоставляемые АС ДРМ: «Файл», «Правка», «Описание», «Моделирование», «Совместная обработка», «Сценарии обработки», «Критерии», «Сервис», «Окна», «Помощь»; а также кнопки быстрого доступа к некоторым процедурам. Каждая из перечисленных секций открывает выпадающее меню.
Рис.1. Внешний вид основного окна пакета.
Пункт меню «Файл» включает набор стандартных действий: – открыть, – создать; – сохранить; – выход из программы.
«Правка» позволяет осуществить работу с данными.
«Сервис» предоставляет быстрый доступ к блокноту и калькулятору.
Разделы меню «Окна» и «Помощь» несут в основном интерфейсную нагрузку, позволяя соответственно управлять расположением окон на экране и выводить справочную информацию о программе.
При анализе данных в АС ДРМ (пункт «Описание») используются средства описательной статистики, тесты на стационарность, строятся графики для визуального анализа данных, вычисляются корреляционная и автокорреляционная функции, реализуются спектральный и вейвлет-анализы, сдвиг ряда, центрирование и усреднение данных и др.
Пункт «Моделирование» предусматривает формирование моделей трендовой составляющей (17 парных зависимостей), множественной регрессии (метод Хаусхолдера), гармонической модели, авторегрессии, мартингальной аппроксимации, линейной фильтрации Калмана и др., а также комплексирование моделей в одну общую модель предсказания. Наилучшая модель выбирается по критерию минимума «внутреннего» и «внешнего» среднеквадратического отклонения.
Программа содержит процедуру «Критерии» для анализа качества моделей по остаткам с использованием смешанных, внешних и внутренних мер соответствия. Для получения оптимальной модели в программе существует возможность диагностики соблюдения предположений регрессионного анализа.
Процедура «Совместная обработка» предназначена для изучения взаимосвязей между гармониками двух временных рядов.
Модуль «Сценарии обработки» используется для автоматического построения наилучшей аппроксимирующей модели по двум критериям расчета модели – по минимуму внутреннего или внешнего среднеквадратического отклонения.
Алгоритм формирования сценария обработки временного ряда представляет собой последовательность вызываемых функциональных процедур. На каждом этапе проверяются свойства временного ряда. Из построенных моделей выбирается одна по минимуму среднеквадратического отклонения. На последнем этапе проверяется соблюдение предположений метода наименьших квадратов. В зависимости от нарушения предлагается применить метод адаптации. Строится комплексная модель и прогноз на период, заданный пользователем.
Версия пакета для обработки временных рядов в технике и экономике. Классические методы анализа и моделирования временных рядов, такие как корреляционный и спектральный анализы, модели выделения трендовой и гармонической составляющей, авторегрессионная модель и др., не учитывают все особенности характеристик временных рядов в технике и экономике. Для обработки техногенных и экономических данных, представленных временными рядами, предлагается расширение инструментария ДРМ-подхода путем использования моделей сглаживания данных, авторегрессионной модели скользящего среднего, авторегрессионной условно гетероскедастичной модели и мультифрактального анализа.
Модули АС ДРМ «Простое скользящее среднее» и «Взвешенное скользящее среднее» [4, 8] предназначены для сглаживания временных рядов. Простое скользящее среднее является обычным арифметическим средним ряда за определенный период. Взвешенное скользящее среднее определяет взвешенные средние для разных точек динамического ряда. Скользящее среднее представляет собой некий показатель равновесия за определенный период: чем короче скользящее среднее, тем за меньший период берется равновесие. При этом, чем меньше параметр скользящего среднего, тем оно быстрее определяет новую тенденцию, но и одновременно делает больше ложных колебаний; и наоборот, чем больше параметр, тем медленнее определяется новый тренд, но поступает меньше ложных колебаний.
Данные модули позволяют выбирать переменные для сглаживания из информационного поля и порядок сглаживания ряда m, который характеризует некоторую «длину усреднения» N=2m+1, а процедура взвешенного сглаживания позволяет подбирать с помощью метода наименьших квадратов степень алгебраического полинома.
Результаты выполнения процедуры добавляются в таблицу в виде сглаженного ряда и на экран выводятся графики исходного и преобразованного ряда, а также порядок сглаживания, среднеквадратическое отклонение и весовые коэффициенты для взвешенного скользящего среднего.
Модуль «Авторегрессия - скользящее среднее» [5, 8] предназначен для построения моделей временных рядов. Модель интерпретируется как линейная модель множественной регрессии, в которой в качестве объясняющих переменных выступают прошлые значения самой зависимой переменной, а в качестве регрессионного остатка – скользящее среднее из элементов белого шума.
Модуль «Авторегрессия - скользящее среднее» выполняет следующие функции:
- получение начальных оценок параметров смешанного процесса авторегрессии - скользящего среднего методом Ньютона-Рафсона;
- оценивание модели, вычисление оценок наименьших квадратов методом оптимизации с ограничениями, предложенными Марквардтом.
В верхнем окне модуля, в информационном поле, записаны имена переменных, которые можно выбрать для анализа.
На следующем этапе производится подбор параметров модели:
p – параметры авторегрессии;
q – параметры скользящего среднего.
Модель может включать константу. В строке возле каждого параметра задается число параметров данного типа. По крайней мере, один из параметров должен быть определен. Задание параметров означает идентификацию, т. е. определение модели. Пользователь может автоматически оценить количество параметров, входящих в модель. После того, как определено количество параметров в модели, можно перейти к их оцениванию. Оценивание параметров производится с помощью нелинейного метода наименьших квадратов по схеме Марквардта. Также пользователь может определить максимальный номер итераций и критерий сходимости метода.
После определения параметров модели и запуска процедуры оценивания на экране появляются результаты, включающие порядок выбранной модели, оценки наименьших квадратов параметров модели и среднеквадратическое отклонение. Результаты в виде остатков временного ряда добавляются в таблицу; на экран выводятся графики исходного и преобразованного ряда.
Модуль «GARCH» [6, 7, 8] предназначен для построения базовых конструкций ARCH и GARCH-моделей временных рядов любого порядка, а также их модификаций: ARCH-N, GARCH-N, ARCH-M, GARCH-M, EGARCH.
Условная гетероскедастичность означает, что условная дисперсия ошибки, т.е. дисперсия при наличии известной информации, нетривиально зависит от истории процесса и более точно характеризует степень присущей прогнозам неопределенности.
Процесс типа ARCH p-го порядка описывается авторегрессионной моделью, в которой условная дисперсия ошибки зависит от квадрата ошибки предыдущих наблюдений.
Процесс типа GARCH(p,q) является альтернативной модификацией модели ARCH, в которой условная дисперсия ошибки зависит как от квадратов ошибок предыдущих наблюдений, так и от дисперсий этих ошибок.
Базовые конструкции ARCH и GARCH моделей позволяют по заданным параметрам строить версии ARCH-N, GARCH-N, ARCH-M, GARCH-M и EGARCH.
ARCH-N – модель описывает процесс, условное распределение которого является нормальным.
GARCH-N – процесс строится аналогично GARCH при предположении об условной нормальности ошибок наблюдений.
Модель типа ARCH-M предполагает явную функциональную зависимость условного среднего случайной величины от собственной условной дисперсии.
В модели GARCH-M непосредственно в уравнение регрессии добавляется условная дисперсия.
В экспоненциальной модели (exponential GARCH, EGARCH) логарифм условной дисперсии определяется с помощью некоторой функции стандартизованных ошибок.
Рис.2. Интерфейс модуля «GARCH».
В верхнем окне модуля (рис.2.) записываются имена анализируемых переменных. Далее необходимо задать порядок авторегрессии автоматически или вручную пользователем в процессе выполнения программы.
С помощью вкладки «Параметры GARCH компоненты» задаются параметры условной дисперсии:
p – параметры ARCH;
q – параметры GARCH.
Если q=0, то это означает, что в модели отсутствует GARCH-компонента и, следовательно, получим частный случай GARCH-модели ARCH-модель.
После чего предоставляется возможность выбора вида модели (ARCH, GARCH, или ARCH-N, GARCH-N, или ARCH-M, GARCH-M, или EGARCH).
Если определено количество параметров в модели и выбран ее вид, с помощью теста Энгла проверяется наличие ARCH компоненты в остатках.
Оценивание параметров проводится одним из численных методов квази-максимального правдоподобия.
На вкладке «Выбор оценки» можно определить максимальный номер итераций и критерий остановки (нецентральный коэффициент детерминации искусственной регрессии R2). Запуск процедуры оценивания производится с помощью кнопки «ОК». При нажатии на кнопку «Очистить» очищается окно выбранных параметров; по кнопке «Отмена» завершается работа модуля; по кнопке «Помощь» вызывается помощь пользователю.
После определения параметров модели и запуска процедуры оценивания на экране появляются результаты в виде графиков исходного и преобразованного ряда, графика условной дисперсии, а также в виде отчета по результатам анализа модели.
Отчет по анализу GARCH-модели содержит порядок выбранной модели, начальные приближения для оценки параметров, итоговые оценки параметров, среднеквадратическое отклонение, число итераций, критерий остановки, максимум функции правдоподобия.
Модуль «Мультифрактальный анализ» находится в пункте меню «Описание» и предназначен для исследования спектрально-корреляционных свойств различных процессов, в том числе нестационарных. Помимо этого данная процедура позволяет проводить оценку корреляционных свойств случайных процессов по сравнительно коротким сигналам.
Главное меню модуля включает четыре пункта: «Файл», «Мультифрактальный формализм», «Мультифрактальный анализ», «Справка».
Интерфейс модуля представлен на рис.3.
Рис.3. Интерфейс модуля «Мультифрактальный анализ»
Секция меню «Файл» предполагает работу с файлами и имеет следующие команды: открыть – открывает файл; закрыть – закрывает процедуру.
Мультифрактальный формализм позволяет вычислить:
- фрактальную размерность временного ряда;
- информационную размерность в виде данных, необходимых для определения местоположения точки в некоторой ячейке;
- энтропию фрактального множества, характеризующую меру беспорядка в системе;
-корреляционную размерность, определяющую зависимость корреляционного интеграла от размера ячейки;
- парный корреляционный интеграл, определяющий вероятность того, что две наугад взятые точки находятся в одной ячейке;
- фрактальные меры (экспоненты Гёльдера, позволяющие судить о корреляциях и антикорреляциях; спектр сингурярностей и обобщенную фрактальную размерность, выявляющие неоднородность изучаемого объекта).
Модуль обеспечивает сравнения двух временных рядов, построение совместных графиков экспоненты Гёльдера, обобщенной фрактальной размерности и спектра сингулярности.
Процедура «Мультифрактальный анализ» с помощью метода максимумов модулей вейвлет-преобразования (рис.4) вычисляет и строит графики коэффициентов вейвлет-преобразований, с предварительным заданием масштаба и пространственной координаты.
Рис.4. Окно «Метод максимумов модулей вейвлет-преобразований»
Эффективность расширенной версии пакета. Повышение степени эффективности моделирования при использовании расширенной версии пакета иллюстрируется на примере исследования месячных данных по изменению индекса интенсивности промышленного производства за период с января 1995 года по май 2007 года, рассчитанные центром экономической конъюнктуры при Правительстве Российской Федерации и представляемых в виде временных рядов.
На первом этапе анализа ряд признан нестационарным.
По результатам мультифрактального анализа фиксируется корреляция в динамике процесса, что свидетельствует о присутствии тренда. Выделен квадратичный тренд, оптимальный из 17 парных зависимостей по «внутреннему» среднеквадратическому отклонению - = 0,63 и по «внешнему» - Δ = 0,7.
По результатам спектрального анализа делается заключение о присутствии гармонических составляющих. Методом пошаговой регрессии выделено шесть значимых гармоник.
Построена модель ARCH(1) со среднеквадратическим отклонением = 0,13 и Δ = 0,17. Применение фильтра Калмана к остаткам позволяет улучшить качество модели ( = 0,05; Δ = 0,09).
а) б)
Рис. 5. а) График комплексной модели ряда, построенной с использованием расширенной версии АС ДРМ; б) График исходного временного ряда.
Результаты диагностики остатков последнего шага свидетельствуют о соблюдение основных условий применения метода наименьших квадратов.
Заключение. Добавление в программный комплекс АС ДРМ моделей вычисления скользящих средних, авторегрессионных моделей со скользящими средними в остатках, GARCH-моделей и мультифрактального анализа значительно расширяет возможности пакета в применении к моделированию технико-экономических показателей.
Проведение процедуры сглаживания временного ряда перед началом анализа позволяет получить модели, лучшие в смысле минимума среднеквадратического отклонения. С появлением авторегрессионных моделей с условной гетероскедастичностью стало возможным учитывать изменение волатильности. Мультифрактальный анализ позволяет исследовать поведение ряда перед его обработкой, находить оптимальный масштаб представления данных, выявлять долю хаоса в системе, что очень важно для дальнейшего анализа данных классическим корреляционным (или спектральным) анализом и построения прогноза, а также определять трендоустойчивость ряда.
Таким образом, программное обеспечение автоматизированной системы с интегрированными модулями может быть использовано для обработки достаточно широкого круга временных рядов в технике, экономике, экологии и др., обеспечивая заметное повышение точности по сравнению со стандартными пакетами.
Выражаю признательность профессору С.Г. Валееву за постановку задачи и консультации.
Литература
- Валеев, С.Г. Регрессионное моделирование при обработке наблюдений / С.Г. Валеев. – М.: Наука, 1991. 272 с. (Валеев, С.Г. Регрессионное моделирование при обработке данных / С.Г. Валеев – 2-е изд., доп. и перераб. - Казань: ФЭН, 2001. - 296 с.)
- Божокин С.В., Паршин Д.А. Фракталы и мультифракталы. – Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001. – 128с.
- Валеев, С.Г. Программная реализация ДРМ-подхода для обработки и анализа временных рядов / С.Г. Валеев, С.В. Куркина // Известия вузов. Геодезия и аэрофотосъемка. – 2006. – № 5. – С. 10-21.
- Валеев, С.Г. Модели сглаживания временных рядов / С.Г. Валеев, С.В. Куркина, Ю.Е. Кувайскова // Труды междун. конф. «Континуальные алгебраические логики, исчисления и нейроинформатика в науке и технике»: Информатика, системы искусственного интеллекта и моделирование технических систем. – Ульяновск: изд. УлГТУ, 2006. – С. 83-85.
- Валеев, С.Г. Смешанные процессы авторегрессии и скользящего среднего для обработки временных рядов / С.Г. Валеев, Ю.Е. Кувайскова // Вестник Ул. гос. техн. ун-та. – 2006. – №4. – C. 37-41.
- Валеев, С.Г. Моделирование нестационарных временных рядов на основе ДРМ-подхода и ARCH-структур / С.Г. Валеев, Ю.Е. Кувайскова, Е.В. Сухарева // Труды междун. «Конференции по логике, информатике, науковедению»: Математические методы и модели в науке, технике, естествознании и экономике. – Ульяновск: изд. УлГТУ, 2007. – С. 52-54.
- Валеев, С.Г. Использование ARCH-структур и фильтра Калмана для моделирования динамики технико-экономических показателей / С.Г. Валеев, Ю.Е. Кувайскова // Вестник Ул. гос. техн. ун-та. – 2007. – №2. – C. 29-33.
- Валеев, С.Г. Адаптация пакета АС ДРМ к решению экономических и производственных задач / С.Г. Валеев, Ю.Е. Кувайскова // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2008. – №2(12). – С. 60-63.