Geum.ru
Темы диссертаций по экономике » Математические и инструментальные методы экономики

Инструментальные средства оценки потребительского качества экономических информационных систем тема диссертации по экономике, полный текст автореферата



Автореферат



Ученаd>кандидат экономических наук
Автор Победённый, Алексей Владимирович
Место защиты Ростов-на-Дону
Год 2009
Шифр ВАК РФ 08.00.13
Диссертация

Автореферат диссертации по теме "Инструментальные средства оценки потребительского качества экономических информационных систем"

3486183

На правах рукописи

Победённый Алексей Владимирович

ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ОЦЕНКИ ПОТРЕБИТЕЛЬСКОГО КАЧЕСТВА ЭКОНОМИЧЕСКИХ ИНФОРМАЦИОННЫХ СИСТЕМ: РАЗРАБОТКА И ИССЛЕДОВАНИЕ

Специальность 08.00.13 - математические и инструментальные методы экономики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук

- 3 ДЕН 2009

Ростов-на-Дону - 2009

003486189

Работа выпонена в ГОУВПО Ростовский государственный экономический университет (РИНХ).

Научный руководитель: доктор экономических наук, профессор

Хубаев Георгий Николаевич

Официальные оппоненты: доктор технических наук, профессор

Карелин Владимир Петрович

кандидат экономических наук, профессор Рудский Анатолий Андреевич

Ведущая организация: Донской государственный технический

университет (ДГТУ)

Защита состоится 21 декабря 2009 года в 12 часов 00 мин. на заседании диссертационного совета ДМ 212.209.03 в Ростовском государственном экономическом университете (РИНХ) по адресу: 344002, г. Ростов-на-Дону, ул. Б. Садовая, 69, ауд. 231.

С диссертацией можно ознакомиться в научной библиотеке Ростовского государственного экономического университета (РИНХ) и на сайте www.rsue.ru.

Автореферат разослан /^ноября 2009 г.

Ученый секретарь диссертационного совета

И.Ю. Шполянская

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Применение компьютеров привело к существенному росту рынка экономических информационных систем (ЭИС), к быстрой смене его напонения, появлению и внедрению новых технологий сбора и обработки информации. Важным является тот факт, что аналогичные по своему назначению и функциям ЭИС зачастую имеют разную стоимость, обладают разными возможностями. В сложившейся ситуации важно адекватно оценивать потребительское качество1 ЭИС, степень ее соответствия требованиям пользователя.

Ряд научных публикаций посвящен рассмотрению и сравнению методик оценки потребительского качества программных продуктов (ГШ) различного назначения. Эти методики позволяют проанализировать степень выпонения требований заказчика, оценить качество работы продукта в процессе испытаний и эксплуатации, выявить условия, обеспечивающие эффективную эксплуатацию, соотнести потребности конечного пользователя с возможностями представленных на рынке ЭИС и т.д. Большинство методик требуют значительного количества вычислений, что делает необходимой автоматизацию процесса оценки потребительского качества программного обеспечения. Отличительной особенностью оценки потребительского качества ЭИС является отсутствие четкого набора показателей, состав которых определяется функциональным назначением продукта.

Важным требованием при оценке потребительского качества ЭИС является возможность отследить динамику показателей и получить прогнозируемые значения при определенных уровнях внешних факторов.

1 Потребительское качество - совокупность свойств продукции, проявляющаяся в процессе потребления [см.: Социально-экономическая статистика : слов. / под ред. М.Г.Назарова - М.: Финансы и статистика, 1981.-С. 444,449,452].

Это позволит выбрать информационную систему, которая сможет обеспечивать не только текущие запросы пользователей, но и их возрастающие потребности.

Степень изученности исследуемой проблемы. В настоящее время разработаны стандарты в области оценки качества программных продуктов (ГОСТ Р28195-89, ISO/IEC 9126:1991), описывающие процесс обеспечения качества на всем протяжении жизненного цикла программного продукта и основные показатели качества. Проблема оценки качества информационных систем рассматривается в работах Агафонова В.Н., Безкоровайного М.М., Гличева A.B., Кривошеевой М.А., Коган Б.И., Костогрызова А.И., Липаева В.В., Львова В.М., Майерса Г., Тамре Л., Хубаева Г.Н., Hashagen Ulf, Kit Е., Erdogmus Н. И др. Тем не менее, многие проблемы оценки потребительского качества ЭИС изучены недостаточно и в современных условиях требуют дальнейшего исследования, что и обусловило выбор темы диссертационного исследования, предопределило его цель, задачи и структуру.

Целью диссертационного исследования является разработка инструментальных средств для автоматизированной оценки характеристик потребительского качества экономических информационных систем, исследование функциональных возможностей разработанного инструментария при анализе рыночных ЭИС.

Для достижения цели в диссертационном исследовании поставлены и решены следующие задачи:

- разработать инструментальные средства для оценки характеристик потребительского качества ЭИС;

- разработать агоритм измерения времени испонения функциональных операций ЭИС;

- разработать агоритм запонения СУБД случайными данными, который обеспечивал бы высокую скорость запонения при относительно низком уровне ошибок и не требовал от

пользователя знания технических деталей исследуемого продукта;

- провести активные эксперименты с несколькими рыночными ЭИС и по полученным данным построить регрессионные модели, описывающие влияние внешних факторов на скорость выпонения функциональных операций, и выпонить сравнение исследуемых ЭИС между собой.

Объектом исследования являются экономические информационные системы, используемые предприятиями всех форм собственности. Предметом исследования являются социально-экономические отношения, связанные с использованием экономических информационных систем.

Инструментарий исследования составили методы научного познания, методы математической статистики, системного анализа, теория баз данных, методы планирования экстремальных экспериментов, методики оценки потребительского качества ЭИС по различным критериям, методы формализованного анализа информационных характеристик ЭИС, современное программное обеспечение общего и специального назначения: Microsoft Windows 2000 Professional, Linux, Oracle 9i, MySQL 4.1, Java 5 Software Development Kit, DBMonster 2.3.

Теоретическую базу исследования составили труды ведущих российских и зарубежных ученых по проблемам оценки и обеспечения качества экономических информационных систем.

Информационно-эмпирическую базу исследования составили данные, характеризующие процессы функционирования и потребительское качество ЭИС и полученные в результате планирования и реализации активных экспериментов.

Работа выпонена в соответствии с пунктом л2.6. Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов

экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии паспорта специальности 08.00.13 - Математические и инструментальные методы экономики.

Положения, выносимые на защиту:

1. агоритм оценки времени выпонения функциональных операций, позволяющий осуществлять автоматический запуск и хронометраж исследуемых операций без применения специальных программно-аппаратных средств или модификации программного кода;

2. разработанные инструментальные средства оценки потребительского качества экономических информационных систем, обеспечивающие возможность проводить активные эксперименты с различными рыночными ЭИС, строить регрессионные модели по данным экстремальных экспериментов и позволяющие определять характеристики потребительского качества и сравнивать ЭИС между собой по этим критериям;

3. агоритмы напонения СУБД данными, в том числе агоритм, ориентированный на использование непрерывных областей определения значений данных, анализатор типов данных и настраиваемый параметрический генератор случайных величин с возможностью определения допустимых диапазонов числовых данных;

4. программный модуль, реализующий функции контроля вносимых в ЭИС данных и использующий анализатор шаблонов реакции ЭИС на ввод данных для оценки задержек отклика ЭИС;

5. построенные по данным активных экспериментов с четырьмя рыночными ЭИС статистически значимые регрессионные модели, позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выпонения функциональных операций исследуемыми ЭИС.

Научная новизна результатов исследования. Элементы новизны содержат следующие результаты:

1. разработаны инструментальные средства оценки потребительского качества экономических информационных систем, отличающиеся наличием программных модулей, обеспечивающих возможность проводить активные эксперименты с анализируемыми ЭИС, в том числе с системами, использующими СУБД в качестве источника данных, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие измерять время выпонения базовых операций, пропускную способность (число операций за единицу времени), процент ошибок и время доступности системы, лотзывчивость пользовательского интерфейса; проводить хронометраж выпонения базовых операций в автоматизированном режиме; представлять результаты эксперимента по двум и более системам в удобном графическом виде и сравнивать ЭИС по характеристикам потребительского качества;

2. разработан агоритм измерения времени выпонения функциональных операций, отличающийся наличием функций автоматического запуска исследуемой операции и контроля процесса её выпонения, позволяющий повысить точность оценки, проводить хронометраж без применения специальных программно-аппаратных средств или модификации программного кода;

3. разработаны оригинальные агоритмы напонения СУБД данными, отличающиеся использованием непрерывных областей определения значений данных (домены данных), наличием анализатора типов данных и настраиваемых генераторов случайных величин, возможностью определения допустимых диапазонов числовых данных и позволяющие снизить уровень ошибок во время запонения СУБД, поностью автоматизировать внесение данных различной сложности в ЭИС;

4. предложены h реализованы функции контроля вносимых данных, отличающиеся наличием процедуры анализа шаблонов реакции ЭИС на ввод данных, адаптивными задержками между операциями и позволяющие оценить правильность запонения полей при вводе данных, учесть и измерить задержки отклика ЭИС;

5. построены (по данным активных экспериментов с четырьмя рыночными ЭИС: 1С Бухгатерия, Ананас, лCompier ERP/CRM, лPlazma) статистически значимые регрессионные модели, отличающиеся структурой (оцениваются линейные эффекты) и составом факторов (включены факторы: Движение товара по складу, Отгрузка со склада, Поступление на склад Ввод остатков по складу, Поступление материальных ресурсов, Списание материальных ресурсов и др.) и позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выпонения функциональных операций исследуемыми ЭИС, оценивать основные параметры потребительского качества ЭИС на различных наборах значений факторов (без повторного проведения активного эксперимента), существенно снизить затраты на оценку характеристик потребительского качества ЭИС в целом.

Практическая ценность результатов исследования. Разработанные инструментальные средства оценки потребительского качества позволяют в автоматизированном режиме проводить оценку потребительского качества ЭИС; минимизировать время, затрачиваемое на проведение активного эксперимента; получать прогноз времени выпонения функциональных операций, реализованных оцениваемой ЭИС в зависимости от объема обрабатываемой системой информации.

Апробация результатов исследования. Результаты диссертационного исследования внедрены и используются: в отделе Автоматизации управления ГОУВПО РГЭУ (РИНХ) при проектировании автоматизированной системы Контингент; в Министерстве экономики, торговли, международных и внешнеэкономических связей ростовской

области; в ООО Строитель-М.

По теме диссертации опубликовано 5 печатных работ общим объемом 1,48 пл., в том числе 2 работы в изданиях, рекомендованных ВАК РФ, и получено 4 Свидетельства РОСПАТЕНТ о государственной регистрации программ для ЭВМ.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, библиографического списка и 4 приложений. Основной текст занимает 142 страницы, включает в себя 10 таблиц и 20 рисунков. Библиографический список состоит из 87 источников.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационного исследования, сформулирована цель и задачи исследования, определен объект, предмет и методология исследования, сформулированы положения и результаты, выносимые на защиту.

В первой главе Сравнительный анализ методик оценки качества экономических информационных систем проведен анализ методик оценки потребительского качества ЭИС и способов измерения различных показателей качества. Сделан вывод о том, что оценка потребительского качества ЭИС представляет собой очень важную и актуальную задачу.

Проведенный анализ стандартов, регламентирующих показатели качества программного обеспечения (ISO 9126-1-4 и ГОСТ 28195-89), позволил установить, что и международные, и отечественные стандарты не в поной мере отражают характеристики потребительского качества, имеющие значение для пользователей. Сделан вывод о том, что целесообразно использовать синтез стандартов с целью получения адекватного набора показателей, который бы более поно отражал требования пользователя к качеству ЭИС. Выделен набор характеристик, применимых к абсолютному

большинству ЭИС и отражающих потребительское качество продукта:

- функциональная понота;

- время выпонения функциональных операций;

- объем данных, обрабатываемых системой;

- количество одновременно подключенных пользователей;

- доступность системы;

- частота сбоев при работе.

Приведенный список является базовым и может быть расширен за счет относительных показателей. Был выделен ряд таких показателей:

- среднее время выпонения функциональной операции для одного пользователя;

- количество операций для пользователя в секунду (во многих случаях этот параметр отождествляется с пропускной способностью системы) - относительный показатель, определяемый как среднее время выпонения операции при определенном количестве пользователей;

- предельное количество пользователей (или объем данных), при котором величина показателя лопераций для пользователя в секунду находится в определенных пределах;

- отзывчивость пользовательского интерфейса - показатель, характеризующий процент времени, которое тратит рядовой пользователь на ожидание реакции системы при выпонении рутинных операций.

Рассмотрены методики, позволяющих проводить оценку качества ЭИС по критерию функциональной поноты2, качеству пользовательского интерфейса, надежности, своевременности представления данных, времени выпонения отдельных функциональных операций. Последняя из рассмотренных методик, используя данные нагрузочного тестирования,

2 Хубаев, Г.Н. Сравнение сложных программных систем по критерию функциональной поноты // Программные продукты и системы (Software & System). - 1998. - №2. - С. 6 - 9.

позволяет оценить все выделенные характеристики потребительского качества, кроме функциональной поноты.

Методика не требует наличия у пользователя каких-либо специализированных знаний о внутреннем устройстве исследуемой системы. Однако для того чтобы подобная оценка была объективна, получаемые данные дожны быть репрезентативными и воспроизводимыми, что требует использования методов планирования экспериментов. Поскольку выбранная методика требует достаточно большого объема вычислений, представляется целесообразным автоматизировать процедуру проведения оценки потребительского качества ЭИС.

Во второй главе Автоматизация процессов оценки потребительского качества экономических информационных систем рассмотрена процедура проведения оценки потребительского качества информационной системы с использованием инструментария стресс-тестирования и метода планирования экспериментов. Описаны основные типы факторного эксперимента, и определены условия их применения3. Описана математическая модель, используемая как средство обработки данных эксперимента и анализа влияния внешних факторов на потребительские характеристики качества продукта.

Рассмотрены различные проблемы автоматизации процесса оценки потребительского качества ЭИС. Большая часть проблем связана с варьированием значений факторов - объема обрабатываемых данных и числа одновременно работающих с системой пользователей. Рассмотрены два основных подхода к созданию нагрузки на автоматизированную систему, которые применяются в тестировании программного обеспечения -генерация случайного набора входных данных или запись и последующее воспроизведение управляющих действий, таких как работа пользователей с системой, интеграционные или сетевые пакеты данных. Выделены

3 Хубаев, Г.н. Статистические методы планирования экстремальных экспериментов с информационными системами // Вопросы статистики. - 1999. - №6. - С. 78-83.

достоинства и недостатки каждого из подходов, описаны основные проблемы при реализации автоматизированной системы, использующей любой из этих подходов. Часть проблем тесно связана с различными ограничениями СУБД: ссылочной целостностью, закрытостью и отсутствием документации по техническим особенностям ЭИС, отсутствием в свободном доступе информации о структуре обмена данными между компонентами системы.

В третьей главе "Разработка и анализ инструментальных средств оценки характеристик потребительского качества экономических информационных систем" проведена постановка задачи проектирования и разработки двух инструментальных средств оценки потребительского качества ЭИС, сформулированы требования к разрабатываемым ИС. Описаны два разработанных инструментальных средства (модуля) оценки потребительского качества ЭИС - модуль, ориентированный на запонение таблиц СУБД случайными данными, и модуль воспроизведения действий пользователя по работе с системой. Рассмотрены основные проблемы, возникающие в ходе стресс-тестирования ЭИС, характерные для большинства рыночных инструментов тестирования.

Для решения описанных проблем разработаны оригинальные агоритмы:

- агоритм, ориентированный на использование непрерывных областей значений (доменов) дня стобцов определенного типа в одной итерации. Это позволяет правильно сформировать значение первичного ключа и потенциального внешнего ключа таблиц БД;

- агоритм анализа названий колонок с целью определения неявных связей и специальных типов данных. Агоритм используется для определения внешних ключей и типов данных на основании имен колонок;

- агоритм анализа содержимого таблиц, позволяющий определять специальные структуры и типы данных: анализируется вся имеющаяся в БД информация для оценки допустимого интервала значений по каждой колонке

каждой таблицы (например, если колонка таблицы содержит только значения 1 и 0, то это может говорить о том, что колонка с булевыми значениями);

- агоритмы сохранения, анализа и восстановления данных таблиц, позволяющие сделать "снимок", зафиксировать состояние данных в БД на момент начала активного эксперимента, а затем восстановить это состояние после окончания эксперимента. Механизм "снимков" определяет, какие из таблиц БД участвуют в выпонении операции внесения данных в систему; это позволяет отобрать таблицы, информация из которых используется в определенной бизнес-операции;

- агоритм многошаговой обработки исключительных ситуаций и ошибок, позволяющий корректировать генерацию случайных величин при возникновении ошибки и восстанавливать состояние базы на момент последней удачной итерации;

- агоритм учета увеличения задержек при работе с пользовательским интерфейсом исследуемой ЭИС, позволяющий воспроизводить работу нескольких пользователей с системой, вставляя между операциями необходимую для реакции системы на действие задержку;

- агоритм определения начала и окончания работы функциональной операции, для которой проводится хронометраж; агоритм позволяет проводить замер времени отклика системы без участия пользователя, не модифицирует код и не использует отладочных механизмов, снижающих скорость работы ЭИС.

Проведен сравнительный анализ функциональных возможностей и характеристик разработанных модулей с аналогичными программными продуктами (таблица 1) - LoadRunner, (HP LR) IBM Rational ClearTest (CT), Jmeter, DBMonster (DBM).

Таблица 1 - Сравнительные характеристики разработанных программных

модулей и аналогичных коммерческих ПП

Характерис- Ер.ОВ Ер.РР НР ЬЯ ст Же1ег РВМ

тика

Скорость Высокая Средняя Высокая Низкая Средняя Высокая

запонения

данными

Работа с Только Да Только Да Только Только

любыми СУБД клиент- клиент- СУБД

системами сервер сервер

Эмуляция Нет Да Да Да Да Нет

одновременной работы

нескольких

пользователей

Возможность Да Нет Нет Нет Нет Да

генерации ошибочных

данных

Оценка Нет Да Нет Да Нет Нет

параметра

лотзывчивость

интерфейса

Автоматический Да Да Да Да Да Нет

хронометраж

операций

Построение Да Да Нет Нет Нет Нет

регрессионных моделей по

результатам

эксперимента

Возможность Да Да Нет Нет Нет Нет

сравнения

нескольких

систем между

собой

Необходимость Да Нет Да Да Да Да

наличия у

пользователя

технических

знаний о работе,

протоколах

взаимодействия

и особенностях

архитектуры ЭИС

Как следует из данных таблицы 1, разработанные в рамках диссертационного исследования инструментальные средства превосходят по

многим параметрам зарубежные аналоги.

В четвертой главе "Экстремальные эксперименты и построение регрессионных моделей для оценки потребительского качества рыночных ЭИС" проведены активные эксперименты с четырьмя экономическими информационными системами сходного назначения - л1С Торговля и склад, лCompier EPR, Ананас, лPlazma CRM.

Экономическая информационная система л1С с конфигурацией торговля и склад - известная и хорошо зарекомендовавшая себя платформа для ведения бухгатерского складского учета, организации деятельности отдела кадров и отдела связи с клиентами. До версии 8 в системе л1С использовася FoxPro-формат, который вызывал массу нареканий из-за резкого падения производительности на больших объемах данных. Выход версии 8.1 для Microsoft SQLServer 2000 в лучшую сторону изменил ситуацию для меких и средних предприятий, в то время как для крупных предприятий проблема осталась актуальной. Второй основной проблемой, помимо производительности, являлась относительно высокая цена внедрения.

ЭИС Ананас - бесплатный кросс-платформенный аналог л1С, который, по замыслу авторов, дожен быть избавлен от основного недостатка своего конкурента - высокой стоимости внедрения. Снизить затраты на внедрение планировалось, сделав Ананас кросс-платформенным.

Система лPlazma CRM является иностранным аналогом отечественной учетной системы, и, хотя изначально она проектировалась, как средство автоматизации работы с клиентами (Client Relationship Management), широкие функциональные возможности позволяют использовать эту систему и для ведения бухгатерского учета на средних по величине предприятиях. Реализованная на языке Java система лPlazma CRM является кросс-платформенной, а ориентация на технологию ORM (Object-

relational mapping) позволяет системе использовать практически любую базу данных. Все это делает лPlazma CRM весьма перспективной разработкой, обладающей значительным запасом производительности, благодаря отличной масштабируемости Java и возможности использовать такие СУБД, как Oracle, IBM DB2, Sybase.

Система лCompier ERP/CRM, как следует из названия, является системой планирования ресурсов предприятия (Enterprise Resource Planning System) и предназначена для автоматизации учёта и управления. ЭИС лCompier является бесплатной системой с открытым исходным кодом. Техническая реализация, выпоненная с использованием технологии J2EE, позволяет строить масштабируемые решения, организовывать

отказоустойчивые кластеры с балансировкой нагрузки.

Конкретизируя сферу применения перечисленных ЭИС, следует отметить, что система Ананас предназначена для индивидуальных предпринимателей, система лPlazma CRM может использоваться в небольших и средних фирмах, программный продукт лCompier предназначен исключительно для крупных предприятий, а система л1С одинаково распространена на всех уровнях.

Активные эксперименты для оценки характеристик потребительского качества рассмотренных ЭИС проведены с использованием разработанных в диссертационном исследовании инструментальных средств. Для двух систем (лPlazma CRM и лCompier) использовася модуль лEp.DB, для двух других - Ер.РР. В ходе активного эксперимента оценивалась скорость выпонения бизнес-операции Расчет остатков на складе. При выпонении операций такого типа может применяться полный или частичный расчет значений показателей. При поном расчете показателей отчета ЭИС обрабатывает весь объем данных, а при частичном - показатели рассчитываются/пересчитываются при добавлении данных. С точки зрения оценки характеристик потребительского качества первый из способов будет увеличивать значения показателя время выпонения функциональной

операции, а применение второго способа приведет к ускорению выпонения функциональной операции и к снижению значений показателя лотзывчивость пользовательского интерфейса.

При проведении активных экспериментов с использованием модуля Ер.РР допонительно получены значения двух показателей. Первый -лотзывчивость пользовательского интерфейса - отражает отношение суммы задержек ввода данных (то есть реакции ЭИС на ввод) на первом шаге к аналогичной сумме, рассчитанной для последнего шага активного эксперимента. Второй показатель - доступность системы - рассчитывается как отношение суммы всех задержек между началом первого этапа и его окончанием (учитывается и скорость выпонения исследуемой функциональной операции) к аналогичной сумме, рассчитанной для последнего этапа. Зная значения этих показателей, можно судить о том, сколько времени конечный пользователь будет ожидать реакции ЭИС на свои действия.

По результатам активных экспериментов строятся регрессионные модели, позволяющие оценить скорость (время) выпонения конкретной операции каждой из анализируемых ЭИС.

После выделения значимых (определяющих) факторов (рисунок 1) и выбора параметров эксперимента (полный факторный или дробный факторный эксперимент) осуществляется запонение систем исходной информацией. Модуль лEp.DE! выпоняет серии запросов на вставку данных в таблицы БД, а модуль Ер.РР воспроизводит предварительно записанные пользователем действия по добавлению документа в систему. Количество таких операций (вставок) определяется параметрами эксперимента (верхним и нижним порогом значений факторов, интервалом варьирования) и планом эксперимента. После ввода исходных данных оценивается скорость выпонения той или иной операции.

Фвкя&рыэкс Основные -

падпицы БД." Вторичные - саравсннохи БД;

Вторичные факторы

Исключенные факторы

Щ асас!ет1с_<1едгее | 1 Е1 аса0ет1с_<1?дгее Ц О 1 О асас!ет1с_(1едгее 1

О ас!м1у_^ре . I П айМОДре

О л1Йв88 ЕЗ аййэдв 1 ГЗ аййгввз

з<Мгез5_1уре О аййгевз.^ре | 1ай^геБз^ре

О эрраПтепМурв О арраптвпЦуре | Ш арраптеп1_^рв

Ш Ьапк Ш Ьг1дас1г 1 1т1пе55зЫе

Щ Ьзпк_ассоип1 ЬЗ 1шв1пв55аЬ1а | 031)и$1па55аЫв_9пИу |

Щ Ьзпк_соте*1 В 1>И81П8553Ыв_9ПШу 1 В 1ш81пя$5аЫя_гйд1я1ег

3 ЬивИбззаЫе 31>и51пез5аЫе_гед1в1ег 1 31)и51пе55аЫв_5в(1иепсе

1>1181пб85аЫе_вп№у | 11и8|Пв5$аЫв_5ври9ПСв 1 3 са5И_1псотв

В Ьи81пе5$аЫе_гед1з1ег ЕЗ са*Г|_1псоте 1 Ш са5|1_о111согпе

О Ьи81пв8БаЫв_8вл1ивпев | О сИу Оси

сазМпсоте | О соМас! || 1 О согйал

Название нзигренич

| Свввт по факторам '( Дпвл

Рисунок 1 - Внешний вид экрана выбора факторов эксперимента

В качестве уровней факторов использовалось общее количество бизнес-объектов, имеющих отношение к данной операции. Под бизнес-объектами понимается сущность системы (документ, проводка), описывающая движение товара на складе (документы отгрузки или поступления). Один бизнес-объект может хранить свои данные одновременно в нескольких таблицах БД

Для основного уровня выбрано количество бизнес-объектов, равное 5000. Для справочников основной уровень составил 500 записей. Верхний и нижний уровни для бизнес-объектов - 3000 и 7000 записей соответственно.

В ходе эксперимента рассчитывались следующие показатели: среднее время выпонения операции, число операций в секунду, лотзывчивость пользовательского интерфейса и доступность системы.

Так, для оценки быстродействия информационной системы лCompier ERP/CRM проведены поные факторные эксперименты, количество факторов равно 3. Планирование проводилось на двух уровнях.

Факторами были документы движение товара по складу, лотгрузка со склада, поступление на склад (хь Х2, х3 соответственно), и справочники Ч справочник товаров, номенклатура единиц измерения (х4, х5).

После обработки результатов опытов получено следующее уравнение, представленное формулой (1).

у = 8,15 + 0,25х, + 0,08х2 + 0,2х3 + 0,03x4 + 0,03х5 (1)

Проверка однородности дисперсий проводилась с использованием критерия Кохрена, для проверки гипотезы об адекватности модели использован критерий Фишера, а при оценке значимости факторов - t-

критерий Стьюдента. Окончательное уравнение регрессии имеет вид (2).

у = 8,15 + 0,25х, + 0,08X2 + 0,2х3 (2)

Фактические и прогнозные значения времени выпонения функциональной операции складская ведомость, рассчитанные по этой модели, представлены на рисунке 2.

Для оценки характеристик потребительского качества экономической информационной системы Ананас проведены дробные факторные эксперименты. Анализировалось время выпонения функциональной операции Выдача отчета Ведомость движения по складуû.

В качестве факторов взяты объёмы 8 таблиц, входящих в базу данных системы Ананас (содержат данные по документам Ввод остатков по складу, Списание, Поступление и двум справочникам: Товары, Номенклатура).

Рисунок 2 - Фактические и прогнозные значения времени

выпонения функциональной операции складская ведомость

Окончательное уравнение регрессии для прогнозирования времени выпонения функциональной операции Ведомость движения по складу имеет вид (3).

у= 9,98+ 0,2x1 + 0,07х2 + 0,24х3 (3)

Фактические и прогнозные значения, рассчитанные по этой модели, представлены на рисунке 3.

Рисунок 3 - Фактические и прогнозные значения времени

выпонения функциональной операции Ведомость движения по складу

Время выпонения функциональной операции Отчет по складу в системе лPlazma CRM оценивалось, исходя из значений трех основных и двух вспомогательных факторов.

После исключения незначимых факторов окончательное уравнение регрессии для функциональной операции Ведомость движения по складу приняло вид (4).

у = 9,16+ 0,2х! + 0,12х2 + 0,26х3 + 0,11X4 (4)

Фактические и прогнозные значения времени выпонения функциональной операции, рассчитанные по этой модели, представлены на рисунке 4.

7,5 ...............................

1 2 3 4 5 6 7 8 9 10 11 12 13 и 15 16 17 18 19 20 21 22 23 24 25 Ж 27 28 29 30 31 32

N9 этапа

Рисунок 4 - Фактические и прогнозные значения времени

выпонения функциональной операции Ведомость движения по складу

Для оценки характеристик типовой конфигурации системы л1С-Торговля и склад проведен полный факторный эксперимент.

Проанализирована функциональная операция Ведомость остатков на складе; в эксперименте варьировались значения пяти факторов: количество документов Ввод остатков по складу, Поступление материальных ресурсов, Списание материальных ресурсов, и объем справочников Номенклатура и Единицы измерения.

Планирование проводилось на двух уровнях. Число паралельных опытов при проведении эксперимента равно трем. После обработки результатов опытов для функциональной операции Ведомость остатков на складе получено уравнение (5).

у = 7,98 + 0,26x1 + 0,10х2 + 0,Зх3 + 0,03х4 + 0,04х5 (5)

Проверка однородности дисперсий производилась по критерию Кохрена. Расчетное значение критерия составило 0,112, а табличное 0,2756, следовательно, гипотеза об однородности дисперсий подтверждается. Для проверки адекватности уравнения применяся критерий Фишера. Расчетное значение критерия Фишера составило 2,31, а табличное 3,3 следовательно модель адекватна.

Расчетные значения /-критериев Стьюдента для коэффициентов Ь], Ь2, Ь3, Ь4> Ь5 составили соответственно 9,34; 3,79; 10,83; 1,12; 1,61, а табличное значение равно 2,059 при уровне значимости 5%. Окончательное уравнение регрессии (после исключения незначимых факторов) приняло вид (6).

у = 7,98 +0,26х! +0,10х2 +0,Зх3 (6)

Фактические и прогнозные значения времени выпонения функциональной операции Ведомость остатков на складе, рассчитанные по этой модели, представлены на рисунке 5.

№ этапа

Уф Урасч

Рисунок 5 - Фактические и прогнозные значения времени

выпонения функциональной операции Ведомость остатков на складе

На рисунке 6 представлен внешний вид окна с просмотром результатов эксперимента, а в таблице 2 представлена информация для сравнения рассмотренных ЭИС между собой.

:<в сячипхтквсах ыратпры жюра-икира.

Пск^чешюе урзаивмс у*4,18 0.5241 * 0.1К2 > 0,74**3 4 1,37'х4 + а,95"*5 2.36'хБ 4 С учетом эизчимичш лозффициекто. у= 4,18 + 0.74*хЗ 0,95**6 * 2,ЗБ'х6. Параметры ура&мишя: дислерсня адеиваттктм: 6,й2 дисперсия восфоизвздаиосгк. 6,33 ритсрмй Косрею: 0.047

рнерии1-Оькли>а; 0.81:0.53; 362 1.44; 4, л7.2.76;0,54,0,93 ритврий Фишера: 1,13 уровень яючхыости: 5%

Прогнозируемые и фактические

1 3 5 7 9 11 13 15 17 19 !' 25 25 2? 29 31 Гй этапа

Рисунок 6 - Экран просмотра результатов эксперимента

Таблица 2 - Результаты активных экспериментов с несколькими

рыночными ЭИС

Операция Количество ЭИС

объектов 1С Ананас Plazma Compier

Среднее время 9,29 11,235 9,97 8,95

выпонения операции (сек)

Операций в секунду для 5 5000 0,02 0,018 0,099 0,111

пользователей

Отзывчивость интерфейса 94% 91% 93% 98%

Доступность системы 99% - - 99%

Среднее время 10,23 11,88 11,28 11,41

выпонения операции (сек)

% изменения 15000 10,14% 5,7% 13,1% 11,41%

Операций в секунду для 5 0,019 0,016 0,094 0,1

пользователей

Отзывчивость интерфейса 91% 90% 91% 95%

Доступность системы 90% - - 93%

Как видно из таблицы, лучшие результаты по времени выпонения рассматриваемой функциональной операции показывают системы л1С и лCompiere ERP/CRM. При одновременном выпонении пятью пользователями одной функциональной операции система л1С показывает значительное снижение скорости выпонения операций - уменьшилось значение показателя Операций в секунду на пользователя. При трехкратном увеличении объема данных наблюдается заметное снижение скорости работы ЭИС (более 10% для всех ЭИС, кроме системы Ананас),

Проведенные эксперименты позволяют сделать обоснованный выбор ЭИС, исходя из значений показателей, характеризующих потребительское качество систем.

В Заключении диссертационного исследования приведены основные результаты и выводы.

Основные положения диссертационной работы нашли отражение в следующих публикациях:

Статьи в периодических научных изданиях, выпускаемых в РФ и рекомендованных ВАК

1. Победённый A.B. Оценка производительности программных продуктов экономического назначения // Вестник Ростовского государственного экономического университета РИНХ.- Ростов н/Д, 2009.-№2.Чс.307-312 -0,3 пл.

2. Победённый A.B. Информационная система для оценки производительности программных продуктов // Вестник Донского государственного технического университета- Ростов н/Д, 2009.- №2-с.303-307 - 0,3 пл.

Статьи в периодических научных изданиях, в материалах конференций и в сборниках научных трудов вузов

3. Победённый A.B. Об оценке качества экономических информационных систем // Проблемы федеральной и региональной экономики: ученые записки / Ростовский государственный экономический университет РИНХ,- Ростов н/Д, 2007 - Вып. 10 - с.109-114 - 0,38 пл.

4. Победённый A.B. Об оценке эффективности функционирования информационных систем, построенных с использованием СУБД // Проблемы федеральной и региональной экономики: ученые записки / Ростовский государственный экономический университет РИНХ,Ч Ростов н/Д, 2007 -Вып. 10,-с.119-122-0,3 пл.

5. Победённый A.B. Аспекты создания безопасных вэб-приложений с использованием языка Java // Проблемы информационной безопасности: Материалы всероссийской научно-практической Интернет-конференции / Ростовский государственный экономический университет РИНХ.- Ростов н/Д, 2006.- с.80-83 - 0,2 пл.

Свидетельства РОСПАТЕНТа

6. Хубаев Г.Н., Побеленный A.B. Информационная система оценки производительности программных продуктов лEp.DB //Свидетельство об официальной регистрации программы для ЭВМ- №2009610147- М.: РОСПАТЕНТ, 2009.

7. Программная система для оценки характеристик потребительского качества информационных продуктов для экономических приложений / Г.Н. Хубаев, С.М. Щербаков, М.А. Кривошеева, А.И. Голованов, A.B. Победенный // Свидетельство об официальной регистрации программы для ЭВМ - № 2004612668.-М.: РОСПАТЕНТ, 2004.

8. Система поддержки принятия решений для повышения эффективности управления качеством работы налоговых органов / А.Б. Паскачев, Ю.Д. Джамурзаев, Г.Н. Хубаев, A.B. Победенный, Е.В. Полуянов, Е.Г. Смелик // Свидетельство об официальной регистрации программы для ЭВМ,-№2004612476,-М.: РОСПАТЕНТ, 2004.

9. Хубаев Г.Н., Победенный A.B. Информационная система для автоматизированной оценки качества программных продуктов Ер.РР //Свидетельство об официальной регистрации программы для ЭВМ-№ 2009610148.-М.: РОСПАТЕНТ, 2009.

Печать цифровая. Бумага офсетная. Гарнитура Тайме. Формат 60x84/16. Объем 1,0 уч.-изд.-л. Заказ № 1505. Тираж 150 экз. Отпечатано в КМЦ КОПЩЕНТР 344006, г. Ростов-на-Дону, ул. Суворова, 19, тел. 247-34-88

Диссертация: содержание автор диссертационного исследования: кандидат экономических наук , Победённый, Алексей Владимирович

Введение

1 Сравнительный анализ методик оценки качества экономических 11 информационных систем

1.1 Характеристики потребительского качества экономических 11 информационных систем

1.2 Подходы к оценке отдельных показателей потребительского 30 качества экономических информационных систем

1.3 Сравнительный анализ существующих методик оценки 35 потребительского качества экономических информационных систем

2 Автоматизация процессов оценки потребительского качества 46 экономических информационных систем

2.1 Оценка потребительского качества ЭИС с использованием 46 статистических методов планирования экстремальных экспериментов

2.2 Особенности процедуры оценки характеристик потребительского 59 качества ЭИС

3 Разработка и анализ инструментальных средств оценки 64 характеристик потребительского качества экономических информационных систем

3.1 Постановка задачи проектирования инструментальных средств 64 оценки характеристик потребительского качества ЭИС

3.2 Особенности проектирования системы оценки качества ЭИС, 66 ориентированных на использование СУБД

3.3 Проектирование инструментальных средств оценки 74 потребительского качества ЭИС

3.4 Программная реализация модуля оценки потребительского качества 76 ЭИС лEp.DB

3.5 Описание модуля оценки потребительского качества ЭИС лEp.DB

3.6 Программная реализация модуля оценки потребительского качества 88 ЭИС Ер.РР

3.7 Сравнение разработанных инструментальных средств оценки 92 потребительского качества ЭИС

4 Экстремальные эксперименты и построение регрессионных моделей 98 для оценки потребительского качества рыночных ЭИС

4.1 Описание выбранных для проведения экстремальных 98 экспериментов систем

4.2 Проведение экстремальных экспериментов с экономической 102 информационной системой лCompier ERP/CRM

4.3 Проведение экстремальных экспериментов с экономической 106 информационной системой Ананас

4.4 Проведение экстремальных экспериментов с экономической 109 информационной системой лPlazma CRM

4.5 Проведение экстремальных экспериментов с экономической 111 информационной системой л1С Торговля и склад

Диссертация: введение по экономике, на тему "Инструментальные средства оценки потребительского качества экономических информационных систем"

За последние десятилетия информационные технологии сделали большой рывок вперед. Применение компьютеров привело к существенному росту рынка экономических информационных систем (ЭИС), к быстрой смене его напонения, появлению и внедрению новых технологий сбора и обработки информации. Важным моментом является тот факт, что аналогичные по своему назначению и функциям ЭИС имеют разную стоимость и могут обладать разными возможностями. В сложившейся ситуации важно адекватно оценивать потребительское качество ЭИС - степень ее соответствия требованиям пользователя. [53].

Ряд научных публикаций посвящен рассмотрению и сравнению различных методик оценки качества ЭИС [6, 20, 21, 35]. Эти методики позволяют проанализировать выпонимость требований заказчика, оценить потенциальные угрозы безопасности информации, оценить качество работы ЭИС в процессе испытаний и эксплуатации, выявить условия эффективной эксплуатации, соотнести потребности конечного пользователя с представленными на рынке системами и т.д. Большинство методик требуют значительного количества вычислений, что делает необходимой автоматизацию процесса оценки потребительского качества ЭИС.

Отличительной особенностью оценки качества ЭИС является отсутствие четкого набора показателей качества, состав которого определяется функциональным назначением системы и зависит от целей конечного пользователя. При этом процесс измерения большинства показателей качества неформализован, а количество факторов; участвующих в оценке настолько велико, что в большинстве случаев необходима целая команда специалистов. Все это значительно повышает расходы на оценку качества ЭИС, и приводит к тому, что большинство систем выбираются исходя из личного опыта или рекомендации колег. Ые стоит забывать, что затраты на модернизацию уже действующей ЭИС (изменение структуры хранения данных, базовой платформы реализации функционала и т.д.) зачастую многократно превышают ее первоначальную стоимость. А это значит, что выбор программного продукта без определения степени его соответствия предъявленным пользователем требованиям, может привести к непредвиденным затратам и значительно снизить экономический эффект от внедрения информационной системы.

В данном исследовании предпринята попытка ответить на поставленные выше вопросы и разрешить часть описанных проблем, связанных с процедурой оценки качества информационных систем.

Степень изученности исследуемой проблемы. В настоящее время разработаны стандарты в области оценки качества программных продуктов ( Q28195-89, ISO/IEC 9126:1991), формализующие процесс обеспечения качества на всем протяжении жизненного цикла программного продукта, и описывающие основные показатели качества. Проблема оценки качества рассматривается в работах Агафонова В.Н., Безкоровайного М.М., Гличева А.В., Кривошеевой М.А., Коган Б.И:, Костогрызова А.И., Липаева В.В., Львова В.М., Майерса Г., Тамре Л., Хубаева Г.Н., Hashagen Ulf, Kit Е., Erdogmus Н.

Тем не менее, многие проблемы оценки потребительского качества ЭИС изучены недостаточно, и в современных условиях требуют дальнейшего исследования, что и обусловило выбор темы диссертационного исследования, предопределило его цель, задачи и структуру.

Целью диссертационного исследования является разработка и исследование инструментальных средств (ИС) для автоматизированной оценки характеристик потребительского качества экономических информационных систем; исследование функциональных возможностей разработанного инструментария анализе рыночных ЭИС.

Для достижения цели в диссертационном исследовании поставлены следующие задачи:

- разработать инструментальные средства для оценки характеристик потребительского качества ЭИС,

- разработать агоритм измерения времени испонения функциональных операций ЭИС,

- разработать агоритмы запонения СУБД случайными данными который обеспечивал бы высокую скорость запонения при относительно низком уровне ошибок, и не требовал от пользователя знания технических деталей исследуемого продукта,

- провести активные эксперименты с несколькими рыночными ЭИС, по полученным данным построить регрессионные модели, описывающие влияние внешних факторов на скорость выпонения функциональных операций и выпонить сравнение исследуемых ЭИС между собой.

Объектом исследования являются экономические информационные системы, используемые предприятиями всех форм собственности. Предметом исследования являются социально-экономические отношения, связанные с использованием экономических информационных систем на предприятиях всех форм собственности.

Инструментарий исследования составили методы научного познания, методы математической статистики, системного анализа, теория баз данных, методы планирования экстремальных экспериментов, методики оценки потребительского качества ЭИС по различным критериям, методы формализованного анализа информационных характеристик ЭИС, современное программное обеспечение общего и специального назначения: Microsoft Windows 2000 Professional, Linux, Oracle 9i, MySQL 4.1, Java 5 Software Development Kit, DBMonster 2.3.

Теоретическую базу исследования составили труды ведущих российских и зарубежных ученых по проблемам оценки и обеспечения качества экономических информационных систем.

Информационно-эмпирическую базу исследования составили данные, характеризующие процессы функционирования и потребительское качество ЭИС, полученные в результате планирования и реализации активных экспериментов.

Работа выпонена в соответствии с пунктом л2.6. Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии паспорта специальности 08.00.13 - Математические и инструментальные методы экономики.

Положения, выносимые на защиту:

1. Разработанные инструментальные средства оценки потребительского качества экономических информационных систем, которые обеспечивают возможность проведения активных экспериментов с различными рыночными ЭИС, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие определять характеристики потребительского качества и сравнивать по этим критериям ЭИС между собой.

2. Агоритм оценки времени выпонения функциональных операций, позволяющий выпонять автоматический запуск и хронометраж исследуемых операций без применения специальных программно-аппаратных средств или модификации программного кода.

3. Агоритмы напонения СУБД данными, в том числе, агоритм, ориентированный на использование непрерывных областей определения значений данных, анализатор типов данных и настраиваемый параметрический генератор случайных величин с возможностью определения допустимых диапазонов числовых данных.

4. Функции контроля вносимых в ЭИС данных, использующие анализатор шаблонов реакции ЭИС на ввод данных для оценки задержек отклика ЭИС.

5. Построенные по данным активных экспериментов с четырьмя рыночными ЭИС статистически значимые регрессионные модели, позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выпонения функциональных операций исследуемыми ЭИС.

Научная новизна результатов исследования. Элементы новизны содержат следующие результаты:

1. Разработаны инструментальные средства оценки потребительского качества экономических информационных систем, отличающиеся наличием программных модулей, обеспечивающих возможность проводить активные эксперименты с анализируемыми ЭИС, в том числе с системами, использующими СУБД в качестве источника данных, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие измерять время выпонения базовых операций, пропускную способность (число операций за единицу времени, число операций за единицу времени в расчете на пользователя), процент ошибок и время доступности системы, лотзывчивость пользовательского интерфейса; проводить хронометраж выпонения базовых операций в автоматизированном режиме; представлять результаты эксперимента по двум и более системам в удобном графическом виде и сравнивать ЭИС по характеристикам потребительского качества.

2. Разработан агоритм измерения времени выпонения функциональных операций, отличающийся наличием функций автоматического запуска исследуемой операции и контроля процесса её выпонения, позволяющий повысить точность оценки, проводить хронометраж без применения специальных программно-аппаратных средств или модификации программного кода.

3. Разработаны оригинальные агоритмы напонения СУБД данными, отличающиеся использованием непрерывных областей определения значений данных, наличием анализатора типов данных и настраиваемых генераторов случайных величин, возможностью определения допустимых диапазонов числовых данных, и позволяющие снизить уровень ошибок во время запонения СУБД, поностью автоматизировать внесение данных различной сложности в ЭИС.

4. Предложены и реализованы функции контроля вносимых данных, отличающиеся наличием процедуры анализа шаблонов реакции ЭИС на ввод данных, адаптивными задержками между операциями и позволяющие оценить правильность запонения полей при вводе данных, учесть и измерить задержки отклика ЭИС.

5. Построены (по данным активных экспериментов с четырьмя рыночными ЭИС: 1С Бухгатерия, Ананас, лCompier ERP/CRM, лPlazma) статистически значимые регрессионные модели, отличающиеся структурой (оцениваются линейные эффекты) и составом факторов (включены факторы: Движение товара по складу, Отгрузка со склада, Поступление на склад Ввод остатков по складу, Поступление материальных ресурсов, Списание материальных ресурсов и др.) и позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выпонения функциональных операций исследуемыми ЭИС, оценивать основные параметры потребительского качества ЭИС на различных наборах значений факторов (без повторного проведения активного эксперимента), существенно снизить затраты на оценку характеристик потребительского качества ЭИС в целом.

Практическая ценность результатов исследования. Разработанные инструментальные средства оценки позволяет в автоматизированном режиме проводить оценку потребительского качества

ЭИС; минимизировать время, затрачиваемое на проведение активного эксперимента; получать прогноз времени выпонения функциональных операций, реализованных оцениваемой ЭИС в зависимости от объема обрабатываемой системой информации.

Апробация результатов исследования. Результаты диссертационного исследования внедрены и используются в учебных целях при чтении курсов Проектирование информационных систем и Теория экономических информационных систем в РГЭУ РИНХ.

По теме диссертации опубликовано 4 печатных работы общим объемом 1,5 п. л. и получено 4 Свидетельства РОСПАТЕНТ о государственной регистрации программ для ЭВМ.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и 4 приложений. Основной текст занимает 142 страницы, включает в себя 9 таблиц и 20 рисунков. Список использованной литературы состоит из 87 источников.

Диссертация: заключение по теме "Математические и инструментальные методы экономики", Победённый, Алексей Владимирович

Основные выводы и практические результаты диссертационного исследования:

- созданы два инструментальных средства оценки характеристик потребительского качества ЭИС позволяющие: минимизировать время проведения активного эксперимента с программным продуктом; выпонять автоматический хронометраж выпонения функциональных операций; строить регрессионные модели, описывающие поведение системы;

- созданные инструментальные средства оценки характеристик потребительского качества позволяют получить оценку общего времени решения задачи автоматизации, реализованной в оцениваемой ЭИС, при условии проведения экспериментов для всех функциональных операций реализуемых системой;

- минимизировано время проведения активного эксперимента с

В ходе проведенных активных экспериментов с ЭИС получены статистические характеристики их функционирования и построены регрессионные модели зависимости времени отклика от различных факторов.

Перечисленные новые результаты исследований обеспечили возможность:

- на стадии разработки ЭИС выявлять узкие места архитектуры проектируемой системы;

- получать оценку характеристик потребительского качества системы на любой стадии ее жизненного цикла;

- расширить для пользователя возможности выбора на рынке ЭИС, предоставив возможность получения прогноза времени выпонения всех реализованных любой программной системой функциональных операций;

- проводить активные эксперименты с ЭТС, анализируя при этом большое число факторов. принимать обоснованные решения о выборе ЭИС.

Заключение

В диссертационной работе рассмотрены показатели качества, регламентируемые стандартами и используемые на практике для оценки ЭИС по различным критериям. Проведена сравнительная характеристика отечественного и международного стандартов, регламентирующих показатели качества, приведены примеры детализации требований к ЭИС. Определен список показателей составляющих потребительское качество. Рассмотрены инструменты измерения выбранных показателей, используемые при тестировании программного обеспечения, описаны их достоинства и недостатки.

Проведен подробный анализ существующих на текущий момент методик оценки качества информационных систем. Сформулированы задачи, решение которых необходимо для создания инструментальных средств оценки характеристик потребительского качества экономических информационных систем.

Описаны проблемы автоматизации проведения активных экспериментов с ЭИС и пути их решения. Из множества факторов оказывающих влияние на функционирование систем выявлены те факторы, которыми можно управлять в автоматическом режиме. Автоматизировано проведение активных экспериментов с экономическими информационными системами любой архитектуры. В процессе проведения активного эксперимента значения факторов изменяются в автоматическом режиме.

Построены статистически значимые прогнозные модели, позволяющие прогнозировать время выпонения различных функциональных операций программными системами л1С Торговля и склад, Ананас, лCompier ERP/CRM и лPlazma CRM в зависимости от объемов данных

Диссертация: библиография по экономике, кандидат экономических наук , Победённый, Алексей Владимирович, Ростов-на-Дону

1. Агафонов В Н. Спецификация программ: Понятийные средства и их организация. Новосибирск: Наука, 1987.

2. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.:Наука 1976.

3. Айвазян С.А, Мхитарян B.C. Прикладная статистика и основы эконометрики. -М.: ЮНИТИ, 1998.(13)

4. Архипов И.В. Разработка математического и программного обеспечения информационно-управляющей системы распределенного предприятия сервисного обслуживания : Автореф. дис. канд. техн. наук : 05.13.11, 05.13.06 Воронеж, гос. техн. ун-т .Воронеж, 2002 г.

5. Афанасьев В. Н. Информационные технологии в управлении предприятием : Учеб. пособие В.Н. Афанасьев, А.И. Постников; М-во образования Рос. Федерации. Моск. гос. ин-т электроники и математики (Техн. ун-т) М.:Моск. гос. ин-т электроник и математики, 2003г.

6. Безкоровайный М.М., Костогрызов А.И., Львов В.М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем "КОК". -М.: Синтег, 2000. (5)

7. Богуславский Л.Б., Ляхов А.И. Оценка производительности распределенных информационно-вычислительных системархитектуры клиент-сервер. Ч Автоматика и телемеханика, №9, 1995.

8. Боэм Б.У. Инженерное проектирование программного обеспечения: Пер. с англ. / Под ред. А.А. Красилова. М.: Радио и связь, 1985.

9. Вознесенский В.А. Статистические методы планирования эксперимента в технико-экономических исследованиях. М.: Статистика 1974. (26)

10. Воробович Н. П. Структуры данных : Учеб. пособие для студентов специальности 220400 всех форм обучения Н.П. Воробович ; М-во образования Рос. Федерации. Сиб. гос. технол. ун-т .Красноярск: Сиб. гос. технол. ун-т, 2002г.

11. Воков С.И., Романов А.Н. Организация машинной обработки экономической информации. М.: Финансы и статистика, 1988. - 400 с.

12. Вокова В.Н., Денисов А.А. Основы теории систем и системного анализа. СПб.: Издательство СПбГТУ, 1997. -510 с.

13. Вронский К. Стандарты ISO и управление качеством проектов IT // www.msfestival.ru (29)

14. Вычислительная математика и программирование: Сб. научн. трудов. М.: МГПИ им Ленина, 1983. - 136 с.

15. Гантер Р. Методы управления проектированием программного обеспечения: Пер. с англ. / Под ред. Е.К. Масловского. В.В.: Мир, 1981.

16. Гацко Г. Тестирование программного обеспечения как один из элементов системы качества // Открытые системы, №6,1998. (30)

17. Герасименко В. А. Защита информации в автоматизированных системах обработки данных. М.: Энергоатомиздат, 1994.

18. Гличев А.В. Основы управления качеством продукции М.: АМН, 1998. (H)(7)

19. Глудкин О.П. и др. Всеобщее управление качеством.: учебник для ВУЗов. М.:Радио и связь, 1999. (10) (6)

20. Гмурман В.Е. Теория вероятности и математическая статистика: Учебное пособие для ВУЗов. Изд. 7-е, сте. Ч М.:Высшая школа, 2000. 479 с. (31)

21. Губарев В. Г. Программное обеспечение и операционные системы ПК : Учеб. пособие для нач. проф. образования В.Г. Губарев .Ростов н/Д: Феникс, 2002г.

22. Доугерти К. Введение в эконометрику. М.: ИНФРА -М, 1997, 402 с. (32)

23. Дубова Н. Знак качества программному продукту // Открытые системы, 6, 1998. (33)

24. Ефимова MP.; Петрова Е.В, Румянцев В.Н. Общая теория статистики: Учебник.-М.:ИНФРА-М, 1996. 416 с. (34)

25. Замков О.О., Тостопятенко А.В., Черемных Ю.Н. Математические методы в экономике: Учебник. 2-е изд.-М.: МГУ им. М.В. Ломоносова, Издательство Дело и Сервис,1999.-368 с. (35)

26. Иванова Г.С. Технология программирования : Учеб. для студентов ВУЗов. М.: Изд-во МГТУ им. Н.Э. Баумана 2002г.

27. Изосимов А.В. Рыжко Л.Д. Метрическая оценка качества программ, М.: 1991. (15)

28. Информационные системы в экономике: Учебник / Под ред. проф. В.В. Дика. М. Финансы и статистика, 1996.

29. Кармайкл Э. Быстрая и качественная разработка программного обеспечения / Энди Кармайкл, Дэн Хейвуд ; Пер. с англ. О.А. Лещинского. .М. [и др.]: Вильяме 2003

30. Коган Б.И. Измерительные языковые процессоры для исследования и оценки качества программных средств Диссертация на соискание ученой степени доктора технических наук 05.13.11. -Владивосток, 1993.(10)

31. Коган Б.И Оценка качества программных продуктов: реляционный подход. Определение базовой объективной системы внтренних свойств программных продуктов. Препринт. Владивосток: ИАПУ ДВО РАН, 1996.(11)

32. Коган Б.И, Остроухова СН. Оценка качества программных продуктов: реляционный подход. Определение базовой объективной системы внутренних свойств программных продуктов. Препринт. Владивосток: ИАПУ ДВО РАН, 1996.(12)

33. КостогрызовА.И., Липаев В.В. Сертификация качества функционирования автоматизированных информационных систем. М.: Изд Вооружение. Политика. Конвесия. 1996.

34. КостогрызовА.И., Петухов А.В., Щербина A.M. Основы оценки, обеспечения и повышения качества выходной информации в АСУ организационного типа. М.: "Вооружение. Политика. Конверсия", 1994. (4)

35. Кремер Н.Ш., Путко Б.А., Тришин И.М, Фридман М.Н. Исследование операций в экономике: Учебн. Пособие для ВУЗов/ Под ред. Проф Н.Ш. Кремера М.: ЮНИТИ, 2000.,-407 с. (36)

36. Кривошеева М.А. Автоматизация проведения оценки качества программного обеспечения // Экономика и финансы №20, 2003. с 49-51

37. Кривошеева М.А. Обзор некоторых характеристик качества программных средств // Информационные системы, экономика, управление трудом и производством. Вып. 7.: Ученые записки / РГЭУ. Ростов-на-Дону, 2003. - с. 21-26.

38. Кривошеева М.А. Разработка и исследование информационных систем для оценки потребительского качества программных средств Диссертация на соискание ученой степени кандидата экономических наук 08.00.13. -Ростов-на-Дону, 2005.

39. Кузнецов С.Д. Стандарты языка реляционных баз данных SQL: краткий обзор//СУБД №2. 1996.

40. Липаев В.В. Выбор и оценивание характеристик качества программных средств. Методы и стандарты. М.-СИНТЕГ, 2001.(2)

41. Липаев В.В. Обеспечение качества программных средств. М.: СИНТЕГ, 2001 (28)(9)

42. Липаев В.В. Оценка качества программных средств // Сетевой журнал, №3, 2002.

43. Липаев В.В. Системное программирование сложных программных средств для информационных систем. М: СИНТЕГ, 1999. (18)

44. Липаев В.В. Позин Б. А., Штрик, А. А. Технология сборочного программирования / Под. ред. В.В. Липаева. -М.: Радио и связь, 1992.

45. Липаев В.В., Потапов А.И. Оценка затрат на разработку программного обеспечения. М.: Финансы и статистика, 1988.

46. Майерс Г. Искусство тестирования программ: Пер. с англ-М.: Финансы и статистика, 1982.

47. Маркова Н. Пристальный взгляд на качество программ/Юткрытые системы, №7Ч8, 1999.

48. Маслова НП. Статистическая теория: предмет, содержание. Структура и перспективы: Монография. -Ростов-на-Дону: РГЭА 1995Ч263с.

49. Международный стандарт ИСО 90001:1994. Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании (Второе издание).ЧМ: 1996.

50. Нечаев Ю.И. Планирование и обработка результатов эксперимента. / www.csa.ru (25)

51. Ногинский М.В. Стандарты оценки качества программного обеспечения (ГОСТ 28195-89 и ГОСТ РИСО/МЭК 9126-93): анализ, сравнение, применение. ЛАНИТ, Москва, 1999 г. (3)

52. Острейковский В.А. Информатика : Учеб. пособие для студентов учреждений сред. проф. образования В. А. Острейковский .М.: Высш. шк., 2003г.

53. Погодаев А. К. Программное обеспечение автоматизированных систем. Разработка информационной структуры : Учеб. пособие А. К. Погодаев, В. В. Дозоров. Липецк: Липец, эколого-гуманитар. ин-т 2002г.

54. Поттосин И.В. О критериях добротности программ. РАН, Сибирское отделение, Институт систем информатики им. Ершова. Препринт35, Владивосток, 1996.(14)

55. Прангишивили И.В. Системный подход и общесистемные закономерности. М: СИНТЕГ, 2000. (21)

56. Применение ЭВМ в научных исследованиях и управлении. Инструментальные средства АСНИ и АСУ: Межвуз. сб. научн. тр. / Под ред. Петрова О.М. М.: ВЗМИ, 1986. - 168 с.

57. Рожков К. Н. Разработка и исследование информационной технологии для решения задач мониторинга и управления сложными, быстро изменяющимися системами : Автореф. дис. . канд. техн. наук : 05.13.11 Дальневост. гос. ун-т .Владивосток 2002 .

58. Саркисян А.А. -Повышение качества программ на основе автоматизированных методов. М.: Радио и связь, 1991. (16)

59. Свирин Б. Н. Проектирование устойчиво-безопасных-систем : Учеб. пособие по курсу "Математическое и программное обеспечение САПР" М.: Компания Спутник+, 2003 г.

60. Семенов В.А. Автоматизированные системы обработки экономической информации: Учебник/ B.C. Рожнов и др., под ред. проф. В.С.Рожнова М.: Финансы и статистика, 1986.-272с. (28)

61. Сертификация продукции. Международные стандарты и руководство ИСО/МЭК в области сертификации и управления качеством. ЧМ.: Издательсво стандартов 1990. (17)

62. Смит К. Эффективные решения: Практ. рук. по созданию гибкого и масштабируемого программного обеспечения Конни Смит, лойд Уильяме ; Пер. с англ. А.С. Подосельника и Н.М. Ручко. .М.: Вильяме, 2003 г.

63. Тамре Л. Введение в тестирование программного обеспечения / Пер. с англ. и ред. В. В. Марченко .М. и др.: Вильяме 2003г.

64. Трахтенгец Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998.

65. Федорова Г.С. и др. Проектирование и организация машинной обработки экономической информации. М.: Финансы и статистика, 1986. - 390 с.

66. Характеристики программного обеспечения /Б. Боэм, Дж. Браун, X Каспар и др./ Пер. с англ. Е.К. Масловского. М.: Мир, 1981.

67. Хубаев Г.Н. Анализ информационных потребностей пользователей при создании АРМ // Автоматизированные рабочие места в системе управления предприятием. Ч Л.ЛИЭИ, 1989. (23)

68. Хубаев Г.Н. Методика анализа предметной области.// Компьютеризация информационных процессов в управлении народным хозяйством. М.: МЭСИ, 1988. (22)

69. Хубаев Г.Н. Методика сравнительной экспертной оценки качества сложных программных средств // Анализ и проектирование систем управления производством: Межвуз. сб. -Н-Новгород: Изд-во Н-Новгород. Университета, 1992. (24)

70. Хубаев Г.Н. Методика экономической оценки потребительского качества программных средств // Программные продукты и системы (SOFTWARE and SYSTEMS). 1995. - №1. - с. 2 - 8.

71. Хубаев Г.Н. Сложные системы: экспертные системы сравнения. // Известия ВУЗов Северо-Кавказский регион. Общественные Науки. 1999. №3.

72. Хубаев Г.Н. Сравнение сложных программных систем по критерию функциональной поноты // Программные продукты и системы (Software & System). 1989. - №2. - с. 6-9.

73. Хубаев Г.Н. Экономическая оценка качества программных средств, Ростов-на-Дону, 1997. (1)

74. Хубаев Г.Н." Экономическая оценка потребительского качества программных средств: Текст лекций/РГЭА. -Ростов-на-Дону, 1997.-94с.

75. Щербо В.К., Козлов В.А. Функциональные стандарты в открытых системах. Ч. 1. Концепция открытых систем. Ч. 2. Международные функциональные стандарты. М.: Изд. МЦНТИ. 1997.

76. Эконометрика: Учебник/ Под ред. И.И. Елисеевой. М.: Финансы и статистика 2001. Ч 344 е.: ил. (37)

77. Cargill С. F. Information technologies standardization. Digital Press. 1989. (20)

78. Erdogmus H. Advances in software engineering: Comprehension, evaluation, a. evolution Hakan Erdogmus, Oryal Tanir, ed. . New York etc.: Springer Cop. 2002

79. Kit E. Software Testing in the Real World Improving the Process. Addison-Wesley. 1996.

80. Hashagen Ulf, ред. .History of computing: software issues Intern, conf. on the history of computing, ICHC 2000, Apr. 5-7, 2000.

81. Hsu J. Y. .Computer logic : Design principles a. applications John Y. Hsu .New York etc.: Springer 2002

Похожие диссертации