Geum.ru
   Авторефераты по всем темам  >>  Авторефераты по техническим специальностям  

На правах рукописи

кириллов Юрий Игоревич

Исследование и разработка алгоритмов и комплекса программ для автоматизированной обработки акустооптических спектральных данных на основе архитектуры компьютерной сети с универсализацией идентификаторов без сессионного соединения

Специальность 05.13.18 "Математическое моделирование, численные

методы и комплексы программ"

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата технических наук

Москва 2012

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования

МАТИ - Российский государственный технологический университет
имени К.Э.Циолковского

Научный руководитель:

доктор технических наук, профессор

Беневоленский Сергей Борисович

Официальные оппоненты:

доктор физико-математических наук

Истомина Наталья Леонидовна

кандидат технических наук

Путря Федор Михайлович

Ведущая организация:

Федеральное государственное автономное образовательное учреждение высшего профессионального образования Московский физико-технический институт (государственный университет)

Защита состоится "____" _____________ 2012 года в ____ часов на заседании диссертационного совета Да212.110.08 при Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования МАТИ - Российский государственный технологический университет имени К.Э.Циолковского по адресу: 121552, Москва, ул.аОршанская, д.а3, ауд. 612а.

С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного образовательного учреждения высшего профессионального образования МАТИ - Российский государственный технологический университет имени К.Э.Циолковского по адресу: 121552, Москва, ул.аОршанская, д.а3.

Автореферат разослан "____" _____________ 2012 г.

Ученый секретарь

диссертационного совета Да212.110.08

кандидат физико-математических наук                                         Спыну М.В.

Общая характеристика работы

Актуальность темы.

Широкое практическое внедрение и перспективы использования акустооптической (АО) спектроскопии сдерживаются отсутствием специализированного программного обеспечения, учитывающего все особенности АО спектральных данных. Обработка информации, полученной с акустооптического спектрометра (АОС), требует возможности выполнения широкого спектра операций, выполняемых в интерактивном режиме, возможности быстро (в автоматизированном режиме) обрабатывать большие объемы информации, а также документировать, хранить как результаты измерений, так и результаты обработки полученной информации. Также следует отметить, что весь процесс обработки данных, полученных с АОС, должен, с одной стороны, выполняться как единый процесс, с другой стороны - задачи, связанные с научно-исследовательскими работами, не могут (по определению) выполняться по единому шаблону (алгоритму), т.е. путей достижения требуемого результата может быть несколько. Существующее программное обеспечение не позволяет реализовать указанные задачи, поскольку оно деструктуризировано, т.е. каждая программа позволяет решить только одну задачу и является полностью автономной. Отсюда следует, что набор подобных программ не позволяет выполнять обработку информации как единый процесс обработки и анализа спектральных данных. К тому же, многие из существующих программ были разработаны в системе DOS и, как следствие, не обладают развитым эргономичным интерфейсом. Ряд программ, разработанных под семейство ОС Windows, зачастую обладают только частью функциональности программного обеспечения ранних версий. Это является следствием того, что подобные программные продукты разрабатывались как дополнения к существующему ПО.

Так, на сегодняшний день основными универсальными средствами обработки спектральных данных являются программы серии УSPCTLФ, работающие в среде УWindowsФ и предлагающиеся для компьютеризированных АО спектрометров, управляемых внешним компьютером. Эти программные продукты имеют развитой графический интерфейс, многофункциональное рабочее окно, разнообразные режимы измерений и отображений, включая рамановский режим, элементы автотестирования. Однако в этом перечне нет основных функций программы УQuartzФ, работавшей в среде DOS, а именно: вычитание, деление, сглаживание, логарифмирование и др. Принципиальная возможность проделывать эти операции в другой программе не решает проблемы, т.к. время выполнения одной такой операции составляет несколько минут (против нескольких секунд, необходимых в программе УQuartzФ). Фактически одно это обстоятельство вычеркивает АОС из разряда быстродействующих.

Существующие общие математические и спектроаналитические программы, ориентированные на работу с непрерывными функциями, не способны адекватно отображать АО спектральные данные и проводить операции с ними, например, вычитание и деление спектров. Табличные редакторы также не способны обеспечить правильное и удобное оперирование этим типом функций. При анализе АО спектральных данных требуется применение многоэтапных процедур, что ставит проблему запуска и обменов данными между исполняющими приложениями, которые могут располагаться на других узлах, объединенных в сеть. Технологии распределенных и сервис-ориентированных вычислений, базирующееся на использовании универсальных идентификаторов, не требующие установления сессионного соединения, позволяют эффективно задействовать разнородные вычислительные ресурсы для автоматического выполнения сценариев обработки данных.

Для программных комплексов, участвующих в АО спектрометрии, необходимо применение мощных современных интегрированных систем научных и инженерных расчетов, пакетов обработки больших массивов статистических данных и других специализированных программных средств. Таким образом, необходимо создание специализированного программного обеспечения, позволяющего осуществлять работу с рассматриваемыми математическими объектами и предусматривающего возможность обработки АО спектральных данных с использованием разнородных вычислительных ресурсов.

Предметом исследования является моделирование временных параметров файловых систем и архитектур, перспективных для применения в программном комплексе для анализа, хранения и визуализации акустооптической спектральной информации на основе компьютерной сети с универсализацией идентификаторов, совершенствование алгоритмов и разработка программного комплекса, реализующего эти алгоритмы.

Целью работы является повышение эффективности и производительности процессов обработки и анализа акустооптических спектральных данных путем совершенствования архитектуры файловой системы, сценарного подхода к формированию алгоритма анализа и использования сетевых технологий, основанных на принципе определения операций и ресурсов по универсальным идентификаторам без установления сессионного соединения.

Для достижения поставленной цели в работе решены следующие задачи:

  1. Предложена математическая модель быстродействия файловых систем, лежащих в основе базы данных для хранения акустооптических спектральных данных.
  2. Разработана система оценки оптимальной реализации файловой системы хранения акустооптических спектральных данных.
  3. Разработаны алгоритмы обработки и анализа спектральных данных, учитывающие особенности работы акустооптических приборов.
  4. Разработан программный комплекс, воплощающий предложенные алгоритмы анализа, обработки и визуализации акустооптических спектральных данных.

Научная новизна результатов, полученных автором:

  1. Предложена модель временных характеристик файловых систем, лежащих в основе базы данных для хранения акустооптических спектральных данных.
  2. Разработан метод оценки допустимых отклонений параметров, влияющих на ключевые характеристики быстродействия файловой системы базы данных для хранения акустооптических спектральных данных. На основе предложенной модели и метода разработана многокритериальная рейтинговая система оценки оптимальности реализации файловой системы.
  3. Разработана архитектура программного комплекса для анализа, хранения и визуализации акустооптической спектральной информации, основанная на модифицированном подходе к построению программного ядра и использованию компьютерной сети с универсальной идентификацией операций и ресурсов без установления сессионного соединения.

Практическая ценность работы заключается в созданном программном комплексе, позволяющем решать задачи обработки и накапливания акустооптических спектральных данных, который может применяться в различных предметных областях. В работе описано практическое применение построенного алгоритма и комплекса программ при обработке дискретных спектральных данных. Показана реализация разработанного алгоритма с использованием принципа определения операций и ресурсов по универсальным идентификаторам без установления сессионного соединения, позволяющая ускорить обработку АО спектральных данных в 3,4-3,7 раз.

Апробация работы. Основные результаты диссертации докладывались и обсуждались на ХХХVI, ХХХVII и XXXVIII Международных НТК Гагаринские чтения (2010-2012 гг.), Всероссийской научно-технической конференции Новые материалы и технологии - НМТ-2010 (2010 г.), Международной Научно-технической конференции Диагностика-2011 (2011 г.), заочной электронной конференции в Научном электронном архиве Академии естествознания (2011 г.).

Публикации. Основные результаты диссертации опубликованы в 16 печатных работах, в том числе 1 свидетельство о регистрации программы для ЭВМ №2011612817 (2011 г.), 1 свидетельство о регистрации базы данных №2011620267 (2011 г.), 6 публикаций в изданиях из перечня ВАК.

Структура работы. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы и приложений. Изложение иллюстрируется 36 рисунками и 20 таблицами. Общий объем 147 страниц, список литературы 92 наименований.

Краткое содержание работы

Во введении обоснована актуальность работы, сформулированы цели, указаны методы исследований, определена научная новизна результатов и практическое значение диссертационной работы. Дан обзор и краткий анализ существующих алгоритмов обработки акустооптической спектральной информации.

В первой главе приведены результаты анализа предметной области акустооптической спектрометрии. Исследованы методы обработки данных, получаемых с АО спектральных приборов. Кроме того, показаны существующие подходы к программной обработке акустооптических спектральных данных.

В процессе регистрации оптических характеристик объекта сигнал претерпевает серию превращений, которые могут быть разделены на две фазы: приборная обработка (рис.а1) и программная обработка. Первую фазу проходят все сигналы в любом режиме и ее параметры в основном недоступны пользователю. Программная обработка находится под контролем пользователя и проводится в соответствии с режимом измерений и измеряемой характеристикой.

Оптический сигнал источника может быть двух типов:

       а) излучение светящегося объекта I1()= ISourse();

       б) излучение осветителя, проходящее через прозрачный объект I1(ν)а=аILamp(ν)×TObject(ν).

Кроме сигнала источника в объектив может попадать от других источников сигнал фона I2(ν);

Суммарный оптический сигнал I3 попадает в АОС. При этом небольшая часть сигнала (засветка) просачивается на выход независимо от включения фильтра I4()= I3()/M, где M - контраст системы скрещенных поляризаторов.

Остальная часть оптического сигнала I5(ν) = I3(ν) - I4(ν) проходит через перестраиваемый фильтр (АОФ), где подвергается амплитудной модуляции I6(ν,t)а=аI5(ν)×m(t) (m(t) - модулирующая функция) и фильтрации I7(ν,f,t)а=аI6(ν,t)×h(ν ν0(f),f) (h - аппаратная функция АОФ, положение которой определяется частотой управляющего ВЧ сигнала f).

Весь сигнал, проходящий через оптическую систему (отфильтрованный и засветка), I8(ν,f,t)а=аI7(ν,f,t)а+аI4(ν) умножается на функцию пропускания всех элементов системы I9(ν,f,t)а=аI8(ν,f,t)×r(ν).

Сигнал, попадающий на фотоприемник, подвергается фотодетектированию, что сводится к умножению на функцию фоточувствительности приемника S10(ν,f,t)а=аI9(ν,f,t)×β(ν), и интегрированию по спектру S11(f,t)а=а∫S10(ν,f,t)аdν.

К фотосигналу, усиленному предусилителем S12(f,t)а=аS11(f,t)×kpa, добавляется сигнал электромагнитной наводки на соединительные провода S14(f,t)а=аS12(f,t)+S13(f,g), который зависит от частоты звука (как зависит мощность возбуждаемого ВЧ сигнала).

Этот сигнал оцифровывается S15(f,t)а=аTrunc [S14(f,t)] и подвергается синхронной демодуляции S16(f)а=а∫S15(f,t)×dm(t)dt (dm(t) - демодулирующая функция, соответствующая модулирующей функции m(t)).

Результирующий сигнал представляет собой значение единичного фотоотсчета, выдаваемого прибором Sdev(f)а=аS16(f).

Рис. 1. Схема приборной обработки сигнала

1 - суммирование оптических сигналов на входе (объективе)

2, 5 - просачивание сигнала (засветки) в обход АОФ

3, 4 - модуляция и управляемая фильтрация сигнала в АОФ

6 - пассивная фильтрация излучения оптическими элементами АОС

7, 8 - фотодетектирование и спектральное интегрирование оптического сигнала

9 - воздействие электромагнитной наводки

10 - усиление фотосигнала предусилителем

11 - аналого-цифровое преобразование сигнала в АЦП

12 - синхронная демодуляция в плате АЦП

I - оптические сигналы

S - электрические сигналы

I1 - сигнал источника

I2 - сигнал фона

β - коэффициент преобразования фотоприемника

S13 - сигнал наводки

m - модулирующий сигнал

Исходными данными при программной обработке в режиме измерения спектральной зависимости излучения являются значения фотоотсчетов прибора S0(fk)а=аSdev(fk).

1.        Эти значения усредняются S1(fk)а=а<S0(fk)> по серии измерений, заданной пользователем.

2.        Если измерения оптического источника проводились на ярком фоне, исключают сигнал фона вычитанием S2(fk)а=аS1(fk)-Sbg(fk). Для этого сигнал фона должен быть предварительно измерен при выключенном источнике Sbg(fk)а=аS1(fk)/I1=0. При этом кроме собственно фона исключаются также сигнал наводки.

3.        Если указанными сигналами можно пренебречь, операцию п.2 исключают, S2(fk)а=аS1(fk).

4.        В общем случае полученный результат SRes(fk)а=аS2(fk), представляющий собой спектральный отклик спектрометра, отображается на экране и записывается в файл.

5.        Если необходимо определить коэффициент пропускания объекта, то отклик может быть отнормирован на яркость источника TTr(fk)а=аS2(fk)/SRef(fk). Для этого сигнал источника излучения должен быть предварительно измерен при отсутствующем объекте SRef(fk)а=аSRes(fk)/TObject=1. Коэффициент пропускания представляется в безразмерных единицах.

6.        Если необходимо определить абсолютную яркость излучения, то результат может быть представлен в единицах спектральной плотности энергетической яркости IAbs(fk)а=аS2(fk)/Set(fk). Для этого сигнал эталонного источника излучения был предварительно измерен и записан в память спектрометра Set(fk)а=аS2(fk)/I1=Ietalon. Абсолютная яркость излучения представляется в единицах спектральной плотности энергетической яркости: Вт/см2сраднм.

Структура преобразования сигналов при программной обработке в режиме измерения временной зависимости излучения аналогична описанной выше.

На основе исследования схемы получения акустооптических спектральных данных возможно определить требования, предъявляемые к программному обеспечению:

  1. Адаптируемость - ПО должно быть приборно-независимым;
  2. Развитая система функций, реализующая все возможности АОС;
  3. Возможность модернизации без изменения структуры всей системы;
  4. Эргономичность;
  5. Масштабируемость - количество и состав реализуемых функций должны легко изменяться;
  6. Централизованность - все результаты измерений, параметры и режимы работы прибора, а также информация, полученная в результате анализа спектральных данных должна быть доступна в любой момент времени, а сам процесс обработки данных должен быть единым процессом, несмотря на многовариантность решений;
  7. Автоматизация обработки спектральной информации.

Во второй главе описаны результаты разработки метода оценки оптимальности файловой системы для реализации ядра БД, предназначенной для хранения акустооптических (АО) спектральных данных. Критерием оптимальности является максимальное значение рейтинга, присваиваемое той или иной возможной схеме реализации файловой системы. Файловые системы разделены на 5 типов: файл-множество, последовательный файл, индексно-последовательный файл, индексированный файл, прямой файл.

Рейтинг основан на оценке двух ключевых факторов, влияющих на работу БД: общее быстродействие системы, а также влияние случайных или системных изменений ключевых параметров, таких как средняя длина поля, число записей в файле, наличие механизма буферизации, наличие файла переполнения и т.п., на ключевые показатели работы файловой системы. К показателям работы файловой системы относятся время выборки, время получения следующей записи, время обновления включением, время обновления изменением, время считывания всего файла и время реорганизации файла.

Данные в файле-множестве собираются в том порядке, в котором они поступают. Данные не анализируются, не распределяются по категориям и не нормализуются. Для локализации записи в файле-множенстве (рис. 2) требуется большое количество времени, поскольку возможнно, что при поиске элемента данных, который представлен в файле в единственном экземпляре, нужно будет исследовать все записи.

Рис. 2. Блок-схема алгоритма выборки записи в файле-множестве

С учетом соотношения между размерами блоков и записей, время, необходимое для последовательной выборки, можно выразить в более удобной форме:

,

(1)

где п Ч число записей в файле, R Ч объем физической памяти, в которой умещается одна запись, t' - скорость последовательной передачи данных.

Время операции включения записи в последовательный файл составляет

(2)

где s - затраты времени на считывание последнего блока в файле, r - время, необходимое для присоединения новой записи, btt - время считывания (записи) комбинированного блока, TRW - временные затраты на корректирование указателя конца.

Для организации файнла-множества затраты на полное считывание только вдвое пренвосходят затраты на поиск определенной записи:

TXа=а2TF.

(3)

Однако если требуется просчитать записи файла упорядоченно по некоторому атрибуту, то затраты на повторное выполнение п отдельных выборок составят

(4)

Последовательная организанция файлов имеет две особеннонсти, отличающие ее от организанции файла-множества. Первое усовершенствование организации заключается в том, что записи данных упорядочиваются в опренделенной последовательности; второе Ч в том, что атрибуты данных распределены по категонриям, так что отдельные записи содержат значения всех атрибунтов данных в одном и том же понрядке и, возможно, в одной и той же позиции.

Общий подход к выборке записи из последовательного файла заключается в последовательном переборе. Если файл хранится на устройстве прямого доступа, то с помощью метода двоичного поиска (рис. 3) можнно значительно сократить время, необходимое для выборки произвольной записи. Такой поиск возможен только для того типа атрибута, по которому файл был упорядочен.

При осуществлении выборки блока анализируется его первая и последняя занписи, с тем чтобы определить, находится ли в этом блоке искомая запись. Поэтому число выборок зависит не от числа записей п, а от числа блоков nR/B, где B - объем памяти для записи 1 блока. Используя выражение для числа ожидаемых выборок блоков при двоичном поиске, получаем

,

(5)

где определения величин s, r, btt аналогичны формуле (2).

Добавление записи к основному файлу обычно осуществить невозможно, поскольку при включении новых записей в конец файла наруншается упорядоченность. Для небольших наборов данных можнно сдвинуть записи, расположенные за точкой включения, с тем чтобы освободить пространство для новой записи. Для этого потребуется прочитать и переписать в среднем половину всех блоков файла, так что

,

(6)

где b - количество блоков в основном файле.

Полное счинтывание файла заключается в последовательном считывании основного файла и файла транзакций. Это означает, что даннные будут считываться упорядоченно в соответствии с ключом, используемым для задания физического упорядочения записей файла. Для создания этого порядка вначале следует отсортировать файл транзакций. Тогда

(7)

если записи переполнений не сблокированы, или

(8)

если файл транзакций сблокированный и используются два бунфера, позволяющих обрабатывать оба файла как массивы.

Рис. 3. Блок-схема алгоритма двоичного поиска в сблокированном файле

Реорганизация понследовательного файла заключается в создании нового файла путем объединения старого файла и файла транзакций. В процессе объединнения рассортированные данные из файла транзакций и записи из старого последовательного файла копируются в новый файл; при этом исключаются записи из файла транзакций, которые помечены как удаляемые. Время прогона реорганизации скландывается из времени сортировки файла транзакций и времени объединения. Отсюда следует, что время, необходимое для реорганнизации файла, равно сумме времени считывания обоих файлов, времени записи нового файла и времени сортировки файла транзакций:

(9)

Принципы и подходы, применяемые в индексно-последовательных файлах, призваны преодолеть недостатки последовательной органинзации файла, проявляющиеся при доступе к данным, не теряя при этом всех преимуществ этой организации. Одна отличительнная особенность индексно-последовательных файлов заключанется в наличии индекса, позволяющего осуществлять менее упонрядоченный доступ к записям; другая особенность заключается в наличии средств обработки дополнений к файлу.

Для локализации указанной записи используется индекс. Процесс выборки состоит из просмотра главной таблицы, устанновки механизма чтения-записи, считывания индекса и считынвания блока данных. Время на выборку составляет

,аеслиаоа=а0

(10)

Однако если производилось включение записей, то данной пронцедуры будет не достаточно для того, чтобы найти включеннную запись, и поиск необходимо будет продолжить по области переполнения.

Эта процедура схематически изображена на рис. 4.

Рис. 4. Выборка записи из индексно-последовательного файла

Если область переполнения и первичная область расположены в одном и том же боке памяти, то sov = 0 и

.

(11)

При оценке времени последовательного считывания учитынвают скорость эффективного обмена, пренебрегая задержкой, возникающей при переходе от блоков данных к блокам перенполнения, поскольку она возникает не более одного раза в раснчете область памяти. Для последовательного считывания

(12)

Доступ к записям индексированного файла осуществляется только с помощью одного или более индексов. Инндексы могут быть организованы для всех атрибутов, для котонрых возможно задание аргумента поиска.

В индексированных файлах выборка следующей записи осуществляется не с использованием физинческой упорядоченности записей или указателя из предшествунющей записи, а с помощью следующего элемента индекса. Кажндый индекс может содержать несколько уровней, так же как индекс индексно-последовательного файла.

Оценка ожиндаемого времени выборки записи из индексированного файла получается аналогично соответствующей оценке для индексно-последовательного файла. Складывая время доступа к индексу и время доступа к данным, получаем, что для файлов с однонуровневым индексом

(13)

Если блоки распределянются произвольно или находятся из распределения памяти слунчайным образом, то время считывания всех данных из индексного файла

(14)

В простейшей реализации метода прямого доступа каждой записи данных приписывается идентификационный номер, конторый определяет адреса диска, дорожки и записи файла.

Вероятностные методы позволяют преобразовывать значения идентификационных номеров в числовые адреса, расположеннные в адресном пространстве файла. На основе полученных оценок временных затрат, возникающих при работе файловых систем различных типов, были рассчитаны временные характеристики обработки усредненного файла АО данных (рис. 5).

Для выбора наиболее оптимального с точки зрения быстродействия варианта реализации файловой системы БД для хранения АО спектральных данных, предложена параметрическая модель нелинейной взаимосвязи свойств и характеристик файловой системы с ее конструктивными параметрами. В общем случае эту взаимосвязь можно представить в виде следующей системы уравнений:

(15)

где - функции, определяющие те или иные свойства системы; - параметры архитектурной реализации.

Рис. 5. Быстродействие файловых систем при выполнении операций с усредненным файлом акустооптических спектральных данных

Зависимость изменения функций в малой области вблизи их номинальных значений при малых изменениях конструктивных параметров приближенно можно считать линейной, что позволяет перейти к следующей системе уравнений:

,

(16)

где - коэффициент влияния, причем .

Допустимые отклонения параметров обратно пропорциональны коэффициентам влияния . Введем величину , где N - число конструктивных параметров системы. Так как при , необходимо найти как функцию , решив систему уравнений:

(17)

Применив для нахождения условного минимума функции метод Лагранжа, получаем

(18)

Отклонения параметров и функций от номинальных значений носят случайный характер. При этом каждое из уравнений (16) представляет собой линейную функцию случайных величин. Положив , получаем . Из допустимых отклонений одного и того же параметра, полученных из оценки их влияния на различные функции, выбираются минимальные значения. При этом, по условию решения задачи определения допустимых отклонений параметров, имеем .

На основе проведенного модельного анализа различных файловых систем и анализа влияния различных характеристик на общее быстродействие обработки запросов ядром БД, были вычислены значения суммарных рейтингов, показавшая целесообразность применения для накопления и систематизации АО спектральных данных файловой системы, основанной на индексно-последовательных файлах (рис. 6).

Рис. 6. Результаты анализа суммарного рейтинга файловых систем

С помощью разработанной модели многокритериальной оценки производительности и стабильности различных файловых систем, было выявлено, что наиболее оптимальной при работе с массивами спектральных данных, полученных от акустооптических спектрометров, наиболее предпочтительным является использование индексно-последовательных файлов, объединяющих достоинства последовательных и индексированных файлов, при этом их использование не предполагает построения громоздкого В-дерева, реализованного при построении индекса классического индексного файла.

Современное программное обеспечение можно классифицировать по способу построения следующим образом:

  • последовательные системы обработки/анализа спектральных данных (классический способ построения);
  • интегрированные системы на базе информационного ядра;
  • интегрированные системы на базе математического ядра.

Однако программное обеспечение, разработанное с применением указанных способов построения, не обладает всеми необходимыми свойствами для работы с акустооптическими спектрометрами, представляющими собой принципиально новый тип измерительных приборов, обладающих уникальными свойствами, что требует разработки новых подходов к обработке и анализу информации, полученной с их помощью.

Широкий спектр областей применения АО спектрометров обусловливает необходимость выполнения уникального набора операций для каждого типа спектров. Поэтому для обеспечения автоматизации обработки данных, полученных с АО спектрометров, сам процесс обработки информации удобно представить с помощью сценария обработки данных. В данном случае под сценарием понимается упорядоченный набор операций обработки спектральных данных, аргументами которых являются спектры и спектральные характеристики. При этом необходимо предусмотреть возможность работы с разработанными алгоритмами обработки, хранения и визуализации АО спектральных данных с устройств различных типов и под управлением различных операционных систем.

Для реализации вышеперечисленных требований целесообразно разработать программный комплекс с применением системного подхода, основанного на объединении интегрированных систем на базе информационного ядра и на базе математического ядра, предусматривающего возможность сетевой обработки спектральной информации с использованием принципа определения операций и ресурсов по универсальным идентификаторам без установления сессионного соединения. Программное обеспечение будет иметь иерархическую модульную структуру и должно базироваться на единой платформе (ядре), которая объединяет все функции обработки и анализа спектральных данных и сами данные (исходные, полученные от АОС, промежуточные, а также результаты обработки/анализа). Сам программный комплекс должен представлять собой интегрированную информационную систему сбора, обработки/анализа данных, полученных с АОС.

Исходя из этого, программное обеспечение реализовано как среда разработки/выполнения сценариев обработки/анализа спектральных данных. Разработка сценария должна сводиться к извлечению из библиотеки операций и вставке в проект требуемых операций, с последующей интерактивной настройкой параметров операций, интерактивным заданием аргументов операций и графическим определением связей между операциями. Также предложена модификация архитектуры системы анализа, хранения и визуализации АО спектральных данных на основе комбинирования архитектуры информационного и математического ядра с компьютерной сетью, реализованную с использованием принципа определения операций и ресурсов по универсальным идентификаторам без установления сессионного соединения.

В третьей главе описаны результаты разработки программного комплекса для обработки, хранения и визуализации акустооптической спектральной информации. Архитектура программного комплекса состоит из нескольких уровней. Нижний уровень содержит вычислительные ресурсы различного вида, используемые для функционирования сервисов среды. На уровне сервисов реализуется удаленный программный доступ к некоторой востребованной пользователями функциональности. На уровне приложения реализуется доступ пользователя к сервисам через специализированный интерфейс. Структурная схема приложения представлена на рис. 7.

Рис. 7. Структура приложения для работы с сервисами по обработке АО данных

Ключевым элементом программного комплекса является управляющее ядро, отвечающее за взаимодействие функциональных блоков системы между собой, а также реализующее основной функционал по анализу спектральных данных.

Ядро включает в себя средство визуализации акустооптических спектральных данных, модуль управления сценариями обработки данных и математический модуль обработки данных. С помощью программных терминалов управляющее ядро связано с базой данных и справочной подсистемой.

При составлении пользователем алгоритма обработки акустооптических спектральных данных, операции извлекаются из специализированной библиотеки. Основными функциями, реализующей подход работы с ресурсами по универсальному идентификатору, являются функция получения данных из файла АО спектральных данных getData () и функция выполнения всего сценария playScene (), блок-схемы которых представлены на рис. 8.

Визуализация осуществляется путем передачи данных через контейнер (двумерный массив) в блок визуализации спектральной информации (БВСИ), который в свою очередь должен быть настроен определенным образом для правильного отображения данных, т.е. должен быть выбран режим визуализации - метод аппроксимации, тип данных и т.д. Режим выбирается путем вариации соответствующих параметров инструмента визуализации; общий алгоритм работы блока визуализации спектральной информации показан на рис. 9.

Рис. 8. Алгоритмы работы функций getData() и playScene()

Рис. 9. Алгоритм работы блока визуализации

База данных, являющаяся неотъемлемой частью общей системы анализа спектральных данных, может быть использована и как самостоятельное программное обеспечение, позволяющее систематизировать файлы со спектральными данными по каталогам и подкаталогам, осуществлять просмотр общего вида графика спектра и сопутствующих ему метаданных. Пример работы с СУБД представлен на рис. 10.

В ходе комплексного тестирования применялись подходы и методы, используемые при тестировании сложных программных средств. Методику тестирования условно можно разделить на два этапа: тестирование всех составных частей ПК по отдельности с сопутствующей верификацией компонентов ПК современным требованиям и тестирование работы системы в целом. Первый этап включал в себя модульное тестирование программного кода с использованием встроенных тестовых библиотек, тестирование работы ПК на различных тестовых примерах, а также нагрузочное тестирование. Основным выводом этой части тестирования является стабильное и предсказуемое поведение ПК во всех тестовых ситуациях.

Рис. 10. Результат запроса таблицы эталонного спектра

Модульное тестирование включало в себя проверку работы ключевых программных модулей с помощью запуска специализированного программного кода, а также тестирование ситуаций поведения программного комплекса с использованием различных тестовых примеров (реальных спектров поглощения и излучения). В первом случае были проверены 94 функции с помощью средств библиотеки QTestLib, в результате ошибок во внутренней логике, неиспользуемых переменных и логических ветвей не обнаружено. Во втором случае испытания включали в себя проверку работы основных алгоритмов на точность визуализации, совместимость файловой системы с именами файлов и отработку распространенных ошибок пользователя на примере файлов спектров зеленого лазера "Лазер-Компакт" мощностью 90 мВт в диапазоне 531-533 нм при температуре 28.1 - 28.3 С с 55 измеренными точками. Результаты показали стабильную работу разработанного программного обеспечения во всех тестовых ситуациях, методическая погрешность обработки данных составила при отображении длин волн 0,00028%, значений интенсивности излучения 0,0509% и значений логарифмирования 0,1506%, что соответствует существующим на сегодняшний день требованиям.

Также проведены нагрузочные испытания для выявления динамических показателей работы ядра базы данных при запуске на различных ЭВМ, результаты которых приведены в таблице.

Таблица. Результаты серии динамических испытаний работы базы данных

Операция записи (мс)

Операция чтения (мс)

Операция перезаписи (мс)

Тест №1. Частота 3077 Мгц, ОЗУ 1024 Мб. Жесткий диск 60 Гб, IDE

669

215

970

Тест №2. Частота 3077 Мгц, ОЗУ 1024 Мб. Жесткий диск 120 Гб, SATA

366

89

678

Тест №3. Частота 2800 Мгц, ОЗУ 2048 Мб. Жесткий диск 120 Гб, SATA

257

67

574

Большое внимание уделено обеспечению защиты данных в БД, для чего был разработан отдельный резидентный модуль для осуществления резервирования данных и системных файлов для защиты от системных ошибок и несанкционированного доступа. В основу работы модуля защиты положен метод сравнения контрольных сумм и архивное резервирование данных через задаваемые пользователем промежутки времени (по умолчанию резервирование производится каждые 30 минут).

Финальная серия испытаний разработанного программного комплекса была посвящена системному и интеграционному тестированию, в ходе которых была показана надежность работы программного обеспечения на различных системных платформах. Интеграционное тестирование также доказало отсутствие ошибок при информационном взаимодействии программных блоков.

В целом серия проведенных испытаний разработанного программного комплекса для анализа, хранения и визуализации акустооптических спектральных данных показала его работоспособность и пригодность для промышленной эксплуатации при решении различных задач, связанных со спектрометрией.

Основные результаты и выводы по работе

  1. Предложена математическая модель быстродействия файловых систем, лежащих в основе базы данных для хранения акустооптических спектральных данных, позволяющая оценить время обработки усредненного файла с АО спектральными данными.
  2. Разработан многокритериальный метод оценки оптимальной реализации файловой системы хранения акустооптических спектральных данных, основанная на анализе временных показателей работы файловых систем с усредненным файлом, хранящим данные с акустооптического спектрометра, а также анализе допустимых отклонений параметров файловых систем.
  3. Установлено, что при создании хранилища акустооптических спектральных данных целесообразно использовать индексно-последовательный файл, что позволит сократить время считывания файла акустооптических спектральных данных более чем в 3 раза по сравнению с файловой системой на основе последовательных файлов, применяемой в современных системах для работы со спектральными данными.
  4. Предложена модифицированная архитектура для разработки программного обеспечения, предназначенного для спектрального анализа, основанная на комбинировании принципов информационного и математического ядра с использованием компьютерной сети с присвоением операциям и ресурсам универсальных идентификаторов без установления сессионного соединения, что предоставляет пользователю возможность самостоятельного составления алгоритма анализа акустооптических спектральных данных и их последующей обработки с помощью разнородных вычислительных ресурсов.
  5. Разработана функционально-структурная схема программного комплекса для автоматизированной обработки акустооптических спектральных данных, позволяющая оптимизировать состав программного комплекса и взаимосвязь модулей.
  6. Разработаны модули программного комплекса, обеспечивающие устойчивое функционирование в соответствии с установленными задачами и обеспечением кроссплатформенности.
  7. Внедрение результатов работы позволило сократить временные затраты на предварительную подготовку, считывание и запись акустооптических спектральных данных в 3,4-3,7 раз.

Публикации по теме диссертации

  1. Кириллов Ю.И., Пожар К.В., Спиридонов И.С. Программное обеспечение для обработки и анализа спектров, полученных с акустооптических спектрометров // Международная НТК ХХХVI Гагаринские чтения, М.: МАТИ, 2010. Т. 8, с.а114-115.
  2. Беневоленский С.Б., Бобер П.С., Кириллов Ю.И., Пожар В.Э., Пожар К.В. Информационная модель программного обеспечения для обработки и анализа спектров, полученных с акустооптических спектрометров // Успехи современного естествознания, №4, 2010 г., с. 68-69.
  3. Беневоленский С.Б., Кириллов Ю.И. Выбор средств разработки программного комплекса для обработки данных, получаемых с акустооптических спектрометров // Новые материалы и технологии - НМТ-2010. Материалы Всероссийской научно-технической конференции. Москва, 16-18 ноября 2010 г. В 3 томах. Т.3. - М.: ИЦ МАТИ, 2010. - с. 13.
  4. Борисков А.С., Кириллов Ю.И. Результаты испытаний на скорость работы, надежность и отказоустойчивость базы данных, предназначенной для хранения спектральной информации // Международная НТК ХХХVII Гагаринские чтения, М.: МАТИ, 2011. Т. 4, с.а205-206.
  5. Кириллов Ю.И., Спиридонов И.С. Модульное тестирование управляющего ядра программного комплекса для анализа информации, получаемой с акустооптических спектрометров // Международная НТК ХХХVII Гагаринские чтения, М.: МАТИ, 2011. Т. 4, с.а225-226.
  6. Беневоленский С.Б., Кириллов Ю.И., Колосянко Д.М., Лисов А.А., Пустовойт В.И., Пожар В.Э., Спиридонов И.С. Программный комплекс Spectrium для обработки спектральной информации, используемой в акустооптической спектрометрии. Свидетельство о государственной регистрации программы для ЭВМ №2011612817. Дата регистрации 07.04.2011
  7. Беневоленский С.Б., Борисков А.С., Кириллов Ю.И., Лисов А.А., Пустовойт В.И., Пожар В.Э., СуховаИ.А. База данных для хранения информации, используемой в акустооптической спектрометрии. Свидетельство о государственной регистрации базы данных №2011620267. Дата регистрации 07.04.2011.
  8. Беневоленский С.Б., Борисков А.С., Кириллов Ю.И., Томшин В.К. Испытания базы данных для хранения информации, получаемой с акустооптических спектрометров. // Материалы II Международной Научно-технической конференции Диагностика-2011, 11-13 апреля 2011 г., г. Курск, с.а147.
  9. Беневоленский С.Б., Кириллов Ю.И., Пожар В.Э., Чернова Т.А. Повышение эффективности компьютерной обработки данных, получаемых с акустооптических спектрометров. // Современные проблемы науки и образования - 2011 - №6 (Электронный журнал) - приложение "Технические науки" - с. 8. (издание из перечня ВАК РФ).
  10. Беневоленский С.Б., Кириллов Ю.И., Лисов А.А., Чернова Т.А. Методика тестирования программного комплекса для обработки, хранения и визуализации спектральной информации. // Современные проблемы науки и образования - 2011 - №6 (Электронный журнал) - приложение "Технические науки" - с. 9. (издание из перечня ВАК РФ).
  11. Беневоленский С.Б., Кириллов Ю.И., Пожар В.Э., Пустовойт В.И., СпиридоноваИ.С. Разработка платформы программного комплекса для акустооптических спектрометров. // Информационные технологии, №6, 2011 г., с. 57-59. (издание из перечня ВАК РФ).
  12. Кириллов Ю.И., Марсова Е.В., Холодилов А.Ю. Разработка механизма защиты данных в программном комплексе для обработки, хранения и визуализации спектральной информации. // Труды Института системного анализа Российской Академии Наук, том 61, вып. 5, 2011 г., с. 44-51. (издание из перечня ВАК РФ).
  13. Афанасьев А.П., Беневоленский С.Б., Волошинов В.В., Кириллов Ю.И., Лисов А.А. Особенности программного обеспечения для построения сервис-ориентированных распределенных сред. // Современные проблемы науки и образования - 2011 - №6 (Электронный журнал) - приложение "Технические науки" - с. 32. (издание из перечня ВАК РФ).
  14. Беневоленский С.Б., Кириллов Ю.И., Колосянко Д.М., Пожар В.Э., ПожараК.В., ПустовойтаВ.И. Совершенствование ПО для обработки данных, получаемых с АОС. // Информационные технологии, №10, 2011. - с. 60-63. (издание из перечня ВАК РФ).
  15. Афанасьев А.П., Беневоленский С.Б., Волошинов В.В., Лисов А.А. Проблема обеспечения безопасности для RESTful-веб-сервисов // Научный электронный архив Академии естествознания, раздел 20.51.19 Виды информационного обслуживания. (21.12.2011, URL: дата обращения 23.04.2012).
  16. Кириллов Ю.И. Проблема компьютерной обработки спектральных данных, получаемых акустооптическими спектрометрами с произвольной спектральной адресацией. // Международная НТК ХХХVIII Гагаринские чтения, М.: МАТИ, 2012, Т.а4, с. 76-77.
     Авторефераты по всем темам  >>  Авторефераты по техническим специальностям