Geum.ru

Обработка и передача изображений

Вид материалаЗадача

Содержание


Описание алгоритма.
Экспериментальные исследования.
Программная инструментальная среда для иcследований алгоритмов улучшения эффективности сжатия видеоданнных
Подобный материал:

Обработка и передача изображений


Обработка и передача изображений


Подход к решению задачи выделения особенностей изображений на основе непрерывного вейвлет-преобразования

Фомин А.А.

Муромский институт (филиал) Владимирского государственного университета


Задача выделения особенностей довольно часто возникает во многих приложениях цифровой обработки изображений. Например, при реставрации архивных фотодокументов, анализе всевозможных снимков (микроструктур металлов или сварных швов), распознавании образов и во многих других приложениях, поиск неоднородностей является одним из начальных этапов решения поставленных задач. В связи с этим, проблема корректного обнаружения локальных неоднородностей изображений является актуальной, поскольку качество решения данной подзадачи влияет на качество решения задачи в целом.

К локальным неоднородностям можно отнести широкий круг элементов, присутствующих на изображениях и обладающих характеристиками, отличными от характеристик области, в которой они находятся. К подобным неоднородностям, например, относятся всевозможные пятна или сами объекты изображений.

На процедуру поиска локальных неоднородностей могут влиять различные мешающие факторы. Так, например, при обнаружении пятен могут возникать следующие трудности: пятна могут быть полупрозрачными, обладать различной формой и размерами, обладать теми же статистическими характеристиками, что и другие области изображения, кроме того, само изображение может быть подвержено воздействию шума. Все эти факторы могут существенно повлиять на результат процедуры поиска. Используя вейвлет-преобразования для выделения особенностей изображений, удается существенно снизить влияние мешающих факторов в силу некоторых свойств данного преобразования. Например, при переходе к более крупному масштабу вейвлет-разложения, происходит сглаживание сигнала, в результате чего несущественные детали изображения (например, шум или мелкие пятна) пропадают.

Использование вейвлет-преобразования в цифровой обработке изображений позволяет решать широкий круг задач, начиная от сжатия изображений и фильтрации шума и заканчивая выделением особенностей и анализом сигналов. Различные виды вейвлет-преобразования (дискретное, непрерывное) применяются для решения конкретного узкого круга задач.

Для получения пространственно-частотного представления изображения возможно применение как дискретного, так и непрерывного вейвлет-преобразования. Традиционно в задачах, где требуется анализ сигналов, выявление особенностей, периодических зависимостей, локальных возмущений и т.д., используется непрерывное вейвлет-преобразование, поскольку оно содержит в себе очень большой (избыточный) объем информации [5]. Поэтому оно больше подходит для поиска неоднородностей, нежели дискретное вейвлет-преобразование или его модификации.

Одно изображение может содержать несколько особенностей, отличающихся друг от друга, например, размерами. В этом случае, масштаб вейвлет-разложения необходимо выбирать адаптивно к характеристикам каждой области изображения (в данном случае, адаптивно к размерам неоднородностей). Это необходимо, для того, чтобы более мелкие особенности изображения не пропадали в результате сглаживания изображения после проведения вейвлет-преобразования.

Непрерывным вейвлет-­преобра­зование функции называют функцию двух переменных

, , , где вейвлеты являются масштабированными и сдвинутыми копиями порождающего вейвлета , - масштабирующий коэффициент, - величина сдвига. Таким образом, непрерывное вейвлет-преобразование – это разложение сигнала по всем возможным сдвигам и сжатиям (растяжениям) некоторой функции [3, 4, 6]. Отсюда появляется возможность адаптивного к сигналу выбора параметров вейвлет-разложения [5].

Для каждой пары и функция определяет амплитуду соответствующего вейвлета. Другими словами, функция измеряет изменение в окрестности точки , размер которой пропорционален . Вейвлет-преобразование эквивалентно свертке сигнала с фильтром [1]. Распространенным примером базисной функции, применяемой для вычисления одномерного непрерывного вейвлет-преобразования, является вейвлет "мексиканская шляпа" [4, 5]: .

В связи со всем вышесказанным, можно предположить, что при прохождении фильтром области изображения, содержащей некоторую особенность, импульсный отклик данного фильтра (амплитуда соответствующего вейвлета) будет максимальным при сопоставимых размерах особенности и фильтра. Возможность изменения размеров фильтра путем изменения масштабирующего коэффициента позволяет выбирать параметры вейвлет-разложения адаптивного к сигналу.

Таким образом, измеряя импульсный отклик фильтра в каждой точке изображения на каждом масштабе вейвлет-разложения и определяя максимальный отклик фильтра на данном масштабе, можно определить оптимальный масштабирующий коэффициент, при котором размер фильтра будет сопоставим с размером особенности и вейвлет-разложение сигнала будет содержать максимум в точке, принадлежащей области особенности.

Двумерный вейвлет-образ изображения может быть получен как с помощью сепарабельного одномерного (отдельно по строкам и столбцам изображения), так и с помощью двумерного вейвлет-преоб­разования.

Некоторые характеристики особенностей, например, размеры, могут быть анизотропными, то есть изменяться в зависимости от направления просмотра. В связи с этим, целесообразно применять сепарабельное (отдельно по строкам и столбцам) вейвлет-преобразование для разложения изображения по базису вейвлет-функций, что позволит учесть анизотропную природу характеристик локальных особенностей изображения и более качественно осуществить процедуру их обнаружения.

Предлагаемый подход к выделению особенностей основан на предположении, что если сигнал имеет особенность, например, пятно, то на наличие этой особенности укажут относительно высокие амплитуды вейвлет-образа, соответствующие тем вейвлетам, экстремумы которых окажутся вблизи области особенности [5] при условии что размеры вейвлета и особенности сопоставимы между собой.

Исходное изображение представляется в виде матрицы мгновенных значений: , , , где , – размеры изображения.

Чтобы учесть наличие особенностей, обладающих анизотропными характеристиками, например, размерами, применяется сепарабельное вейвлет-преобразование. В данном случае, свертка сигнала (изображения) с вейвлетом производится по строкам или столбцам двумерного массива, соответствующим горизонтальному или вертикальному направлению на изображении [2]. При этом используется непрерывное одномерное вейвлет-преобразование. Строки и столбцы матрицы представляются соответственно в виде:

, и , , где , – вектор-строка и вектор-столбец матрицы .

Множество вейвлет-коэффициентов , полученных в результате одномерного непрерывного вейвлет-преобразования вектора с вейвлетом на определенном диапазоне значений масштабирующего коэффициента анализируется с целью обнаружения особенностей.

По полученному набору вейвлет-коэффициентов , определяются экстремумы амплитуды вейвлет-образа на каждом масштабе, а также глобальный экстремум для всех масштабов. Масштабирующий коэффициент, при котором амплитуда некоторого вейвлета является наибольшей (по модулю) выбирается в качестве оптимального: , при , и вейвлет-образ строки (или столбца) при выбранном масштабирующем коэффициенте включается в вейвлет-разложение всего изображения:

, , где , – горизонтальные и вертикальные вейвлет-коэффициенты.

Расчет модуля вейвлет-преобразования как функции вида: , позволяет исключить из дальнейшего рассмотрения элементы вейвлет-спектра, не принадлежащие областям особенностей. Это обусловлено тем, что значения амплитуд элементов вейвлет-образа, соответствующих области одной особенности, будут достигать своего экстремума, не зависимо от направления просмотра изображения. И тогда максимальные значения модуля вейвлет-преобразования будут соответствовать областям особенностей изображения.

Некоторые артефакты (например, единичные выбросы), которые могут проявляться в результирующих изображениях, могут быть устранены путем бинаризации изображения и проведения морфологических операций или с помощью применения алгоритмов фильтрации, например, медианной.

Результаты применения предложенного подхода к выделению особенностей изображений приведены на рис. 1.

Непрерывное вейвлет-преобразование предоставляет широкие возможности для решения задачи выделения особенностей изображений. Возможность получения информации о частотных составляющих изображения позволяет проводить процедуру поиска более качественно. Во-первых, при переходе к большему масштабу вейвлет-разложения, высокочастотные компоненты сигнала (содержащие шум) пропадают. Во-вторых, яркость элементов изображения никак не влияет на процедуру поиска. И, в-третьих, возможность произвольного выбора масштаба вейвлет-разложения позволяет обнаруживать особенности любого размера и формы.




Рис. 1. Результаты выделения особеностей.

Литература
  1. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет преобразования. – С.-Пб.: ВУС, 1999. – 204 с., ил.
  2. Добеши И. Десять лекций по вейвлетам. – Ижевск: "Регулярная и хаотическая динамика", 2001. – 464 с., ил.
  3. Жизняков А.Л., Вакунов Н.В. Вейвлет-преобразование в обработке и анализе изображений. – М.: Государственный научный центр Российской Федерации – ВНИИгеосистем, 2004. – 102 с., ил.
  4. Малла С. Вэйвлеты в обработке сигналов: Пер. с англ. – М.: Мир, 2005. – 671 с., ил.
  5. Переберин А.В. О систематизации вейвлет преобразований // Вычислительные методы и программирование. – 2001. – Т. 2. – С. 15-40.
  6. Tang Y.Y., Yang L.H., Liu J., Ma H. Wavelet theory and its application to pattern recognition. – Singapore: Regal press (S) Pte. Ltd., 2000. – 359 p.




The approach to detection of image features using continuous wavelet-transformation

Fomin A.

Murom institute of the Vladimir state university

The task of features detection frequently arises in many applications of digital images processing. For example, at restoration of the archival photo documents, analysis of every possible snapshot (microstructures of metals or welded seams), and pattern recognition and in many other applications, the search of features is one of the initial stages of the decision of the put tasks. In this connection, the problem of correct detection local features of the images is urgent, as the quality of the decision of the given subtask influences quality of the decision of a task as a whole.

A wide circle of elements present on the images and having the characteristics, distinct from characteristics of area, in which they are can to relate to local features, for example, stain or objects of the images.

The procedure of search image features can be influenced by the various interfering factors. All these factors can essentially affect result of procedure of search. For example, stain can be translucent, have the various form and sizes, to have the same statistical characteristics, as other areas of the image, besides image can be subject to influence of noise.

Using wavelet-transformation for image features detection, it is possible essentially to lower influence of the interfering factors by virtue of some properties of the given transformation.

Wavelet-transformations allow solving a wide circle of tasks, beginning from compression of the images and noise reduction and finishing to features detection and signal analysis. Traditionally in tasks of the signal and image analysis, revealing of features, periodic dependences etc., the continuous wavelet-transformation is used, as it contains superfluous volume of the information allowing best and exact to reveal heterogeneity of a signal or the image.

The presence on the image of features distinguished, for example, sizes assumes a choice of parameters of wavelet-transformation is adaptive to the characteristics of these features by change of the sizes of the wavelet-filter by change of scaling factor a.

The offered approach to feature detection is based on the assumption, that if the signal has feature, for example, stain, presence of this feature will specify rather high amplitudes of a wavelet-image appropriate of wavelets, which maximums will appear near to area of feature provided that the sizes of wavelet and the features are comparable among themselves.

Two-dimensional wavelet-image of the source image can be received as with the help separable one-dimensional and with the help two-dimensional wavelet-transformation. To take into account presence of features having anisotropic characteristics, for example, sizes, is applied separable (separately on rows and columns of the image) wavelet-transformation.

The rows and columns of the image are represented as one-dimensional signals, which are exposed to continuous one-dimensional wavelet-transformation.

On the received set of wavelet-factors, are determined maximums of amplitude of wavelet-image on each scale, and also global maximum for all scales. Scaling factor, at which the amplitude some wavelet is greatest (on the module) gets out as optimum and wavelet-image of a row (or column) at chosen scaling factor is included in wavelet-decomposition of the image.

The calculation of the module of wavelet-transformation allows excluding from the further consideration elements of a wavelet-spectrum which is not belonging to areas of features. Some noise, shown in the resulting images is eliminated by binarization of the image and realization of morphological operations or with the help of algorithms of noise reduction.

The continuous wavelet-transformation gives ample opportunities for the decision of a task of image features detection. The opportunity of reception of the information about frequency the making images allow carrying out procedure of search best. First, at transition to greater scale of wavelet-decomposition, the high-frequency components of a signal (containing noise) vanish. Secondly, the brightness of elements of the image does not influence in any way procedure of search. And, thirdly, the opportunity of any choice of scale of wavelet-decomposition allows finding out features of any size and forms.

вейвлет-сжатие неподвижных цифровых изображений с использованием оптимального базиса на каждой ступени разложения


Кириллов С.Н., Косткин И.В.


Рязанский государственный радиотехнический университет

390005 г. Рязань, Гагарина 59 1, e-mail: snk@rinfotels.ru


Введение. В настоящее время значительно возрос интерес к различным методам сжатия изображений. Это связано с развитием таких отраслей науки и техники как исследование дальнего и ближнего космоса, компьютерная графика, правоохранительная деятельность и др., где информация имеет характер монохромного изображения. При этом различные снимки приходиться хранить и передавать по каналам связи[1]. Поэтому необходимо применять различные эффективные алгоритмы сжатия данных, с целью экономии места на физических носителях информации и снижения требований к используемым каналам связи.

Обобщенно сжатие изображений можно представить в виде трех основных этапов: – декоррелирующего преобразования, процедуры квантования и энтропийного кодирования[1].

Одним из первых стандартов сжатия изображений с потерями является стандарт JPEG[1,2], использующий в качестве декоррелирующего преобразования дискретное косинусное преобразование. В 2000 году предложен новый стандарт сжатия цифровых неподвижных изображений JPEG 2000[2], где в качестве декоррелирующего преобразования используется вейвлет разложение. Данный стандарт позволяет сжимать изображения от 2 до 200 раз без заметной потери в качестве. Основной его особенностью является то, что на каждом уровне вейвлет декомпозиции используется один и тот же базис. В связи с этим возможна модификация алгоритма стандарта JPEG 2000, когда на каждой ступени вейвлет разложения осуществляется адаптация базиса Добеши. Это позволяет определить комбинацию базисов на разных уровнях разложения, обеспечивающих наибольший коэффициент сжатия.

Описание алгоритма. Исследования предлагаемого метода сжатия проводилось на изображениях в градации серого 0…255. В результате исследований базисов Добеши[3] был определен наилучший, с точки зрения коэффициента сжатия при заданном визуальном качестве восстановления базисный вектор, который следует применять на соответствующей ступени разложения. В целом предлагаемый алгоритм состоит из следующих этапов:
  1. Выполняется пятиуровневое вейвлет преобразование сигнала с использованием своего базиса Добеши , , , , , на каждом уровне соответственно: , (1), где - исходное изображение, - результат пятиуровнего вейвлет разложения, - базис, применяемый на i-ой ступени вейвлет разложения.
  2. Задается уровень визуального качества, с которым будет восстановлено изображение после декомпрессии, путем изменения порога.
  3. Обнуляются все коэффициенты вейвлет преобразования , модуль которых меньше или равен заданному порогу: , (2), где - порог, определяющий уровень качества сжатого изображения, - матрица вейвлет разложения после обнуления коэффициентов.
  4. Преобразуется полученная на шаге 3 матрица коэффициентов в матрицу строку путем построчного считывания.
  5. Применяется к полученной строке алгоритм кодирования длин серий. В рассматриваемом случае, аналогично стандарту JPEG, самым часто встречающимся символом признается 0, поскольку происходит обнуление коэффициентов вейвлет преобразования (2). Элемент кодируемой последовательности представляется в виде пары чисел, где первое число указывает на количество нулей, которые необходимо вставить за значащим элементом, а второе число является значащим элементом.
  6. Применяется к полученной на шаге 5 строке алгоритм кодирования Хаффмана, причем анализируются не полученные пары чисел, а каждое число в отдельности. Алгоритм Хаффмана был выбран потому, что он гарантирует получение коэффициента сжатия больше или равного 1, в то время как остальные методы сжатия данных без потерь такой гарантии не дают[1]. Принцип его функционирования состоит в следующем: анализируются вероятности появления каждого символа сжимаемой последовательности и символам с наибольшей вероятностью присваивается код наименьшей длины, при этом создается таблица кодов для всех символов кодируемой последовательности.

Экспериментальные исследования. При использовании данного метода сжатия необходимо найти компромисс между возможным числом необходимых уровней вейвлет разложения и получаемым коэффициентом сжатия. Для этого была построена зависимость коэффициента сжатия от количества уровней разложения N (рис. 1).



Рис. 1

Зависимость получена путем усреднения по 70 монохромным изображениям размером 300х300 пикселей. Из анализа данной зависимости следует, что применение оптимального базиса на каждой ступени разложения позволяет получить более высокий коэффициент сжатия, нежели применение на каждой ступени вейвлет разложения фиксированной базисной системы.

На рис. 2 представлены результаты сравнения со стандартом JPEG, где а) – исходное изображение, б) – изображение сжатое с использованием предлагаемого метода (раза) а также в) - изображение сжатое по методу JPEG ( раз). При одинаковом визуальном качестве изображений (рис. 2) использование предложенного алгоритма позволяет получить более высокий коэффициент сжатия, в среднем в 1,22 раза больше, чем стандарт JPEG.

Стандарт сжатия изображений JPEG 2000 ориентирован на сжатие цветных 24 битных изображений[2]. Поэтому сравнение предложенного метода со стандартом JPEG 2000 проводилось для цветных 24 битных изображений. В этом случае предложенный алгоритм был модифицирован дополнительной операцией перехода из системы цветов RGB в систему YUV [1,2]. Этот переход обусловлен тем, что в данной цветовой системе можно провести сжатие по компоненте яркости и двум разностным цветам.




Рис. 2.

Причем доказано в [1,2], что искажения по компоненте яркости человек воспринимает более детально, чем искажения по разностным цветам, поэтому возможно осуществить сжатие более «грубое» по разностным цветам нежели по компоненте яркости.




Рис. 3.

При оценке визуального качества изображений рис. 3, где а) – исходное изображение, б) – изображение, сжатое с использованием предлагаемого метода, в) – изображение сжатое методом JPEG 2000 (=7 раз для обоих изображений), различия практически отсутствуют. В результате получаем, что предложенный алгоритм и стандарт JPEG 2000 дают практически идентичные результаты при сжатии 24-х битных цветных изображений.

Поэтому предложенный алгоритм может с успехом применяться для сжатия данного класса изображений. Однако стандарт JPEG 2000 не предназначен для сжатия изображений в 8-ми битной градации серого, а предложенный алгоритм можно применять и в этом случае, поскольку он превосходит один из самых распространенных стандартов сжатия цифровых изображений с потерями - JPEG.

Таким образом, разработан новый алгоритм сжатия неподвижных цифровых изображений с применением вейвлет преобразования. Получен вектор оптимальных базисов класса Добеши, обеспечивающих максимальный коэффициент сжатия. Проведено сравнение синтезированного алгоритма с наиболее распространенными стандартами сжатия JPEG и JPEG 2000. При этом показано, что синтезированный алгоритм превосходит по сжатию 8-ми битных монохромных изображений JPEG на 22% и не уступает в сжатии цветных 24 битных изображений JPEG 2000.

Литература
  1. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. М.: Техносфера, 2006г. 1072 с.
  2. Tinku Acharya, Ajoy K. Ray. Image Processing Principles and Application. John Wiley & Sons, Inc. Hoboken, New Jersey, 2005. 428 с.
  3. Блаттер К. Вейвлет анализ. Основы теории. М.: Техносфера. 2004.280с




wavelet-COMPRESSION of the STILL DIGITAL IMAGES With USE the OPTIMUM BASE ON EACH STEP of the DECOMPOSITION

Kirillov S., Kostkin I.

Ryazan state radioengineering university


Compression of the images possible to present in the manner of three main stages - decorrelated transformation, procedure of the slicing and entropy coding [1]. One of the first standard of the compression of the images with loss is a standard JPEG [1,2], using as decorrelated transformations discrete cosine transformation. In 2000 is offered new standard of the compression digital still of the images JPEG 2000 [2], where as decorrelated transformations is uses wavelet decomposition. This standard allows compressing the images from 2 before 200 once without observable loss qualitative. The Main JPEG 2000 particularities are that on each level wavelet decompositions is used same base Dobeshi. In this connection possible modification of the algorithm of the standard JPEG 2000, when on each step wavelet decompositions is realized optimization of the base Dobeshi. This allows defining the combination a base on decomposition level miscellaneous, providing most great factor of the compression.

This method of the compression was studied in grey gradations 0…255. As a result of studies base Dobeshi [3] was found optimum, with standpoint of the factor of the compression base vector, which follows to use on respective step of the decomposition. As a whole proposed algorithm consists of the following stage:

1. Five level wavelet transformation of the signal is executed with use of its base Dobeshi , , , , , on each level respectively.

2. It is assigned level visual quality, which images will be restored after decompression, by change value threshold level.

3. It is zeroized all factors wavelet transformations, if their module is less or given value threshold level.

4. It is got on the step 3 matrixes factor are converted to matrix line by the way of the row wise sensing.

5. To get line it is use algorithm of the lengths series coding.

6. To get on step 5 data it is use algorithm of the Huffman coding.

Thereby, it is designed new algorithm of the compression still digital image with using wavelet transformations where use the optimum base. It has get vector optimum base of Dobeshi class, which ensuring maximum factor of the compression. The organized comparison of the synthesized algorithm with most wide-spread standard of the compression JPEG and JPEG 2000. Is it herewith shown that synthesized algorithm exceeds on compression 8 bit monochrome images JPEG on 22% and requires under the same quality computing expenses less, than JPEG 2000 at compression 24 bit color images.




ПРОГРАММНАЯ ИНСТРУМЕНТАЛЬНАЯ СРЕДА ДЛЯ ИCСЛЕДОВАНИЙ АЛГОРИТМОВ УЛУЧШЕНИЯ ЭФФЕКТИВНОСТИ СЖАТИЯ ВИДЕОДАНННЫХ


Балбот Т.В., Налётов И.В.


Томский государственный университет систем управления и радиоэлектроники

634050, г. Томск, пр. Ленина 40. Тел.8-913-802-88-19:, E-mail niv@ms.tusur.ru.


В последнее десятилетие алгоритмы сжатия статических и динамических цифровых изображений демонстрируют значительный прогресс. В частности, кодирование динамических изображений становится всё более эффективным, но сложным с точки зрения реализации вычислений. Существующие алгоритмы и международные стандарты на их основе продолжают развиваться с целью повышения эффективности кодирования материала. Известно, что алгоритмы предобработки и постобработки видеоданных способны повысить эффективность кодирования.

Во многих областях, связанных со специальным, промышленным и измерительным телевидением зачастую съемка производится в условиях плохой освещенности или низкокачественными видеокамерами. Как известно, такие камеры могут вносить в получаемое изображение искажения и шум. Шумы, присутствующие в исходной последовательности могут значительно понизить степень сжатия. Наибольшее влияние оказывает так называемый, временный шум, возникающий из-за случайного изменения пространственного шума от кадра к кадру. Временный шум, возникающий в высокочастотной пространственной области, будет присутствовать в виде высокочастотных компонент в остаточных блоках после компенсации движения, что скажется на нежелательном увеличении энтропии. Наиболее полный аналитический обзор методов удаления шума для статических изображений представлен в [1], а для динамических изображений представлен в [2].

Другим немаловажным фактором, снижающим эффективность сжатия, является дрожание объектива телевизионной камеры. Некоторые камеры часто не имеют встроенной технологии стабилизации объектива и при сжатии наиболее часто используемые блочные алгоритмы оценки движения не способны полностью скомпенсировать дрожание, что также приводит к увеличению остаточной энергии после компенсации движения и уменьшению коэффициента сжатия. Алгоритмы подавления дрожания видеоданных приведены в [3].

Предварительная фильтрация, осуществляющая удаление пространственного и временного шума, компенсацию глобальных смещений между кадрами, вызванную дрожанием камеры, способна улучшить эффективность сжатия подобного видеоматериала и визуальное качество, измеренное с помощью объективных критериев. В некоторых специальных случаях предварительная обработка может производится с целью выделения наиболее значимой информации в кадре.

Пытаясь повысить коэффициент сжатия, видеокомпрессоры зачастую жертвуют качеством декодируемого в последствии видеоряда. К примеру, способы сжатия, основанные на дискретном косинусном преобразовании и последующем квантовании, создают так называемый эффект блочности, т.е. видимые нарушения с множеством градаций вдоль границ блоков изображения. Коэффициент сжатия зависит от параметра квантования, но чем больше параметр квантования, тем больше артефактов вносит в изображение процесс кодирования. Существуют задачи, в которых нет возможности избежать данного эффекта, например, задачи кодирования и передачи видеоданных при которых ограниченным ресурсом является ширина канала передачи данных. В этом случае для повышения качества восприятия человеком видеоданных, получаемых на этапе декодирования, используют различные методы постобработки [4]. Также процесс постобработки применяют внутри видеокомпрессора на опорных кадрах. Данный способ призван улучшить результаты поиска и компенсации движения.

При планировании исследований в области алгоритмов пред- и постобработки авторы столкнулись с необходимостью выбора программной инструментальной среды для проведения вычислительных экспериментов. Целями данных вычислительных экспериментов являются:

- оценка визуального качества видеоматериала, получаемого после пред- и постобработки различными алгоритмами с помощью объективных критериев, таких как среднеквадратическое отклонение, пиковое соотношение сигнал-шум и др.;

- оценка вычислительной сложности алгоритмов, их производительности;

- измерение битовой скорости, достигаемой при компрессии видеоданных после пред- и постобработки различными алгоритмами.

В ходе анализа требований к подобной программной среде авторами был выдвинут следующий набор требования:

- наличие модульной архитектуры, позволяющей менять схему эксперимента, манипулируя отдельными компонентами, представляющими собой реализации различных алгоритмов фильтрации или вспомогательные функции (ввод/вывод данных, их визуализацию, специальные вычисления и т.д.);

- наличие графического интерфейса, позволяющего редактировать схему эксперимента визуально, добавляя или удаляя отдельные компоненты, меняя связи между ними, регулируя параметры фильтров посредством диалоговых консолей, просматривать результаты эксперимента в виде графиков, диаграмм, изображений и т.д.;

- возможность сохранения и последующей загрузки схемы эксперимента и его результатов в виде файлов;

- открытость системы, наличие открытого исходного кода и открытого интерфейса для интегрирования в среду собственных реализаций алгоритмов;

- высокая гибкость программной среды, позволяющая добавлять различные компоненты, и отсутствие жестких ограничений на реализацию компонентов.

Проведенный поиск среди подобных систем не выявил аналогов, полностью отвечающих перечисленным выше требованиям. Коммерческие продукты являются закрытыми, зачастую предоставляя разработчику лишь открытый интерфейс для интеграции своих компонентов. Закрытая реализация делает подобные системы для разработчика «черным ящиком», не гарантируя надежности работы и отсутствия всевозможных ошибок. Немаловажное значение также имеют вопросы лицензирования программного обеспечения и соблюдения интеллектуальных прав собственности.

Наиболее популярным и универсальным аналогом описанной программной среды является продукт Mathworks MatLab [5], который включает в себя средства цифровой обработки изображений и видеопоследовательностей. Данный продукт имеет большое количество достоинств, однако он является закрытым продуктом и не всегда может использоваться разработчиками. Исходя из всего перечисленного было принято решение разработать собственную оригинальную программную инструментальную среду для исследований в области обработки изображений и в частности исследования алгоритмов пред- и постобработки видеоданных.

Согласно требованиям, перечисленным выше, описываемая программная среда была реализована в виде графического редактора, в рабочей области которого пользователь имеет возможность проводить различные вычислительные эксперименты. Проводимые эксперименты могут значительно отличаться друг от друга. В них могут содержаться различные алгоритмы пред- или постобработки и использоваться различные критерии оценки качества получаемых изображений. Исходя из чего, пользователь должен иметь возможность визуально менять схему эксперимента, добавляя или удаляя необходимые компоненты. Все компоненты должны регистрироваться в специальной библиотеке и могут загружаться программной средой в процессе работы по требованию пользователя. Компоненты могут представлять собой реализацию алгоритма, генерировать данные специального вида, осуществлять ввод/вывод данных. Как правило, в экспериментах могут участвовать целый набор компонентов, соединенных в цепочку, в которой данные передаются от одного компонента к другому. Рисунок 1 иллюстрирует пример вычислительного эксперимента, целью которого является оценка пикового соотношения сигнал-шум видеопоследовательности, полученной после удаления пространственного шума. В данном эксперименте применяются следующие компоненты: модуль чтения исходной несжатой последовательности в формате 4:2:0, модуль наложения шума матрицы ПЗС видеокамеры, модуль удаления пространственного шума, вычислитель пикового соотношения сигнал шум, визуализатор результатов эксперимента.



Рис. 1. Оценка пикового соотношения сигнал-шум отфильтрованной видеопоследовательности

В процессе проектирования описываемой программной инструментальной среды авторы пришли к выводу, что взаимодействие программной среды и различных компонентов, участвующих в эксперименте, должно быть одинаковым вне зависимости от реализации компонентов и их назначения. Для унификации взаимодействия между компонентами и программной средой должен был разработан специальный единый интерфейс, который отделяет и инкапсулирует реализацию компонента. Данной интерфейс унифицирует:

- ввод/вывод данных между компонентами, соединенными в цепочку;

- управление работой компонентов (запуск вычислений, останов вычислений);

- настройку внутренних параметров компоненты (например, установка регулируемых параметров фильтрации и т.д.);

- сохранение информации о компонентах их соединении друг с другом, их внутренних параметров и настроек для повторения текущего эксперимента в следующем сеансе работы с программной средой;

- получение внутренней статистики компонента для анализа его работы (например, статистики о количестве уточняющих итераций алгоритма для оценки его скорости и эффективности).

Следует отметить, что подобная архитектура и подход в целом придает системе большую гибкость, расширяемость и универсальность. Поскольку программная среда абстрагирована непосредственно от самого алгоритма посредством единого интерфейса взаимодействия, то реализация алгоритма практически ничем не ограничена. Например, на рисунке 2 изображен эксперимент, в котором участвуют четыре алгоритма, один из которых реализован внутри модуля цифровой обработки сигналов. Компоненты 1, 2 и 4 производят вычисления на центральном процессоре персонального компьютера, а компонент 3 осуществляет обмен данными между этими компонентами и модулем цифровой обработки сигналов, в котором производятся вычисления по алгоритму 3. Поскольку этот модуль является периферийным устройством, то обмен данными и управление осуществляется через соответствующий драйвер.

Рассмотренная программная среда реализована на языке программирования С++ с помощью пакета Microsoft Visual Studio 8.0 и предназначена для работы под управлением операционными систем 5-го семейства Microsoft Windows. В качестве архитектуры работы с мультимедиа данными взята технология Microsoft DirectX DirectShow [6]. Данная технология нашла широкое распространение благодаря гибкой и модульной архитектуре, а также открытому интерфейсу и стимулированию разработок сторонних разработчиков со стороны компании Microsoft. Программная среда основана на графическом движке и имеет дружественный интерфейс пользователя. Разработанное авторами программное обеспечение может использоваться как в научных, так и учебных целях, а создание дополнительных компонентов позволит использовать его как в области исследований алгоритмов пред- и постобработки видеоданных, так и в оценке эффективности других алгоритмов обработки изображений



Рис. 2. Демонстрация гибкости предложенной архитектуры

Литература
  1. A. Buades, B. Coll, and J. M. Morel. On image denoising methods. CMLA Preprint (ens-cachan.fr/Cmla/), SIAM Multiscale Modeling and Simulation, 2004.
  2. Калинкина Д., Ватолин Д. Проблема подавления шума на изображениях и видео и различные подходы к ее решению. Интернет-журнал «Графика и мультимедиа», 2005.
  3. Стрельников К. Методы подавления дрожания кадра в видео. Интернет-журнал «Графика и мультимедиа», 2005.
  4. A.Nosratinia. Enhancement of JPEG-Compressed images by re-application of JPEG. Journal of VLSI Signal Processing, vol. 27, pp. 69-79, 2001.
  5. Веб-страница продукта MatLab orks.com/products/matlab/
  6. Раздел документации по технологии Microsoft DirectX DirectShow osoft.com/







Цифровая обработка сигналов и ее применение

Digital signal processing and its applications