Авторефераты по всем темам >>
Авторефераты по техническим специальностям
На правах рукописи
Сергеев Евгений Владимирович
РАЗРАБОТКА И АНАЛИЗ АЛГОРИТМОВ ФИЛЬТРАЦИИ ГАУССОВСКОГО ШУМА В ПОЛУТОНОВЫХ И ПЕРВИЧНЫХ БАЙЕРОВСКИХ ИЗОБРАЖЕНИЯХ
Специальность 05.12.04 Радиотехника, в том числе системы и устройства телевидения
Автореферат диссертации на соискание ученой степени кандидата технических наук
Владимир - 2012
Работа выполнена на кафедре динамики электронных систем Ярославского государственного университета им. П.Г. Демидова (ЯрГУ)
Научный консультант: доктор технических наук, доцент ЯрГУ Приоров Андрей Леонидович
Официальные оппоненты: доктор технических наук, профессор ВГУ Полушин Петр Алексеевич кандидат технических наук, нач. отдела информационной безопасности ОАО АКБ Югра Балусов Игорь Леонидович
Ведущая организация: ОАО Ярославский радиозавод
Защита диссертации состоится 14 декабря 2012 г. в 16.00 часов на заседании диссертационного совета Д 212.025.04 при Владимирском государственном университете имени Александра Григорьевича и Николая Григорьевича Столетовых (ВГУ) по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВГУ, ФРЭМТ, ауд. 301.
С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых.
Автореферат разослан 12 ноября 2012 г.
Отзывы на автореферат, заверенные печатью, просим направлять по адресу:
600000, г. Владимир, ул. Горького, д. 87, ВГУ, корп. 3, ФРЭМТ.
Ученый секретарь диссертационного совета доктор технических наук, профессор А.Г. Самойлов
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. В настоящее время цифровые изображения используются повсеместно. Это связано с простым для обычного пользователя способом их получения, хранения, обработки и передачи. С технической точки зрения процесс формирования цифрового изображения представляет собой последовательность сложных алгоритмов. Основой большинства существующих устройств формирования цифровых изображений (например, сканеры, цифровые фотоаппараты, видеокамеры) является ПЗС-матрица (от прибор с зарядовой связью). Основу такой матрицы составляют фотоэлементы, позволяющие преобразовывать излучение (поток фотонов) от захватываемой сцены в электрическую энергию тока электронов, которые собираются в лячейках матрицы.
Накопленный электрический заряд преобразуется в напряжение, усиливается, измеряется и подается на вход аналогово-цифрового преобразователя. В итоге получается дискретное число (или, в данном случае, пиксель), которое пропорционально интенсивности света, зарегистрированного данным участком матрицы. Совокупность таких чисел, снятых со всех элементов матрицы, будет называться сырым изображением (raw image) или первичным байеровским изображением.
Полученное изображение неизбежно содержит множество помех, шумов, оптических искажений, зависящих как от технических характеристик устройства, так и от внешних условий съемки. Все последующие операции направлены именно на их устранение: фильтрация, коррекция поврежденных пикселей, интерполяция, цветовая коррекция, баланс белого, окончательная постобработка. Разработка новых, более эффективных алгоритмов обработки цифровых изображений (ЦОИ), полученных с выхода ПЗС-матрицы, на сегодняшний день является актуальной задачей.
Состояние проблемы. Методы и алгоритмы фильтрации цифровых изображений основываются на большом количестве теоретических работ.
Значительный вклад в разработку теории ЦОИ внесли отечественные ученые:
Зубарев Ю.Б., Кривошеев М.И., Дворкович В.П., Дворкович А.В., Ярославский Л.П., Сойфер В.А., Фурман Я.А., Лабунец В.Г., Чобану М.К., Алпатов Б.А., Бехтин Ю.С., Умняшкин С.В., Радченко Ю.С. и зарубежные: Гонсалес Р., Вудс Р., Митра С., Чан Т., Бовик А., Неуво Ю. и многие другие.
Развитию современных алгоритмов фильтрации аддитивного белого гауссовского шума (АБГШ) содействовали работы таких ученых, как Ярославский Л.П., Приоров А.Л., Донохо Д.Л., Джонстон И.М., Старк Дж.Л., Кандэ Э. Дж., Ду М.Н., Веттерли М., Мюрезан Д.Д., Паркс Т.У., Буадес А., Колл Б., Морель Дж. М., Катковник В., Егиазарян К., Фои А., Астола Я., Дабов К., Даледалл K.А., Сэлмон Дж., Ахарон М., Элад М. и других.
Продолжение исследований в указанной области ЦОИ проведено в данной диссертационной работе, где сделана попытка создания нового алгоритма фильтрации АБГШ в изображениях, представленных в шаблонах Байера, эффективность которого сравнима, а во многих случаях и превосходит известные на сегодняшний день алгоритмы фильтрации.
Целью работы является разработка и исследование новых нелинейных алгоритмов фильтрации на основе анализа главных компонент, винеровской фильтрации с применением идей нелокальной обработки данных для решения ряда научно-практических задач цифровой обработки изображений в целях улучшения характеристик соответствующих радиотехнических устройств.
Для достижения поставленной цели в диссертационной работе решаются следующие задачи:
анализ существующих лучших алгоритмов подавления АБГШ с целью выявления их достоинств и недостатков;
разработка новых нелокальных алгоритмов подавления АБГШ в цифровых изображениях;
разработка нелокального алгоритма подавления АБГШ в цифровых первичных байеровских изображениях;
изучение влияния параметров предложенных нелокальных алгоритмов на качество восстановленных изображений;
многокритериальный анализ разрабатываемых алгоритмов и их сравнение с существующими на данный момент времени эффективными алгоритмами шумоподавления;
Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, математического анализа, теории вероятностей, математической статистики, линейной алгебры. Активно использовались методы компьютерного моделирования в пакете прикладных программ Matlab, а также методы объектно-ориентированного программирования на языке C#.
Объектом исследования являются нелокальные, поточечные и блочные алгоритмы фильтрации, применяемые для подавления АБГШ в цифровых полутоновых и первичных байеровских изображениях.
Предметом исследований являются разработка, модификация и оптимизация нелокальных алгоритмов на основе адаптивного анализа главных компонент (АГК), эмпирической винеровской фильтрации и нелокальной обработки.
Научная новизна. В рамках диссертационной работы получены следующие новые научные результаты:
1. Разработан и исследован нелокальный алгоритм подавления АБГШ в полутоновых изображениях на основе АГК, эмпирической винеровской фильтрации и идей нелокальной обработки данных, который получил название нелокальный анализ главных компонент (англ. NL-PCA).
2. Предложена модификация разработанного алгоритма для подавления АБГШ в изображениях, представленных в шаблонах Байера.
3. Разработан новый алгоритм постобработки на основе идеи нелокальной обработки данных.
Практическая значимость.
1. Проведено многокритериальное сравнение работы наиболее эффективных на сегодняшний день алгоритмов восстановления цифровых изображений.
2. Рассмотрены алгоритмы на основе декоррелирующих преобразований и выявлены их общие черты, а также особенности каждого из них.
3. Предложен новый нелокальный алгоритм фильтрации АБГШ для полутоновых цифровых изображений, который превосходит классический алгоритм на основе АГК в среднем на ~ 1,19 дБ по пиковому отношению сигнала к шуму (Пик ОСШ) и на ~ 0,0534 по коэффициенту структурного подобия (КСП).
4. Разработанный алгоритм не уступает одному из лучших на сегодняшний день алгоритмов фильтрации на основе блокосогласования и трехмерного преобразования (BM3D). В проведенной серии экспериментов предложенный алгоритм оказался лучше, чем BM3D в среднем на ~ 0,25 дБ по Пик ОСШ и на ~ 0,0049 по КСП.
5. Предложен новый нелокальный алгоритм фильтрации АБГШ для первичных байеровских цифровых изображений, получаемых непосредственно с матрицы устройства захвата изображения. Подобные матрицы используются в большинстве современных цифровых фотоаппаратов, видеокамер, сканеров. В проведенной серии экспериментов предложенный алгоритм оказался лучше, чем алгоритм на основе АГК с локальной группировкой пикселей (LPG-PCA) на ~ 1,40 дБ по Пик ОСШ и на ~ 0,0437 по КСП.
6. Разработанные алгоритмы могут быть использованы в системах передачи мультимедийной информации, цифрового телевидения, радиолокации, связи, распознавания образов и слежения за объектами, а также других прикладных задачах цифровой обработки изображений. Кроме того, их можно применять в бытовых устройствах: фотоаппаратах, видеокамерах, мобильных телефонах и просто в качестве программного обеспечения персонального компьютера.
Результаты работы внедрены в соответствующие разработки ООО Ярославльтранссигнал и ООО А-ВИЖН г. Ярославль. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ в рамках дисциплин Компьютерное зрение и Цифровая обработка изображений, а также в научноисследовательские работы при выполнении исследований в рамках грантов Развитие нелинейной теории обработки сигналов и изображений в радиотехнике и связи (Программа Развитие научного потенциала высшей школы (2009Ц2010 гг.), №2.1.2/7067) и Развитие нелинейной теории цифровой обработки сигналов и изображений в технических системах (грант РФФИ №10-08-01186, 2010Ц2012 гг.).
Результаты внедрения подтверждены соответствующими актами.
Достоверность материалов диссертационной работы подтверждена результатами компьютерного моделирования, демонстрирующими высокую эффективность предложенных алгоритмов в задачах обработки изображений, использованием адекватного математического аппарата и совпадением ряда результатов с результатами, известными из литературы.
Апробация работы. Результаты работы докладывались и обсуждались на следующих научно-технических конференциях и семинарах различного уровня:
1. Пятнадцатой международной научной конференции студентов, аспирантов и молодых ученых ЛОМОНОСОВ, Москва, 2008.
2. Пятнадцатой международной научно-технической конференции Радиоэлектроника, электротехника и энергетика, Москва, 2009.
3. ОдиннадцатойЦчетырнадцатой международной конференции и выставке Цифровая обработка сигналов и ее применение, Москва, 2009Ц2012.
4. Шестьдесят пятой - шестьдесят седьмой научной сессии, посвященной Дню Радио, Москва, 2010Ц2012.
5. Семнадцатой международной научно-технической конференции Проблемы передачи и обработки информации в сетях и системах телекоммуникаций, Рязань, 2012.
6. Двадцатой и двадцать первой международной конференции по компьютерной графике и зрению Графикон, Санкт-Петербург 2010; Москва, 2011.
7. Международной научно-практической конференции студентов и молодых ученых Молодежь и наука: модернизация и инновационное развитие страны, Пенза, 2011.
8. Девятой международной научно-технической конференции Перспективные технологии в средствах передачи информации, Суздаль, 2011.
9. Второй всероссийской конференции Радиоэлектронные средства передачи и приема сигналов и визуализации информации, Таганрог, 2012.
10. Тринадцатой всероссийской научно-практической конференции Проблемы развития средств ПВО в современных условиях, Ярославль, 2012.
11. Ярославских областных конференциях молодых ученых и аспирантов.
Публикации. По теме диссертации опубликовано 18 научных работ, из них две статьи в журналах, рекомендованных ВАК, и 16 докладов на научных конференциях всероссийского и международного уровней; имеется свидетельство о государственной регистрации программного обеспечения.
Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка использованных источников, содержащего 108 наименований, и трех приложений. Содержание работы изложено на 155 страницах машинописного текста, содержит 58 рисунков и 9 таблиц.
Основные научные положения и результаты, выносимые на защиту:
1. Алгоритм подавления АБГШ в полутоновых изображениях на основе анализа главных компонент, эмпирической винеровской фильтрации и идей нелокальной обработки.
2. Модификация разработанного алгоритма подавления АБГШ для цифровых первичных байеровских изображений.
3. Результаты исследований разработанных алгоритмов шумоподавления.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована необходимость и актуальность выбранной темы, сформулированы цель и задачи исследования, изложены основные положения, выносимые на защиту, показаны научная новизна и практическая значимость работы.
В первой главе рассмотрен процесс формирования цифровых изображений и необходимая при этом последовательность выполняемых действий для того, чтобы поток фотонов от регистрируемой сцены стал пикселями изображения (числовой матрицей) (см. рис. 1). В большинстве устройств регистрации изображений и видео используются ПЗС-матрицы, поэтому на ее примере рассмотрен процесс преобразования кванта света в электрический заряд.
Указываются различные виды шумов и помех, дающие основной вклад в конечное цифровое изображение:
1. шум с фиксированным шаблоном (fixed pattern noise);
2. шум темнового тока (dark current noise);
3. шум, связанный с неравномерностью энергий фотонов (shot noise);
4. шум усилителя (amplifier noise);
5. шум квантования (quantization noise).
Рассматриваются общие модели данных шумов. На практике данные искажения описываются более простыми моделями, одна из которых выбрана для дальнейшего исследования.
сырое изображение Излучение, сфокусированное Излучение на плоскость Фильтрация, сенсора коррекция плохих Регистрируемая пикселей, сцена компенсация теплового шума Цифровое Демозаикинг изображение (JPEG-формат) полноцветное цифровое изображение Рис. 1. Простая блок-схема типичных действий для формирования цифрового изображения Далее вводится рассматриваемая в работе модель шума: квантованного АБГШ с насыщением, которая имеет следующий вид:
0 xi,j ni,j Round(x ni,j) xi,j ni,j [0 255], (1) yi,j i,j 255 xi,j ni,j 2 где yi,j - наблюдаемое зашумленное изображение, xi, j - исходное чистое изображение, ni,j - АБГШ с нулевым математическим ожиданием и известным среднеквадратическим отклонением (СКО), под индексами (i, j) понимаются координаты пикселя изображения.
Рассмотрена общая схема алгоритмов фильтрации с декоррелирующим преобразованием, а также наиболее эффективные ортогональные декоррелирующие преобразования и несколько эффективных алгоритмов, построенных на их основе:
блокосогласование и трехмерная фильтрация (англ. BM3D);
адаптивный анализ главных компонент (англ. A-PCA);
локальная группировка пикселей и анализ главных компонент (англ. LPGPCA).
Указываются основные преимущества и недостатки данных алгоритмов. На основании рассмотренного материала ставятся основные задачи диссертационной работы:
разработка эффективного многостадийного алгоритма фильтрации АБГШ для достижения высокого качества восстановления полутоновых изображений, совмещающего сильные стороны рассмотренных алгоритмов фильтрации;
всесторонний анализ разрабатываемого алгоритма, его сравнение с современными методами шумоподавления;
разработка (или модификация) эффективного многостадийного алгоритма фильтрации АБГШ для изображений, представленных в шаблонах Байера.
Решение поставленных задач осуществляется в следующих главах диссертационной работы.
Вторая глава посвящена следующей научно-технической задаче - разработать алгоритм удаления АБГШ на основе анализа главных компонент, эмпирической винеровской фильтрации и идей нелокальной обработки, который способен эффективно восстанавливать цифровые изображения.
Для этой цели сначала рассматриваются решения поставленной задачи фильтрации, которые представлены в известных алгоритмах шумоподавления (BM3D, LPG-PCA). Составляется список требований на разрабатываемый алгоритм фильтрации, который кратко можно сформулировать следующим образом:
1) Блокосогласование, которое будет выполняться по предварительной оценке исходного незашумленного изображения.
2) Алгоритм должен содержать две различные стадии обработки. На каждом этапе обрабатывается исходное зашумленное изображение.
3) Блочная реализация для уменьшения числа операций, возможно с некоторым шагом.
В качестве алгоритма предобработки выбрано быстрое, эффективное и простое в реализации вейвлет-преобразование с динамической пороговой обработкой вейвлет-коэффициентов.
Предполагая, что анализируемое цифровое изображение x искажено в соответствии с (1) АБГШ n с нулевым математическим ожиданием и СКО , перечислим основные шаги работы предлагаемого алгоритма фильтрации. Краткая блок-схема первого этапа разработанного алгоритма представлена на рис. 2.
I. Первый этап обработки 1. Для проведения объективного сравнения качества работы разрабатываемого алгоритма параметры шума считались известными (СКО задано).
2. Вейвлет-предобработка, дающая качественную оценку для необходимой дальнейшей процедуры набора статистики. Полученная на данном шаге вейвлетоценка входного зашумленного изображения называется предварительная оценка.
Зашумленное Первая грубая оценка изображение исходного изображения Первый этап обработки Обратный Оценки Предобработка АГК блоков АГК и БлокоВеса фильтрация согласование Рис. 2. Блок-схема первого этапа предлагаемого алгоритма 3. Предварительная оценка изображения разбивается на совокупность перекрывающихся ссылочных блоков, как представлено на рис. 3а. На каждой итерации алгоритма можно выделить: окно поиска, область наложения блоков, блоки-кандидаты, равные ссылочному блоку по размеру (рис. 3б). Размеры рассматриваемых областей поиска и наложения могут варьироваться.
окно поиска ссылочный блок окно поиска область наложения центр блоки-кандидаты ссылочный блок а) б) Рис. 3. а) Схема разбиения изображения, используемая в предлагаемом алгоритме. Все изображение разбивается на перекрывающиеся ссылочные блоки, вокруг которых отмечается окно поиска; б) на каждой итерации алгоритма в окне поиска происходит поиск подобных блоков к ссылочному блоку. Для полученного множества подобных блоков строится базис векторов АГК.
Пример группировки пикселей для тестового изображения Лодки 4. Для данного окна поиска с предварительной оценки выполняется процедура блокосогласования с целью определения координат подобных блоков, которые затем набираются с входного зашумленного изображения.
5. Каждый набранный блок xr вытягивается в вектор-столбец. Если размер блока будет r r, то размер вектора-столбца r2 1. Число таких векторов-столбцов равно n. Таким образом, формируется матрица выборок вектора-столбца Z размера r2 n. Каждый элемент этой матрицы есть зашумленное значение яркости пикселя изображения.
6. Для данной центрированной матрицы Z находится ковариационная Z матрица, а для нее - базис векторов АГК. В работе предлагается на первом этапе использовать усеченный базис векторов. При вычислении базиса собственных векторов АГК каждому собственному вектору : 1,2,,r соответствует его собственное значение : 1 2 r - дисперсия данных вдоль этого направления. По свойству АГК они упорядочены от большего значения к меньшему, поэтому рассматривается некий порог для дисперсий направлений, меньше которого данное направление считается шумовым. То есть:
i , T i . (2) max 0, в других случаях Формула (2) нуждается в поправке. Возможен редкий вариант почти идеальных входных данных (например, участок однородного фона), в этом случае данные будут удалены из выборки при центрировании, тогда дополнительное условие на дисперсии примет вид:
min 0, если T. (3) max После произведенной пороговой обработки остаются собственные значения : 1 2 p, где p r2, которым будут соответствовать базисные вектора :
1,2,,p.
7. Для всех i 1,2,,p и j 1,2,,n находятся проекции (коэффициенты преобразования) yij множества векторов, заключенных в матрице Z, на полученный усеченный базис:
1 2 n y1 y1 yy1 y2 n y2 Y = PzZ = Pz(X =, (4) 1 n yp y yp p где yij - (i-ая проекция вектора j из матрицы Z на множество собственных Z векторов ковариационной матрицы ) представляет собой сумму i-ой проекции j-ого вектора неискаженных данных и i-ой проекции j-ого вектора шума.
8. Осуществляется обработка полученного множества проекций с использованием линейной среднеквадратической оценки:
i xij = yij. (5) i + Здесь 2 - дисперсия шума, а i - дисперсия i-ой проекции векторов i 1,2,,p неискаженных данных. Ее можно найти с использованием оценки максимального правдоподобия:
n j i2 max. (6) 0, n (y )2 - i j 9. На основе множества обработанных данных xij восстанавливаем оценку X матрицы незашумленных данных X, а на основе последней - отдельную обработанную область на изображении, используя следующую формулу для взвешивания множества блочных оценок:
xr,s(i, j)r,s(i, j), (7) r s x(i, j) r,s(i, j) r s где под дополнительной суммой понимается тот факт, что учитываются не s только ссылочные блоки, но и блоки, которые являются подобными данному, а (i, j) - координаты восстанавливаемого пикселя. В итоге будет получена первая оценка входного незашумленного изображения.
II. Второй этап обработки.
10. Повторяются шаги 3-9. Поиск координат подобных блоков производится по первой оценке, а сами блоки набираются с входного зашумленного изображения.
Входные параметры алгоритма при этом меняются (устанавливаются другие размеры областей поиска, перекрытия и ссылочного блока). Усечение базиса векторов АГК не производится.
11. Формулы для обработки коэффициентов (5)-(6) меняются на:
(xII)ij (xII)ij = (yII)ij, (8) (xII)ij + II где под понимается вторая стадия.
Формула (8) представляет собой эмпирический фильтр Винера в области коэффициентов АГК. В итоге получаем вторую оценку исходного изображения.
Блок-схема второго этапа обработки представлена на рис. 4.
12. На основе полученной второй оценки выполняется постобработка с использованием идей нелокального усреднения. Алгоритм постобработки заключается в том, чтобы для каждого блока на изображении-оценке найти набор блоков, усреднение по которому даст данный блок, и после этого заменить блок средним соответствующих блоков зашумленного изображения. Чем больше набрано блоков, тем меньше будет остаточный шум после усреднения, но тем меньше будет и точность усреднения.
Математически выражения для восстановленного k-го блока изображения записывается следующим образом:
R(k) w(k,q) Z(q) / w(k,q), w(k,q) 0,1, (9) jj где w(k,q) означает, нужно ли включать q-й блок в набор блоков, по которым будет проводиться усреднение для k-го блока, Z(q) X(q) N(q) - q-й блок зашумленного изображения, который представляет собой сумму q-ого блока исходного изображения X(q) и q-ого блока шума N(q).
Второй этап обработки Фильтр АГК Веса Винера БлокоОбратный Оценки согласование АГК блоков Вторая точная Первая грубая Зашумленное оценка исходного оценка исходного изображение изображения изображения Рис. 4. Блок-схема второго этапа предлагаемого алгоритма Отличие принципов набора блоков предложенного алгоритма и алгоритма нелокального усреднения может быть проиллюстрировано на рис. 5.
Рис. 5. Блоки, по которым происходит усреднение Алгоритм нелокального усреднения при оценке блока a присвоит малые веса всем блокам, т.к. ни один из блоков b, c, d, e не похож на a. Наибольшие веса будут присвоены блокам, расположенным точно вдоль границы. Предложенный алгоритм присвоит вес, равный 1, как блокам, расположенным вдоль границы, так и блокам, которые в среднем образуют блок, похожий на данный (например, a(b+e)/2).
13. Для рассматриваемого случая квантованного АБГШ с насыщением (1) изображения представлены в виде целых чисел в ограниченном диапазоне [0..255].
В этом случае шум уже не будет обладать свойством нулевого среднего, и строго говоря, будет негауссовским. Несмотря на это можно минимизировать СКО восстановленного изображения, если учесть, что:
X(k) R(k) w(k,q)N(q) / w(k,q) . (10) k k q q Это возможно сделать, если использовать гистограммную коррекцию выходного изображения. Оператор гистограммной коррекции F переводит пиксели (a) из динамического диапазона [0..255] в пиксели (b) из динамического диапазона [0Е255]: b F(a) или b a H(a), где H(a) a F(a). Тогда можно переписать (10) для случая гистограммной коррекции:
X(k) R(k) H(R(k)) w(k,q)N(q) / w(k,q) H(R(k)) . (11) i i j j Если бы шум обладал нулевым средним, оператор H, минимизирующий (11), обязан быть нулевым, в силу корреляционных свойств АБГШ. Однако из-за ограниченного диапазона яркости это не так. Искомый оператор H(r) должен быть равен среднему значению случайной величины n, распределенной по известному закону в диапазоне n0 r,1,2..,255 r.
Итогом данного шага будет финальная оценка входного незашумленного изображения.
Итоговая блок-схема алгоритма представлена на рис. 6.
Зашумленное изображение Вейвлет- ПостАГК + фильтр АГК предобработка обработка Винера Восстановленное изображение Рис. 6. Блок-схема алгоритма В табл. 1 представлены средние оценки Пик ОСШ и КСП соответственно для рассматриваемых алгоритмов фильтрации АБГШ.
главных компонент Нелокальный анализ Таблица Средние оценки Пик ОСШ и КСП по 10 тестовым изображениям для рассматриваемых алгоритмов Зашумленное A-PCA LPG-PCA BM3D NL-PCA изображение 5 34,17 / 0,8621 38,04 / 0,9525 38,35 / 0,9547 38,39 / 0,9556 38,47 / 0,9515 24,75 / 0,5067 31,99 / 0,8581 32,60 / 0,8816 32,87 / 0,8869 32,90 / 0,8820 22,31 / 0,4033 30,46 / 0,8167 31,14 / 0,8532 31,51 / 0,8606 31,50 / 0,8525 20,43 / 0,3301 29,29 / 0,7789 29,97 / 0,8270 30,44 / 0,8369 30,61 / 0,8335 17,65 / 0,2353 27,49 / 0,7161 28,09 / 0,7792 28,76 / 0,7948 29,16 / 0,8050 14,85 / 0,1572 25,53 / 0,6544 25,90 / 0,7157 26,52 / 0,7328 27,32 / 0,75В третьей главе рассматривается возможность модификации разработанного алгоритма для фильтрации первичных байеровских изображений. Рассматриваемая модель шума подчиняется условию (1).
Большинство современных алгоритмов фильтрации, разработанных для полутоновых или цветных изображений, не могут быть применимы в лоб для мозаичной структуры первичного байеровского изображения, потому что они не учитывают корреляционные связи между различными компонентами цвета. В текущей главе ставится задача модификации разработанного алгоритма фильтрации, который будет адаптирован под специфическую структуру первичного байеровского изображения.
Возможны две стратегии:
1. Производить обработку отдельно по каждому каналу (их в данном случае будет 4). Но такое решение нерационально, по мнению автора, и не рассматривалось.
2. Производить обработку сразу для всех каналов, рассматривая все первичное байеровское изображение как целостную структуру. В этом случае, чтобы не было смешения цветов в обучающей выборке, необходимо произвести модификацию алгоритма блокосогласования (рис. 7а). Такой подход оказался наиболее эффективен.
Рассмотрим основные этапы предлагаемой модификации алгоритма.
1. СКО шума считается заданной.
2. Выполняется предобработка входного зашумленного изображения с использованием вейвлет-преобразования без децимации кратности разложения 2 с динамической пороговой обработкой. Данный алгоритм отличается полным разложением вейвлет-коэффициентов первого уровня. Результатом будет предварительная оценка.
3. Аналогично шагу 3 алгоритма для полутоновых изображений производится разбиение изображения. Выполняется поиск координат подобных блоков. Из окна поиска рассматриваются только те блоки, которые имеют ориентацию цветов, одинаковую со ссылочным блоком (рис. 7а).
4. В реализуемом алгоритме предлагается выбрать блоки нечетного размера, чтобы осуществить перекрытие соседних шаблонов Байера внутри одного ссылочного блока: 33, 55, 7 7 и т.д. (рис.7б). Результатом блокосогласования будет стек подобных блоков нечетного размера с одинаковой ориентацией цветов.
Область поиска Центральный Ссылочный пиксель блок а) б) Рис. 7. а) Правильно организованный набор блоков с учетом взаимной ориентации цветовых компонент; б) основная идея алгоритма: нечетный размер окна поиска и ссылочного блока 5. Повторяются шаги 5-9 алгоритма для полутоновых изображений. Из набранного стека подобных блоков формируется матрица выборок вектора-столбца, которая является входными данными для АГК. Усечение базиса и обработка производится в соответствии с формулами (2), (3) и (5), (6). В результате будет получена первая оценка первичного байеровского изображения.
6. Аналогично второму этапу алгоритма для обработки полутоновых изображений рассчитывается вторая оценка первичного байеровского изображения.
На этом этапе снова формируется эмпирический фильтр Винера (8).
7. В данном алгоритме не используется вся процедура постобработки. Это связано с мозаичностью первичных байеровских изображений. Однако имеется возможность применить гистограммную коррекцию. Результатом будет финальная оценка входного первичного байеровского изображения.
В табл. 2 представлено сравнение результатов работы предлагаемого алгоритма фильтрации первичных байеровских изображений (NL-PCA) с наиболее эффективными на сегодняшний день алгоритмами (LPG-PCA, BM3D), а также качество восстановленных изображений после демозаикинга.
Таблица Результаты работы алгоритмов (Пик ОСШ) для Тестовое изображение LPG-PCA BM3D NL-PCA R 28.5 R 30.1 R 30.Кодак №07 28.4 G 28.8 30.3 G 30.6 30.3 G 30.B 28.3 B 30.1 B 30.R 24.9 R 26.3 R 26.Кодак №09 25.3 G 25.4 26.9 G 26.7 26.6 G 26.B 25.2 B 26.5 B 26.R 27.5 R 28.7 R 29.Кодак №19 27.9 G 28.1 29.3 G 29.4 30.0 G 30.B 28.2 B 29.6 B 30.R 30.1 R 31.0 R 31.Кодак № 23 30.1 G 30.8 31.3 G 31.9 31.7 G 32.B 30.0 B 31.1 B 31.ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ На основании проведенных исследований в области шумоподавления на цифровых изображениях в работе получены следующие основные результаты:
1. Проведен обзор технологии получения цифровых изображений.
2. Представлена общая схема алгоритмов восстановления цифровых изображений на основе декоррелирующего преобразования. Выделены общие черты данного класса методов, их достоинства и недостатки.
3. Подробно рассмотрены известные алгоритмы шумоподавления на основе наиболее эффективных декоррелирующих преобразований: дискретнокосинусного и АГК.
4. Представлен полный обзор современных методов удаления АБГШ на основе анализа главных компонент.
5. Приведены оригинальные (численные - Пик ОСШ, КСП и визуальные) результаты сравнения алгоритмов фильтрации цифровых изображений, зашумленных АБГШ. Установлено, что разработанный алгоритм показал наилучшие результаты по объективным критериям качества Пик ОСШ и КСП.
6. Разработанный алгоритм фильтрации полутоновых цифровых изображений имеет высокую эффективность в классе современных алгоритмов. Он превосходит лучший алгоритм на основе АГК (LPG-PCA) в среднем на ~ 0,65 дБ по Пик ОСШ и на ~ 0,0143 по КСП, а алгоритм BM3D - в среднем на ~ 0,25 дБ по Пик ОСШ и на ~ 0,0049 по КСП.
7. Рассматриваемый в работе алгоритм нелокального усреднения (NL-means) проиграл предлагаемому алгоритму в среднем ~ 2,07 дБ по Пик ОСШ и ~ 0,0660 по КСП.
8. Предложена модификация алгоритма обработки для изображений, представленных в шаблонах Байера, которая позволяет получить высокое качество восстановления в классе современных методов и учитывает особую структуру таких изображений. Предлагаемый алгоритм оказался лучше алгоритма LPG-PCA в проведенной серии экспериментов в среднем на ~ 1,33 дБ по метрике Пик ОСШ и на 0,0534 по КСП.
9. Предложен эффективный алгоритм постобработки полутоновых изображений, в основу которого положена новая идея критерия набора подобных блоков:
среднее арифметическое набранных зашумленных блоков должно быть максимально близко по евклидовой норме к блоку-оценке, полученному на второй стадии алгоритма.
10. Особую эффективность алгоритм показывает на гладких изображениях. Это связано с особенностями его реализации: блок квадратной формы, фиксированного размера, с последующим арифметическим усреднением множества обработанных блоковых оценок не дает возможности более качественно обрабатывать резкие перепады яркости и детализированные периодические структуры на изображении. При этом эффективность алгоритма по сравнению с классической схемой на основе АГК возросла в среднем на ~ 1,19 дБ по Пик ОСШ и на ~ 0,0534 по КСП.
ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Статьи в журналахиз перечня ВАК 1. Сергеев Е.В., Мочалов И.С., Волохов В.А., Приоров А.Л. Нелокальный алгоритм фильтрации изображений на основе метода главных компонент // Успехи современной радиоэлектроники. 2012. №3. С. 80Ц88.
2. Волохов В.А., Сергеев Е.В., Приоров А.Л. Двухэтапная процедура фильтрации изображений на основе анализа главных компонент // Проектирование и технология электронных средств. 2011. №2. С. 40Ц44.
Доклады на российских и международных конференциях 3. Сергеев Е.В. Применение нелокального метода главных компонент в задаче фильтрации полутоновых и цветных изображений // Тр. LХVII науч. сессии, посвященной Дню Радио. М., 2012. С. 238Ц242.
4. Сергеев Е.В., Малюкина Е.П., Волохов В.А. Модификация алгоритма нелокального усреднения на основе многоточечной обработки для удаления шума из цифровых изображений // Докл. 14-й междунар. конф. Цифровая обработка сигналов и ее применение. М., 2012. Т. 2. С. 476Ц479.
5. Сергеев Е.В., Волохов В.А. Мочалов И.С., Приоров А.Л. Нелокальный алгоритм восстановления изображений на основе анализа главных компонент // Докл. 14-й междунар. конф. Цифровая обработка сигналов и ее применение. М., 2012. Т. 2. С. 481Ц484.
6. Приоров А.Л., Сергеев Е.В., Волохов В.А. Восстановление цифровых изображений на основе нелокального анализа главных компонент // Матер.
17-й междунар. науч.-техн. конф. Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Рязань, 2012. Ч. 2.
С. 35Ц36.
7. Сергеев Е.В., Волохов В.А., Мочалов И.С., Приоров А.Л. Применение нелокального анализа главных компонентов в задаче восстановления цветных и полутоновых изображений // Матер. Второй всерос. конф.
Радиоэлектронные средства передачи и приема сигналов и визуализации информации. Таганрог, 2012. С. 105Ц110.
8. Волохов В.А., Сергеев Е.В., Мочалов И.С., Приоров А.Л. Модификация алгоритма нелокального усреднения для удаления шума из цифровых изображений // Докл. 13-й междунар. конф. и выставки Цифровая обработка сигналов и ее применение. М., 2011. Т. 1. С. 267Ц270.
9. Сергеев Е.В., Волохов В.А., Приоров А.Л. Фильтрация изображений на основе адаптивного анализа главных компонент и оптимального фильтра Винера // Матер. 9-й междунар. науч.-техн. конф. Перспективные технологии в средствах передачи информации. ВладимирЦСуздаль, 2011.
Т. 2. С. 73Ц75.
10. Волохов В.А., Сергеев Е.В., Мочалов И.С. Модификация алгоритма нелокального усреднения на основе анализа главных компонент для удаления шума из цифровых изображений // Тр. 21-й междунар. конф. по компьютерной графике и зрению ГрафиконТ2011. М., 2011. С. 259Ц262.
11. Малюкина Е.П., Волохов В.А., Сергеев Е.В. Модификация алгоритма нелокального усреднения на основе многоточечной обработки для удаления шума из цифровых изображений // Матер. междунар. науч.-практ. конф.
Молодежь и наука: модернизация и инновационное развитие страны.
Пенза, 2011. Ч. 2. С. 167Ц169.
12. Сергеев Е.В., Волохов В.А., Мочалов И.С. Фильтрация изображений на основе анализа главных компонент // Докл. 12-й междунар. конф. и выставки Цифровая обработка сигналов и ее применение. М., 2010. Т. 2. С. 305Ц307.
13. Волохов В.А., Сергеев Е.В., Мочалов И.С. Разработка алгоритма фильтрации изображений на базе анализа главных компонент // Тр. 65-й науч. сессии, посвященной Дню радио. М., 2010. С. 193Ц195.
14. Волохов В.А., Сергеев Е.В. Удаление аддитивного белого гауссова шума из цифровых изображений на основе анализа главных компонент // Тр. 20-й междунар. конф. по компьютерной графике и зрению ГрафиконТ2010.
СПб., 2010. С. 342Ц343.
15. Моисеев А.А., Сергеев Е.В., Новожилова Т.В. Определение мощности шума на основе трехполосного вейвлет-преобразования // Тез. докл. 15-й междунар. науч.-техн. конф. Радиоэлектроника, электротехника и энергетика. М., 2009. Т. 1. С. 106Ц108.
16. Сергеев Е.В. Применение контурлет-преобразования в задаче восстановления цифровых изображений // Докл. 11-й междунар. конф.
Цифровая обработка сигналов и ее применение. М., 2009. Т. 2. С. 605Ц608.
17. Волохов В.А., Сергеев Е.В. Фильтрация АБГШ на основе схем трехполосного разложения сигнала // Cб. тезисов докладов 16-й всерос.
межвузовской науч.-техн. конф. студентов и аспирантов Микроэлектроника и информатика - 2009. М., 2009. С. 240.
18. Волохов В.А., Сергеев Е.В. Алгоритм фильтрации изображений, построенный на основе курвлет-преобразования // Матер. докл. XV междунар. конф. студентов, аспирантов и молодых ученых Ломоносов, подсекция Математика. М., Изд-во МГУ; СП МЫСЛЬ, 2008. С. 3.
Свидетельство о государственной регистрации программ для ЭВМ 19. Сергеев Е.В., Волохов В.А., Приоров А.Л., Мочалов И.С. NL-PCA(Yar) - научно-исследовательская программа для подавления шума в статичных изображениях // Свидетельство о государственной регистрации программы для ЭВМ №2012614634 от 24 мая 2012.
Подписано в печать 09.11.12. Формат 6084.
Усл. печ. л. 1,0. Тираж 100 экз.
Отдел оперативной полиграфии ЯрГУ.
150000, г. Ярославль, Советская,
Авторефераты по всем темам >>
Авторефераты по техническим специальностям