Geum.ru

Отчет о проделанной работе по текстурной сегментации Краткое содержание

Вид материалаОтчет

Содержание


Ключевые слова
Подобный материал:
Отчет о проделанной работе по текстурной сегментации


Краткое содержание: в данной работе рассмотрена возможность использования алгоритма сегментации, основанного на нахождении минимального разреза в графе, применительно к отдельным сегментам изображения на основе сравнения их текстурных признаков. В качестве средства поиска текстурных признаков изображения, были использованы энергетические текстурные характеристики Лавса (Laws). Были рассмотрены вопросы выбора текстурных сегментов, получения лавсовых характеристик и построения графа, для нахождения минимального разреза и, таким образом, бинаризации изображения по текстурному признаку.

Ключевые слова: текстурные признаки, характеристики Лавса, сементация по минимальному разрезу, диаграмма Вороного, триангуляция Делоне.


1. Одной из многочисленных задач обработки изображений является сегментация картинки, на основе тех или иных эвристик. В работе [1][5] был рассмотрен и экспериментально изучен алгоритм сегментации изображения на основе минимального разреза. К недостаткам этого метода можно отнести большие затраты памяти в связи с необходимостью строить структуры описания графа для десятков тысяч пикселей, и, следрвательно, длительным временем работы алгоритма mincut. Таким образом, возникает идея об использовании вместо пикселей, отдельных сегментов изображений, которые могут быть описаны, например, с помощью текстурных признаков, и приминения алгоритма mincut для таких данных. Во второй части работы, будет дано описание текстурных энергетических характеристик Лавса, далее последует описание применения изложенной эвристики к изображениям, и, наконец, в четвертой части будут даны экспериментальные результаты и численные оценки предлагаемого метода.

2. Используем для вычесления энергетических характеристик текстур набор из девяти масок размерами 5 х 5. Затем энергетические характеристики каждого пиксела анализируемого изображения представляются в виде вектора из 9 чисел. Для вычисления масок используются следующие векторы:

L5 (Level) = [ 1 4 6 4 1]

E5 (Edge) = [ -1 -2 0 2 1]

S5 (Spot) = [ -1 0 2 0 -1]

R5 (Ripple) = [ 1 -4 6 -4 1]

Названия векторов описывают их предназначение. Вектор L5 предназначен для симметричного взвешенного локального среднего значения. Вектор E5 предназначен для обнаружения краев, S5 – для обнаружения пятен, а R5 – для обнаружения образа в виде ряби. Двумерные маски определяются умножением пар векторов. Всего масок, с учетом их парности, пятнадцать: L5E5/E5L5, L5R5/R5L5, E5S5/S5E5, S5S5, R5R5, L5S5/S5L5, E5E5, E5R5/R5E5, S5R5/R5S5.

Далее определяется размер окна вокруг пикселя, где будут применяться данные маски. Для естественных сцен в [2] было предложено окно размерами 15 х 15 пикселей. К полученному изображению применяется каждая из пятнадцати масок. В результате получается пятнадцать пофильтрованных изображений. Обозначим через результат фильтрации пиксела с использованием -й маски. Тогда энергетическая текстурная карта для фильтра определяется выражением

Каждая текстурная энергетическая карта является полноразмерным изображением, которое представляет результат обработки входного изображения с использованием -й маски.

После получения пятнадцати энергетических карт некоторые симметричные пары комбинируются, и в результате получается девыть окончательных карт. Каждая симметричная пара карт заменяется усредненной картой.

3. Таким образом, используя фиьтры Лавса, для любого пикселя мы получаем описание характеристик текстуры в некоторой окрестности выбранного пикселя. Далее необходимо убедиться, что подобное описание текстуры позволяет однозначно различать различные картинки. В качестве примера, возьмем следующие текстуры:

1. 2.


3. 4.


5. 6.


7. 8.


1. произвольным образом выбираем заданное N количество пикселей (обычно использовалось 30 или 50 пикселей) и считаем сумму значений всех пикселей в -окрестностях выбранных пикселей (значение также задается пользователем) на всех фильтрованных изображениях

2. таким образов для каждого пикселя получается вектор из 9 элементов, совокупность которых дает нам характеристику текстуры.

3. далее для каждого вектора пиксела строится В-сплайн по его 9-и значениям и вычисляются его первые и вторые производные в данных точках. Эти значения также включаются в вектор характеристик пикселей нарядц с текстурными характеристиками.

4. получив векторы признаков для каждого изображения производится их попарной сравнение и сортировка по мере близости в евклидовой метрике.

5. поскольку для каждого изображения рассчитывалось одинаковое количество пикселей, то после сортировки на шаге 6. выбирались N ближайших пикселей, и строилась матрица, номера строк которой были номерами рассматриваемых пикселей, а номера столбцов - номера схожих с ними пикселей. В случае идеального алгоритма, матрица должна быть блочно диагональной.


Рассмотрим результат сравнения текстур № 2, 4, 7 при 50 произвольных пикселях для каждой картинки и -окрестностью – квадратом, со стороной 49 пикселей. Цвета на диаграмме текстурных векторов - зеленый, красный, синий.




Рис 9.


Результат сравнения текстур № 3, 8, 7 при 50 произвольных пикселях для каждой картинки и -окрестностью – квадратом, со стороной 49 пикселей.




Рис 10.


Результат сравнения текстур № 1, 8, 6 при 50 произвольных пикселях для каждой картинки и -окрестностью – квадратом, со стороной 49 пикселей




Рис 11.


Таким образом, выбрав достаточно большое количество пикселей, при попарном сравнении можно выбрать достаточное количество таких, что своими векторами характеристик они однозначно определяют заданные текстуры, и можно строить общие интегральные текстурные характеристики. С другой стороны, размеры сравниваемых текстур могут быть слишком малы для получения репрезентативной выборки точек, и, следовательно, необходимо перегрузить девятивектора дополнительной информацией. Эмпирически, для того, чтобы различать векторы по форме, апроксимируем вектор сплайном второго порядка на точках со значениями в точках, равными . Дополним вектор значений характеристик Лавса первыми и вторыми производными сплайна во внутренних точках.

Следующим шагом, будет подготовка самого изображения к сегментации. Одним из необходимых условий эффективного применения фильтров Лавса, является устранение интенсивности освещенности из изображения. Добиться этого можно следующим образом: по изображению перемещается небольшое окно и из каждого пикселя вычитается локальное среднее значение. В результате данной предварительной обработки формируется изображение, на котором средняя интенсивность каждой пиксельной окрестности близа к нулю. Для естественных сцен оптимальный размер окна выбирается 15х15 [2].

В нашем случае вместо этого использовалась первая ступень пирамиды Лапласа [3], с гауссовым фильтром размеров 5х5 - .

Этим мы добиваемся исключения низких частот из изображения, оставляя высокочастотные элементы текстур, которые хорошо различаются Лавсовскими векторами.

Перейдем к выбору пикселей, вокруг которых будут определяться текстурные характеристики. Наиболее естественным выбором, будет их равномерное распределение по всей площади изображения, структура которого, априори не известна. В данной работе, пиксели быбирались так, чтобы многоугольники диаграммы Вороного, построенного на них, были близки по форме к правильным шестиугольникам, и в случае определения области одной текстуры, шестиугольники наиболее плотно заполняли ее. Далее на выбранных пикселях производится триангуляция Делоне, которая определяет сетку графа для применения алгоритма нахождения минимального разреза. После чего, выбираются контрольные пиксели объекта и фона [1], пропускные способности дуг образовавшегося графа вычисляются по формуле: , т.е. посредством евклидова расстояния между векторами. Далее применяется алгоритм нахождения минимального разреза, разбавающего вершины графа на два непересекающихся множества, определющие пиксели, принадлежащие объекту и фону.

4. Покажем основные этапы работы алгоритма.




Рис 12. Исходное изображение




Рис 13. Первая ступень пирамиды Лапласа




Рис 14. Расстановка конрольных точек




Рис 15. Результат работы алгоритма нахождения минимального разреза




Рис 16. Конечный результат

В данном эксперименте использовалось 1000 пикселей с квадратной окрестностью, со стороной 15 пикселей.

Приведем результаты работы алгоритма при других значениях:



Рис 17. 300 пикселей с окрестностью в 7 пикселей




Рис 18. 300 пикселей с окрестностью 15 пикселей




Рис 19 300 пикселей с окрестностью 25 пикселей

Приведем результаты аналогичных тестов для другого изображения



Рис 20.




Рис 21. 300 пикселей с окрестностью в 7 пикселей




Рис 22. 300 пикселей с окрестностью в 15 пикселей




Рис 23. 300 пикселей с окрестностью в 25 пикселей




Рис 24. 1000 пикселей с окрестностью в 15 пикселей


5. В качестве дальнейших исследований в данном методе сегментации изображений можно выделить следующие направления:

- нахождение весовых коэффициентов для векторов текстурных характеристик, для определения важности либо отклика на применения маски, либо описания формы сплайна, описывающего базовые точки вектора Лавса

- другие возможности предварительной обработки изображения (например, устранение интенсивности освещенности и выделение текстурных элементов масками Превита и Собеля)

- обобщения алгоритма для сегментации на три и более объектов.

Литература

[1] Yuri Boykov, Olga Veksler, Ramin Zabih Fast Approximate Energy Minimization via Graph Cuts // IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, NOVEMBER 2001, V. 23, N. 11


[2] Laws K. Rapid Texture Identification // Proceedings of SPIE – Society of Photo – Optical Instrumentation Engineers – Image Processing for Missle Guardance, August 1980, vol 238: p 367-380


[3] Л. Шапиро, Дж. Стокман Компьютерное зрение – М.: БИНОМ. Лаборатория знаний, 2009.


[4] Ху Т. Целочисленное программирование и потоки в сетях – М.: МИР, 1974

[5] Корх Артем Владимирович 53-ая научная конференция МФТИ (2010 г) «Современные прблемы фундаментальных и прикладных наук» часть IX Инновации и высокие технологии: «Сегментация текстур на основе алгоритма нахождения минимального разреза на графе с ограничениями на пропускные способности дуг»