Авторефераты по всем темам >>
Авторефераты по техническим специальностям
На правах рукописи
Спичихин Александр Михайлович
РАЗРАБОТКА МЕТОДОВ И СРЕДСТВ АВТОМАТИЗАЦИИ КОНТРОЛЯ ПОВЕРХНОСТНОГО ИЗНОСА КИНОЛЕНТЫ С ИСПОЛЬЗОВАНИЕМ ОЦИФРОВКИ ИЗОБРАЖЕНИЯ
Специальность 05.11.18 - Приборы и методы преобразования изображений и звука
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата технических наук
Санкт-Петербург - 2012
Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования Санкт-Петербургский государственный университет кино и телевидения на кафедре киновидеоаппаратуры Научный руководитель - кандидат технических наук, доцент Газеева Ирина Варисовна
Официальные оппоненты:
Винокур Алексей Иосифович - доктор технических наук, профессор, кафедра прикладной математики и моделирования систем ФГОБУ ВПО Финансовый университет при Правительстве Российской Федерации, профессор кафедры Барский Иосиф Давидович - кандидат технических наук, доцент, кафедра киновидеотехники Московского киновидеоинститута филиал СПбГУКиТ, доцент кафедры
Ведущая организация: ФГБУК Государственный фонд кинофильмов Российской Федерации
Защита состоится л_____ декабря 2012 года в ______ часов на заседании диссертационного совета Д 210.021.01 в Санкт-Петербургском государственном университете кино и телевидения по адресу: 191119, Санкт-Петербург, ул.
Правды, д.
С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного университета кино и телевидения.
Автореферат разослан л_____ ноября 2012 г.
Ученый секретарь диссертационного совета К.Ф. Гласман
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность исследования. Необходимость проведения исследований по разработке методов и устройств автоматического контроля поверхностного износа фильмовых материалов обусловлена не только тем, что существует большой парк киноаппаратуры, работающей с гибким носителем, но и тем, что актуальной задачей является реставрация оригинальных фильмовых материалов и перевод изображения с киноленты на твердотельные носители с целью их архивирования. Например, в Госфильмофонде, где хранится более 65 тыс. кинофильмов, ведется большая работа по их оцифровке с целью сохранения и возможности показа старых фильмов массовому зрителю.
До недавнего времени разработке устройств автоматического контроля поверхностного износа киноленты мешало отсутствие камер с высокоразрешающими светочувствительными сенсорами. Появление таких сенсоров, а также камер машинного видения с возможностью регулирования параметров сканирования, позволяет разработать автоматизированный комплекс для контроля поверхностного износа киноленты при различных условиях эксплуатации.
Вопросы теории и практики создания систем контроля поверхностного износа киноленты получили развитие в трудах Neumeyer J., Алмазова В.Е., Болховитяновой О.Н., Киселева Н. Г., Бурдыгиной Г.И. и др.
Дефекты поверхности фильмовых материалов в значительной мере влияют на качество изображения, поэтому при эксплуатации этих материалов стремятся максимально уменьшить вероятность их появления. Причиной образования дефектов на киноленте могут стать нагар и загрязнение на рабочих поверхностях механизма транспортирования ленты (МТЛ), затягивание витков в рулонах, неточная регулировка элементов МТЛ и пр.
Контроль состояния поверхности киноленты осуществляют в фильмофонде, прокатной сети, кинотеатрах. Традиционно определение категории износа поверхности киноленты происходит на основании визуальной оценки (через лупу) выборочных ее участков. Контроль возможен только для неподвижного носителя, поэтому его необходимо периодически останавливать при перематывании на фильмопроверочном столе, что также приводит к новым повреждениям поверхности носителя. Вследствие субъективности оценки точность подобных измерений невысока.
Контролировать текущее состояние фильмовых материалов непосредственно во время их движения в киноаппаратуре, анализировать характер повреждений по всей длине носителя, а также своевременно выявлять причину их возникновения целесообразно при использовании автоматической системы обнаружения. Эта система должна обеспечивать оцифровку изображения с выделением дефектов и включать программные алгоритмы анализа изображения.
Для установления категории технического состояния киноленты система автоматического контроля должна выдавать информацию о степени заметности царапин, их протяженности, включая последовательные кадры, анализировать положение дефектов по полю кадра.
Система автоматического контроля может также использоваться для диагностики настройки МТЛ киноаппаратуры. В данном случае необходимо, чтобы система контроля анализировала форму и расположение царапин (вертикальная, наклонная или горизонтальная, непрерывная или прерывистая и т.д.) и с помощью программного алгоритма определяла возможную причину износа киноленты.
Нивелирование дефектов поверхности уже поврежденных кинолент возможно при помощи реставрационно-профилактической обработки. При выборе методов реставрации фильмовых материалов необходимо определить ширину царапин, установить на какой поверхности они образованы: со стороны фотослоя или основы. Здесь также будет полезно применение системы автоматического обнаружения поверхностных дефектов.
При оцифровке фильмовых материалов система автоматического контроля поверхности киноленты позволит выявить дефекты и их расположение по полю кадра с тем, чтобы они могли быть устранены методами цифровой обработки в сюжетном изображении.
Ввиду вышесказанного актуальной является задача разработки и исследования методов и средств автоматизации контроля поверхностного износа киноленты.
Объект исследования. Поверхностный износ киноленты.
Предмет исследования. Методы автоматического контроля поверхностного износа киноленты с использованием оцифровки изображения и его анализа.
Целью настоящей работы является разработка и исследование методов и средств автоматизации контроля поверхностного износа киноленты для повышения сроков сохранности фильмовых материалов в процессе их хранения путем диагностики технического состояния фильмовых материалов и количественной оценки поверхностных дефектов.
Цели и задачи исследования:
1. Проанализировать пути построения систем автоматического контроля поверхностного износа киноленты.
2. Разработать методику расчета и обосновать основные параметры сканирования в системах автоматического контроля.
3. Разработать объективные критерии оценки поверхностных дефектов киноленты при использовании методов оцифровки изображения.
4. Построить и проанализировать сенсорную характеристику заметности дефектов зрителям.
5. Разработать алгоритмы обработки и анализа отсканированного изображения для выбора метода реставрации, установления причин возникновения повреждений на киноленте, оценки их влияния на качество кинопоказа и устранения дефектов в оцифрованном изображении.
Методологическую и теоретическую основы исследования составили научные труды отечественных и зарубежных авторов по реставрации фильмовых материалов, теории записи и воспроизведения информации, кинотехнике, оптико-электронной технике, цифровой обработке изображений.
Методы исследования. При проведении исследований применялись методы компьютерного моделирования, субъективной оценки качества изображения, математического анализа и статистики и др.
Научная новизна работы:
1. Разработана методика расчета и обоснованы основные параметры сканирования киноленты в системах автоматического контроля износа киноленты:
разрешение, частота считывания строк, предельная скорость движения носителя и время выдержки электронного затвора сенсора.
2. Разработан объективный критерий оценки поверхностных дефектов киноленты с применением оцифрованного изображения и построена сенсорная характеристика заметности дефектов зрителям.
3. Разработаны алгоритмы анализа отсканированного изображения для диагностики технического состояния фильмовых материалов, выбора метода реставрации фильма, устранения дефектов в оцифрованном изображении и настройки МТЛ кинооборудования.
4. Исследовано влияние колебаний скорости киноленты на качество оцифрованного изображения при сканировании линейным сенсором.
Практическое значение работы:
1. Разработанная методика расчета основных параметров сканирования систем автоматического контроля износа киноленты может быть использована для разработки устройств контроля текущего состояния фильмовых материалов в фильмофонде при реставрации и оцифровке, при определении технического состояния фильмокопий в рамках планового контроля или для диагностики настройки МТЛ киноаппаратуры.
2. Предложенные варианты построения систем автоматического контроля поверхности киноленты могут быть легко встроены в фильмопроверочные столы, диагностические кинопроекторы.
3. Разработанные алгоритмы анализа позволяют в автоматическом режиме количественно оценивать повреждения при выборе метода реставрации, определять категорию технического состояния фильма, устранять дефекты в оцифрованном изображении и устанавливать вероятную причину возникновения дефектов.
Положения, выносимые на защиту:
1. Методика расчета основных параметров сканирования в системах автоматического контроля поверхностного износа киноленты и значения этих параметров для устройств, установленных в фильмопроверочный стол или в диагностический кинопроектор.
2. Объективный критерий оценки поверхностных дефектов кинофильма в системах контроля, основанных на оцифровке изображения.
3. Сенсорная характеристика оценки царапин при использовании в качестве объективного критерия контрастной ширины царапины.
4. Алгоритмы анализа отсканированного изображения для нахождения категории технического состояния фильма, выбора метода его реставрации, устранения дефектов в оцифрованном изображении, диагностики настройки МТЛ фильмопроверочного стола или диагностического кинопроектора.
5. Анализ влияния колебаний скорости киноленты на качество оцифрованного изображения при линейном сканировании.
6. Варианты построения систем автоматического контроля поверхностного износа киноленты, которые легко встраиваются в фильмопроверочные столы и диагностические кинопроекторы.
Реализация результатов диссертационной работы. Методы контроля и алгоритм исправления дефектов в оцифрованном изображении внедрены в Госфильмофонде РФ и обеспечивают оптимизацию контроля фильмов. Материалы диссертационной работы использованы в учебном процессе по дисциплинам Киновидеоаппаратура, Основы записи и воспроизведения информации, а также вошли в отчет по НИР, проводимой в СПбГУКиТ по теме: Системы автоматического контроля поверхностного износа киноленты в 2011г.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на научно-технических конференциях СПбГУКиТ в 2008-2011 годах, в докладе в рамках школы радиоэлектроники РЭ-2010 Санкт-Петербургского государственного электротехнического университета.
Публикации. По материалам диссертации опубликовано 10 печатных работ, в том числе две статьи опубликованы в изданиях, рекомендованных ВАК.
ичный вклад автора. Все основные научные результаты, изложенные в диссертационной работе, получены автором лично. Пять работ опубликовано автором лично, другие написаны под редакцией и при общем научном руководстве соавторов.
Структура и объем диссертации. Диссертация содержит введение, основной текст из четырех глав, заключение, список использованной литературы.
Объем основного текста с введением и заключением составляет 150 страниц, включая 65 рисунков и 15 таблицы. Список использованной литературы содержит 127 наименований.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность темы диссертационной работы, представлена ее общая характеристика, сформулированы цель и задачи исследования, дана оценка научной новизны и практической ценности полученных результатов.
В первой главе представлен обзор работ, в которых анализируются причины образования повреждений на поверхности фильмовых материалов в процессе их эксплуатации. Рассмотрены методы реставрации кинофильмов. Приведены конструкции ранее разработанных дефектоскопов для контроля технического состояния фильмовых материалов. Проанализированы методы цифровой обработки отсканированного изображения.
На основе анализа литературных источников сформулированы выводы:
1. Дефекты поверхности фильмовых материалов в значительной мере влияют на воспринимаемое качество изображения, поэтому стремятся максимально уменьшить вероятность их появления.
2. Методы реставрации основы и фотослоя киноленты различны. При выборе технологии реставрации учитывают толщину царапины и плоскость ее расположения (основа или фотослой), что, как правило, оценивается визуально.
3. Системы автоматического контроля износа киноленты могут быть построены на основе сканирования киноленты в отраженном свете или в проходящем ИК излучении. В первом случае возможен раздельный контроль основы и фотослоя, как цветных, так и черно-белых фильмокопий.
4. Сканирование в диффузном свете позволяет скрыть мелкие царапины в оцифрованном изображении.
5. Электронные технологии контроля поверхности фотоматериалов позволяют выявить дефекты, далее устранить их в оцифрованном изображении.
6. По характеру повреждения киноленты возможно установить вероятную причину его образования с целью настройки МТЛ фильмопроверочного стола или диагностического кинопроектора.
Во второй главе проанализированы принципы, на основе которых автоматически может быть отделено изображение поверхностных дефектов от самого изображения кинокадра, рассмотрены варианты построения, дан анализ конструктивных решений рабочих зон систем автоматического контроля. Проведен сравнительный анализ систем относительно задач: выбор метода реставрации, оценка категории износа поверхности киноленты и устранение дефектов.
Царапины, потертости и аналогичные дефекты представляют собой повреждения, геометрия которых характеризуется случайными микронеровностями и шероховатостью. Они в значительной степени рассеивают проходящий сквозь них световой поток. В результате в проецируемом на экран изображении указанные дефекты визуализируются как более темные объекты на фоне неповрежденных областей.
Для отделения изображения дефектов от сюжета при сканировании фильма используется ИК-излучение с длиной волны 800-1000 нм. Этот интервал длин волн превышает спектральный диапазон поглощения красителей цветных многослойных кинолент и входит в область чувствительности кремниевых сенсоров. ИК-излучение проходит через киноленту практически независимо от плотности красителей, но также как и видимый свет рассеивается на царапинах. При сканировании на просвет считывание информации о дефектах происходит одновременно с обеих поверхностей киноленты. Следствием этого является невозможность дифференцирования дефектов по поверхностям киноленты. В черно-белых фильмовых материалах металлическое серебро, образовавшееся после проявления, задерживает ИК-излучение в зависимости от плотности почернения, поэтому данный метод выделения дефектов не подходит.
Отделение дефектов киноленты от сюжетной части также возможно при последовательном сканировании киноленты в диффузном и направленном свете.
Освещение киноленты рассеянным светом при сканировании маскирует пыль и мелкие дефекты (изображение 1). В направленном свете наоборот видны все дефекты и пыль на поверхностях киноленты (изображение 2). Изображение дефектов получается вычитанием первого изображения из второго. Данный метод применим к цветным и черно-белым кинолентам.
Для черно-белых и цветных фильмовых материалов детектирование дефектов может осуществляться отраженным световым потоком. При сканировании в отраженном свете под некоторым углом (порядка 60-750) к нормали поверхности киноленты коэффициент отражения неповрежденной поверхности практически не зависит от плотности почернения на киноленте. При таком освещении дефекты поверхности носителя рассеивают свет, что приводит к их дифференцированию на фоне неповрежденной поверхности как более темных объектов.
Данный метод позволяет контролировать раздельно повреждения со стороны фотослоя и основы, но требует либо два отдельных устройства сканирования, либо одно устройство, применяемое последовательно для сканирования основы и фотослоя фильма.
Варианты построения систем автоматического контроля поверхности киноленты показаны на рисунке 1.
Признаки Варианты построения систем Метод детектиро- На просвет На отражение вания дефектов при сканировании Диффузный и ИК-излучение Направленный направленный свет видимый свет Способ транспортиПрерывистое Непрерывное рования киноленты транспортирование транспортирование Форма сенсора сканирующей каМатричная Линейная меры Рисунок 1 - Схема вариантов построения систем автоматического контроля поверхностного износа киноленты Способ сканирования (на просвет или отражение), спектр источника излучения (ИК или видимый) и тип освещения (направленное или диффузное) в системе автоматического контроля выбираются исходя из метода детектирования дефектов.
Транспортирование киноленты во время контроля может производиться двумя способами: непрерывно и прерывисто. Непрерывное транспортирование киноленты позволяет увеличить производительность сканирования по сравнению с прерывистым. Общим недостатком способа с непрерывным транспортированием являются возможные колебания скорости движения киноленты, приводящие к разбросу числа строк в оцифрованных изображениях последовательных кадров.
В зависимости от метода детектирования дефектов и способа транспортирования могут применяться камеры с линейным или матричным сенсорами. Линейный сенсор, как правило, используется при непрерывном транспортировании киноленты. При этом сканирование осуществляется построчно. Матричный сенсор в основном применяется в системах с прерывистым транспортированием носителя, однако может применяться и в системах с непрерывным транспортированием. В случае сканирования отраженным световым потоком применение матричного сенсора нецелесообразно, так как будут возникать значительные геометрические искажения изображения.
Построение рабочей зоны, под которой будем понимать часть МТЛ, где осуществляется считывание информации, может осуществляться несколькими способами:
1 Кинолента удерживается в области сканирования относительно объектива прямолинейным фильмовым каналом;
2 Кинолента удерживается криволинейным фильмовым каналом;
3 Натянутый участок киноленты между двумя гладкими барабанами;
4 Гладкий барабан с прижатой к нему кинолентой;
Для системы со сканированием на отражение и непрерывным транспортированием целесообразным будет применение гладкого барабана, так как он позволяет стабилизировать и выпрямить ленту в области сканирования. Также здесь легко реализовать необходимый угол падения света для сканирования дефектов киноленты на отражение.
В системе со сканированием на просвет и непрерывным транспортированием носителя подходящим будет использование натянутого участка ленты между двумя (близко расположенными) гладкими барабанами. Достоинство данного способа - простота конструкции.
Таблица 1 - Варианты построения систем автоматического контроля Способ транс- Способ построеСпособ ска- Источник из- Форма Варианты портирования ния рабочей зоны нирования лучения сенсора киноленты МТЛ направленный 1 вариант на отражение гладкий барабан видимый свет линейная натянутый учаИК-излучение 2 вариант непрерывный сток киноленты или диффузнатянутый уча3 вариант на просвет ный/ сток киноленты матричная направленный криволинейный 4 вариант прерывистый свет фильмовый канал В системе со сканированием на просвет и прерывистым транспортированием киноленты применение криволинейного фильмового канала предпочтительнее. Такой фильмовый канал позволяет уменьшить коробление киноленты в области считывания.
Сравнительный анализ вариантов конструкций систем автоматического контроля (таблица 1) проведем методом анализа иерархий. Оценим варианты систем по отношению к трем главным целям: выбор метода реставрации, оценка категории и заметности дефектов и устранение дефектов. Структурируем каждую задачу в виде отдельной иерархии: цель - критерии - альтернативы.
Каждый из критериев вносит определенный вклад в цель. Выберем следующие критерии: метод детектирования (К1), способ транспортирования (К2), рабочая зона (К3) и форма сенсора камеры (К4). Сравнительную оценку будем производить при помощи фундаментальной шкалы. Альтернативами будут являться варианты систем автоматического контроля (рисунки 2 и 3).
а) б) Рисунок 2 - Варианты 1 и 2 систем контроля с линейным сканированием непрерывно транспортируемой киноленты отраженным световым потоком (а) и на просвет ИК- излучением (б):
а) 1 - оптико-осветительная система; 2 - объектив; 3 - линейный сенсор; 4,5 - прижимные ролики; 6 - кинолента; 7,9 - продольно направляющие ролики; 8 - гладкий барабан б) 1 - линейный сенсор; 2 - объектив; 3,5 - продольно направляющие ролики; 4 - светодиодный источник ИК-излучения; 6 - кинолента а) б) Рисунок 3 - Варианты 3 и 4 систем контроля с матричным сканированием на просвет ИК-излучением при непрерывном (а) и прерывистом транспортировании киноленты (б):
а) 1 - матричный сенсор; 2 - объектив; 3,5 - продольно направляющие ролики; 4 - светодиодный источник ИК - излучения; 6 - кинолента б) 1 - матричный сенсор; 2 - объектив; 3 - кинолента; 4 - криволинейный фильмовый канал; 5 - светодиодный источник ИК-излучения Рисунок 4 - Трех уровневая иерархия В результате вычислений получен вектор-столбец приоритетов альтернатив относительно каждой цели:
0,6 0,229 0,10,128 0,398 0,01) ; 2) ; 3) 0,296 0,253 0,0,066 0,094 0,В итоге:
1. Вариант 1 по отношению к главной цели (60%) целесообразно применять в киноархивах для автоматического контроля поверхностного износа архивных фильмовых материалов перед их реставрацией.
2. Варианты 2 (39,8%) и 3 (25,3) подходят для контроля текущего состояния киноленты на фильмопроверочных столах и диагностических киноустановках.
3. Вариант 4 (54%) наиболее удобен при оцифровке изображения архивных кинолент и пригоден для устранения дефектных участков.
В третьей главе предложена математическая модель преобразования изображения царапины при оцифровке, разработана методика расчета и обоснованы параметры сканирования для устройств автоматического контроля поверхностного износа киноленты. Исследовано влияние колебаний скорости киноленты на разброс числа строк в последовательных кадрах и величину дефектов при сканировании линейным сенсором непрерывно движущейся киноленты.
Входной сигнал изображения вертикальной царапины (на киноленте) Fвх(x,y) шириной dA и длинной dВ опишем прямоугольными функциями:
xy Fвх (x,y) =rect( )rect( ). (1) dA dB Исходный сигнал Fисх (x,y) изображения в линейной и инвариантной к сдвигу системе находится сверткой Fвх (x,y) с импульсной реакцией фильтра Fо(x,y) :
Fисх (x,y) (x1,y1)F0(x-x1,y-y1)dx1dy1. (2) вх F Полагая, что Fо(x,y) - ограниченная функция найдем ширину царапины в исходном изображении: dA1 = dA + d0, (3) где d0 -основание импульсной реакции системы лобъектив-сенсор.
Для устройства сканирования с прерывистым транспортированием и матричным сенсором длина царапины по аналогии будет: dB1 = dB + d0. (4) При сканировании непрерывно движущегося носителя вдоль направления движения будет происходить дополнительное размытие изображения. Импульсная реакция фильтра Fо1(x,y) может быть найдена сверткой импульсной реакции сканирующей камеры Fо(x,y) и характеристики сдвига Fсдв(y) :
y-y1 F01(x,y) F0(x,y1)Fсдв(y-y1)dy1 F0(x,y1)rect, (5) dy tвыд V где Fсдв(y) - характеристика сдвига; tвыд - время выдержки электронного затвора сенсора; V-скорость движения носителя. Поэтому длина царапины в оцифрованном изображении будет: dB1 = dB + d0 + tвыдV. (6) Дискретизированный сигнал описывается функцией F*(x,y) Fисх (x,y) (x nX*)X* (y nY*)Y* (7) n- m- После дискретизации сигнал квантуется. При равномерном квантовании с интервалом среднеквадратическая ошибка определяется поправкой Шеппарда . (8) От разрешения сенсора Pсенс, под которым будем понимать физическое количество пикселей, содержащееся в каждой горизонтальной строке сенсора, зависит минимальная ширина дефекта (царапины) dмин на поверхности киноленты, которая будет обнаружена устройством автоматического контроля.
2 M, (9) dмин Pсенс где М - ширина сканируемой области.
При линейном сканировании непрерывно движущегося носителя со скоростью V временная частота считывания данных с сенсора определяет разрешение по длине киноленты. Связь между временной частотой сканирования и разрешающей способностью N (выраженной в линиях на миллиметр), приведенной к поверхности носителя устанавливает формула. (10) N V Поскольку мы полагаем, что качество сканируемого изображения вдоль осей х и у должно быть одинаковым, то Pсенс (11) V M При матричном сканировании непрерывно движущегося носителя для устранения смаза изображения вдоль направления движения киноленты необходимо чтобы за время выдержки tвыд электронного затвора сенсора кинолента не успела переместиться на величину, большую половины шага дискретизации 0,5 Y* 0,5 Мy 0,5Y*. Отсюда, (12) tвыд V V Рсенс y где My - высота сканируемой области одного кадра в мм;
Pсенс y - разрешение сенсора по высоте матрицы в пикселях.
Частота съемки матричного сенсора должна быть согласована со скороc стью непрерывного движения носителя V. Оцифровывать отдельно каждый последующий кадр фильма возможно только при условии, что V (13) с Hк где c - частота съемки матричного сенсора, кадр/с;
Hк - шаг кадра, который для 35мм киноленты составляет 19 мм.
При транспортирования киноленты со скоростью 0,456 м/с частота съемки матричным сенсором должна быть равна 24 кадр/с, при перемотке фильмового материала со скоростью V = 2 м/с с =105 кадр/с, при V = 3 м/с соответственно с =158 кадр/с. В некоторых случаях устройство контроля может оцифровывать не все последующие кадры, а, например, через один или два кадра, тогда частоту съемки можно уменьшить соответственно в 2 или 3 раза.
Приведенные выражения (9-13) позволяют определить основные технические параметры камеры в зависимости от скорости киноленты. Однако в качестве исходных данных здесь следует определить минимальный размер дефекта (ширины царапины) dмин на поверхности носителя, который может быть заметен зрителю в условиях кинопроекции.
Предельный угол разрешения глаза за - это функция контраста К и яркости поля адаптации L. Указанный угол (в градусах), согласно данным А.В. Луизова 0,44 0,63L0.находится:, (14) за 60(K 0,02)2 / где под К надо понимать - контраст дефекта поверхности:
Lф Lд, (15) К Lф где Lф - яркость фона; Lд - яркость дефекта поверхности киноленты.
Время наблюдения влияет на восприятие контраста. Если оно меньше времени инерции зрения (0,05-0,2 с), то эффективный контраст Кэф вычисляется по формуле Kэф=K/. В условиях стандартной кинопроекции с частотой кадр/с длительность однократного освещения кадра () приблизительно равно 1/96 секунды. В связи с малым временем проекции дефекты, имеющиеся на отдельно взятом кадре фильма, будут восприниматься зрителем с несколько меньшим контрастом. Если царапины на киноленте расположены вдоль ее движения и повторяются от кадра к кадру, то снижения контраста не происходит.
Чтобы учесть наиболее критичный случай будем полагать, что Kэф=K.
В качестве минимальной ширины царапины поверхности носителя dмин может быть принят дефект, рассматриваемый зрителем в условиях кинопроекции на экране под углом равным угловому разрешению глаза:
dэ /, (16) tg(за / 2) S где S - расстояние от зрителя до экрана. Для лучших зрительских мест в кинотеатре S составляет примерно 4H (четыре высоты экранного изображения);
dэ - минимальная ширина царапины, видимая на экране.
dэ 2tg(за / 2)S 2tg(за / 2)4H, (17) dмин 128tg(за / 2) H / h H / 0,44 0,63L0.42 или, (18) dмин 128tg 2 60(K 0,02)2 / 3 где - линейное увеличение объектива кинопроектора;
H - высота экранного изображения;
h - высота проецируемого кадра на поверхности киноленты, которая для обычной системы кинематографа равна 16мм.
Из выражения видно, что dмин уменьшается с повышением яркости поля адаптации L и с ростом контраста К. Максимальную L примем равной яркости экрана 50 кд/м2. Величина контраста согласно (15) найдена путем сканирования лизношенных фильмокопий, измерения освещенностей фона и царапины изображения в программе Matlab. На темных участках изображения К=0,10,4, на светлых К=0,30,5. Подставив в выражение (18) контраст для светлых участков К=0,5 получим dмин=17мкм. Для К=0,3 dмин=24мкм.
Для проверки правильности найденного значения был проведен эксперимент. С помощью слайд-проектора проецировался на экран кадр, вырезанный из лизношенной фильмокопии, и найдены едва заметные царапины в изображении. Яркость экрана составляла 50 кд/м2, расстояние наблюдения соответствовало четырем высотам экрана. Измерения, выполненные на экране при увеличении изображения =100x, показали, что ширина едва заметных царапин составляет около 20 мкм, что вполне согласуется с рассчитанным значением dмин.
Разрешение сканирования Pскан=225,4/dмин, выраженное в количестве пикселей на дюйм, для обнаружения дефектов размером dмин=17мкм составляет Pскан=3000dpi, а для dмин=24 мкм Pскан=2100dpi.
Чтобы убедиться в правильности расчетов, было отсканировано изображение с разрешениями 2000, 2700, 3600 и 4000 dpi. Едва заметные царапины, наблюдаемые в условиях проекции на экран, были идентифицированы в изображениях, начиная с разрешения 2700 dpi. При разрешении 2000 dpi передавались чуть более крупные дефекты, что подтверждает правильность расчетов.
Найденная по формуле (9) зависимость показана на рисунке 5. На графике обозначен порог заметности, ниже которого дефекты незаметны зрителю.
dмин, мкм порог заметности Рскан, dpi Рисунок 5 - Зависимость ширины минимального дефекта, обнаруживаемого в оцифрованном изображении от разрешения сканирования Результаты расчетов параметров сканирования при условии обнаружения царапин на киноленте предельно малой ширины, видимой глазом сведены в таблицы 2 и 3.
Таблица 2 - Расчет параметров сканирования устройства автоматического контроля с линейным сенсором и непрерывным движением носителя Область использования Диагностический Перематыватель, 35мм кинопроектор, 35мм Скорость движения 0,456 2 носителя, м/с Разрешение сенсора 2К 2,5К 3К 4К 2К 2,5К 3К 4К 2К 2,5К 3К 4К Область сканирования, 22 22 35 35 22 22 35 35 22 22 35 мм Временная частота ска42 52 39 52 182 227 171 228 273 341 257 3нирования строк , кГц Минимальная ширина выявляемого дефекта 22 17,6 23,3 17,5 22 17,6 23,3 17,5 22 17,6 23,3 17,dмин, мкм Таблица 3 - Расчет параметров сканирования системы автоматического контроля с матричным сенсором и непрерывным движением носителя Область исполь- Диагностический Перематыватель, 35мм зования кинопроектор, 35мм Скорость движе0,456 2 ния носителя, м/с Частота съемки, 24 105 1кадр/с Разрешение сен- 2К 2,5К 3К 4К 2К 2,5К 3К 4К 2К 2,5К 3К 4К сора 1,45К 1,8К 1,6К 2,2К 1,45К 1,8К 1,6К 2,2К 1,45К 1,8К 1,6К 2,2К Область сканиро- 2216 3519 2216 3519 2216 35вания, ммСоотношение 1,375 1,84 1,375 1,84 1,375 1,сторон сенсора Время выдержки электронного за12,1 9,6 12,8 9,6 2,7 2,2 2,9 2,2 1,8 1,5 1,9 1,твора сенсора tвыд, мкс Минимальная ширина выявляемого 22 17,6 23,3 17,5 22 17,6 23,3 17,5 22 17,6 23,3 17,дефекта dmin, мкм При разработке устройств автоматического контроля целесообразно использовать готовые камеры для машинного видения, позволяющие регулировать параметры сканирования. Устройства с разрешением 2К и скоростью транспортирования ленты 0,456м/с могут быть реализованы как с помощью матричного (камеры Basler A400 Series, PT-21-04M30 или PT-41-04M60), так и линейного сенсоров (Basler spL2048, Piranha2 2k). Разрешение 4К при скорости 0,456м/с может быть обеспечено камерами с линейным сенсором (Basler spL4096, Piranha ES 4к). Сканирование в режиме перемотки киноленты возможно с помощью матричных камер с разрешением 2К (Basler A400 Series, PT-21-04Mили PT-41-04M60).
При сканировании линейным сенсором необходимо обеспечить постоянство скорости транспортирования киноленты. Для количественной оценки колебаний скорости пользуются коэффициентом колебания скорости:
V0, (19) kc 100% V где V0 - амплитуда колебаний скорости киноленты;
V - скорость транспортирования киноленты.
Колебания скорости киноленты при постоянной частоте считывания данных с линейного сенсора будут приводить к некоторому изменению количества строк сканирования на шаг кадра.
Hк, (20) z = V где - временная частота сканирования;
Hк - шаг кадра, который для 35 мм киноленты обычно составляет 19мм;
Разброс числа строк сканирования на шаг кадра найдем с помощью выражения:. (21) Hк Hк z kcV kcV V V 100% 100% Выразив разброс числа строк сканирования в процентах от общего числа строк z и выполнив вычисления согласно (21), построим график зависимости относительного числа разброса строк от коэффициента колебания скороz / z сти kc (рисунок 6). Из рисунка 6 следует, что с увеличением kc пропорционально возрастает относительная величина разброса числа строк на шаг кадра, z / z причем. (22) z / z 2kc z/z, % kс, % Рисунок 6 - Зависимость относительного разброса числа строк сканирования на шаг кадра от коэффициента колебаний скорости киноленты В работе найден коэффициент колебаний скорости киноленты. Для имитации расположения устройства сканирования перед наматывателем (плэттером) в кинопроекторе 23 КПК была изменена схема заправки киноленты. Измерения осуществлялись с помощью контрольной киноленты с оптической фонограммой Детонация 3150 и детонометра 7Э61. По результатам измерений kc =0,51,5%, наблюдается корреляция между натяжением ленты, поступающей на наматыватель, и kc.
Расчеты z и z, выполненные по формулам (20-22), показали, что разброс числа строк существенно зависит от коэффициента колебаний скорости.
Например, при kc =0,5-1,5% и z=1750, разброс числа строк составит z =17-52.
Поскольку колебания скорости происходят с частотой значительно ниже, чем частота сканирования строк, то на точность измерения ширины царапин в оцифрованном изображении это практически не скажется.
Разбивка последовательности строк на кадры при линейном сканировании в условиях колебания скорости носителя может производиться при помощи считывания данных перфорационных дорожек и межкадровой черты.
В результате исследований по обоснованию основных параметров сканирования устройств автоматического контроля установлено:
1. В условиях пленочной кинопроекции минимальная ширина царапины на поверхности киноленты, видимая глазом, составляет 17-24мкм.
2. При сканировании киноленты по всей ширине, включая области фонограммы и перфораций, для обнаружения системой контроля царапин шириной 17-24мкм цифровое разрешение сенсора должно составлять 3К - 4К, а при сканировании только области изображения 2К - 2,5К.
3. При линейном сканировании с цифровым разрешением 2К непрерывно движущегося носителя со скоростью 0,456 м/с временная частота считывания данных с сенсора должна составлять 42 кГц. При том же разрешении и скорости транспортирования киноленты 2 м/с частота сканирования должна быть увеличена до 182 кГц.
4. При матричном сканировании с цифровым разрешением 2К непрерывно движущего носителя со скоростью 0,456 м/с целесообразно использовать частоту съемки 24 кадр/с и время выдержки электронного затвора не более 12,мкс. В случае матричного сканирования киноленты перематываемой со скоростью 2 м/с частоту съемки следует выбрать равной 105 кадр/с, а время выдержки не более 2,7 мкс.
5. Колебания скорости киноленты при сканировании линейным сенсором могут вызывать разброс числа строк на шаг кадра. Устройство сканирования, применяемое для диагностики состояния фильмовых материалов и контроля настройки МТЛ допустимо располагать перед наматывателем фильмопроверочного стола (или кинопроектора), поскольку при этом разброс числа строк на шаг кадра не оказывает существенного влияния на точность измерений ширины царапины по оцифрованному изображению.
6. При оцифровке цветных фильмов целесообразно устройства сканирования сюжетного и дефектного изображений построить на одной общей рабочей зоне.
В четвертой главе исследованы методы обнаружения дефектов киноленты сканированием изображения, разработаны алгоритмы анализа оцифрованного изображения в устройствах автоматического контроля. Предложен объективный критерии оценки дефектов. На основании экспериментов построена сенсорная характеристика заметности дефектов зрителю по данному критерию.
С помощью экспериментальной установки, собранной на базе НИИ цифрового кинематографа в СПбГУКиТ, экспериментально было проверено сканирование киноленты в проходящем и отраженном свете с непрерывным транспортированием носителя. Как установлено в результате экспериментов, в рассеянном свете хорошо маскируются пыль и мелкие дефекты (царапины), но крупные дефекты остаются заметными. В направленном же свете отчетливо видны все повреждения поверхности киноленты, при этом свет от источника должен проходить по нормали к пленке. Если источник направленного света будет располагаться под углом к киноленте (300 и более), то в этом случае царапины будут давать блики в виде белых полос, становясь при этом менее контрастными.
Сканирование на отражение под углом к нормали порядка 750 позволяет получить изображение дефектов без сюжетной части фильма. Если в качестве рабочей зоны использовать гладкий барабан и матричный сенсор, то удается выполнить это условие только для узкого элемента кадра, что потверждает сделанный ранее вывод о целесообразности применения здесь линейного сенсора.
Реставрация основы и фотослоя осуществляется различными методами, поэтому в алгоритме (рис. 7) дефектное изображение должно быть построено сканированием на отражение отдельно со стороны основы и фотослоя. Дефектное изображение преобразуется в бинарное С с учетом порога яркости T.
1, при А1(x,y)>T C(x,y) = (23) 0, в другом случае Сканирование в от- Дефектные Среда Карты дефектов раженном свете от- изображения Matlab в виде матриц дельно со стороны основы и фобинарного основы и фотослоя тослоя изображения Анализ данных о дефектах киноленты Линейные размеры дефектов Местоположение (со стороны (ширина, площадь) фотослоя, основы) База данных с методами и режимами Выбор метода и режима реставрации реставрации Рисунок 7 - Схема алгоритма выбора метода реставрации Края царапин в изображении представляют собой перепады яркости. Обнаружение перепадов яркости осуществляться при помощи двумерной свертки исходной матрицы изображения Fисх (i,j) с пространственным фильтром W(m,n):
M N Fвых (i,j) W(m,n)F (i m-(M-1)/2,j n-(N-1)/2), (24) исх m0 nгде M, N - размеры фильтра (нечетные числа).
По полученному изображению определяется ширина и площадь царапин:
25,4 Pд d ; S = Sпикс (25,4 / Pскан)2. (25) Pскан На основании этих данных выбирается способ и режим реставрации (скорость обработки, температура раствора, количество наносимого раствора, прижим пленки к полирующим роликам или апликаторным дискам).
Алгоритм исправления дефектов в оцифрованном изображении подразумевает отдельное сканирование сюжетного и дефектного изображений (рисунок 8). Далее полутоновое изображение дефектов преобразуется в бинарную матрицу с отсечением порогового значения яркости по формуле (23).
В бинарной матрице C единицы обозначают неповрежденные участки фильма, а нули - поврежденные. Поскольку предполагается, что разрешение дефектного и сюжетного изображений одинаковы, то на каждом кадре сюжетного изображения по матрице C находятся поврежденные пиксели и им присваивается яркость, найденная интерполяцией яркостей с соседних участков изображения или последовательных кадров bi.
ci bi iB(x, y) = (c1b1 + c2b2 + Е + c9b9)/9 = ; (26) где ci - значения пикселов бинарной матрицы C.
Сканирование цветных фильмов в Сканирование фильма проходящем ИК-излучении в проходящем видимом свете Сюжетное изображение с Дефектное изображение имеющимися дефектами Среда Matlab Среда Matlab Полутоновая матрица дефектного изображения Три матрицы цветоделенных изображений Преобразование в бинарную матрицу с отсечением пороговых значений яркости Нахождение дефектных пикселов в сюжетном изображении Карта дефектов в виде матрицы бинарного Исправление дефектных пикселов сюизображения жетного изображения интерполяцией яркости с соседних участков изображения или последовательных кадров Рисунок 8 - Схема алгоритма исправления дефектов в оцифрованном изображении, входные и исправленное изображения Схема алгоритма диагностики настройки МТЛ киноаппаратуры представлена на рисунке 9. Для его реализации исследованы виды дефектов и возможные причины их образования на киноленте (таблица 4). В указанных экспериментах анализировались дефекты на новой фильмокопии, прошедшей десять прогонов в кинопроекторах Kinoton FP 20 или 23 КПК, при условии неправильной настройки различных элементов МТЛ.
Сканирование Среда Карта дефектов в виДефектное в проходящем Matlab де матрицы бинарноизображение ИК -излучении го изображения Анализ данных о дефектах киноленты Направление Местоположение Периодичность (на от- Линейные размеры (вертикальное, (изображение, звуко- дельном кадре и для дефектов (ширина, горизонтальное, вая дорожка, перфо- последовательности длина, площадь) наклонное) рации) кадров) База данных с видами и причинами Описание видов дефектов и установление дефектов на киноленте возможных причин их возникновения Рисунок 9 - Схема алгоритма диагностики настройки МТЛ киноаппаратуры Таблица 4 - Дефекты и возможные причины их образования на киноленте Наименование дефек- Причины возникновения дефектов та Вертикальные непре- Постоянный контакт поверхности киноленты с неподвижными элерывные царапины ментами МТЛ (загрязнение или нагар на салазках фильмового канала; заклинивание ролика) Вертикальные перио- Периодическое касание поверхности киноленты элементов МТЛ дические царапины (неправильно выставлены петли киноленты; сход ленты с зубчатого барабана).
Вертикальные непе- Хаотический (случайный) контакт поверхности киноленты с элериодические царапи- ментами МТЛ (заедание вращающихся элементов МТЛ) ны Затягивание витков киноленты в рулонах Наклонная или вол- Сход ленты с направляющих элементов МТЛ (перекос роликов) нообразная царапина Контакт поверхности ленты с вращающимися элементами МТЛ, имеющими биение (осевой люфт ролика) Горизонтальная цара- Смещение витков рулона в осевом направлении относительно друг пина друга.
Дефекты произволь- Контакт с шероховатыми поверхностями ной формы Алгоритм нахождения категории технического состояния фильма показан на рисунке 10. Входными данными для алгоритма являются матрицы полутонового (лдефектного) и цветного (лсюжетного) изображений (рисунок 8).
Сканирование в ИК-излучении Сканирование изображения в видимом свете Дефектное изображение Сюжетное изображение с имеющимися дефектами Среда Matlab Среда Matlab Матрица полутонового черно-белого изображения или три матрицы цветоКарта дефектов в виде матрицы деленых изображений бинарного изображения Расчет площади Определение уровня Определение уровня яркости дефектов в яркости для дефект- для пикселов окружающих изображении ных пикселов дефектную область Расчет контрастной ширины царапины Сенсорная характеристика по величине Вывод о категории технического контрастной ширины царапины состояния фильма Рисунок 10 - Схема алгоритма нахождения категории технического состояния фильма Решающими показателями, оказывающим влияние на восприятие дефектов в изображении являются контраст в проходящем свете и ширина царапины. Поэтому в работе для оценки заметности дефектов предложен объективный критерий - контрастная ширина царапины (Кц), который учитывает оба этих показателя в оцифрованном изображении.
Lф Lд Ад, (27) Kц Lф А где Aд - площадь дефектов в кадре (в отсканированном изображении определяется по формуле (28) через количество пикселов на карте дефектов); A - площадь кадра (количество пикселов на кадр); Lф - уровень яркости окружающего поля царапины (29); Lд - уровень яркости в изображении дефектов (30).
n Sдеф.пикс = pi, при условии pi < 1, (28) i=n li i=Lфона =, при С(pi) = 1, (29) n n li i=Lдеф.пикс =, при С(pi) = 0 (30) n Для установления взаимосвязи между объективным критерием контрастной ширины царапины и субъективной оценкой заметности дефектов выполнены эксперименты, в которых приняло участие 60 студентов. С помощью кинопроектора 23 КПК было продемонстрировано 8 роликов с различными категориями технического состояния и предлагалось оценить заметность дефектов по шкале категорий. Данные оценок обрабатывались при помощи расчёта среднеквадратического отклонения для каждого ролика по формуле:
1 n = (Xi-Xср)2, (31) i=n-где Xi - оценка; Xср - среднее арифметическое оценок.
Для каждого ролика были отсканированы кадры в ИК-излучении и видимом свете и с помощью разработанного алгоритма в автоматическом режиме найдена величина контрастной ширины царапины. По полученным данным построена сенсорная характеристика по контрастной ширине царапины (рисунок 11).
Среднеквадратические отклонения показаны на этом графике отрезками. Полученная зависимость аппроксимирована функцией (кривая 2 на рисунке 11):
Xср(Kц) 5exp(-0,91(Kц / 0,0195)0,55) (32) Рисунок 11 - Сенсорная характеристика контрастной ширины царапины Рассмотренные алгоритмы имеют различное назначение, но возможно также создание универсальных устройств автоматического контроля, включающих несколько алгоритмов.
В результате исследований выполненных в четвертой главе сформулированы выводы:
1. Предложены алгоритмы обработки и анализа оцифрованного изображения:
- для автоматического нахождения категории технического состояния фильма;
- для выбора метода реставрации;
- для исправления дефектов в оцифрованном изображении;
- для диагностики настройки МТЛ киноаппаратуры.
2. В качестве объективного критерия оценки дефектов оцифрованного изображения предложено использовать контрастную ширину царапины.
3. Экспериментально найдена и аппроксимирована сенсорная характеристика заметности дефектов зрителю при использовании контрастной ширины царапины.
Заключение Основными результатами выполненного исследования являются следующие.
1. Разработаны и исследованы методы и средства автоматизации контроля поверхностного износа киноленты для диагностики технического состояния фильмовых материалов и устранения дефектов при оцифровке изображения.
2. Предложена методика расчета и обоснованны основные параметры сканирования киноленты в системах автоматического контроля: разрешение, частота считывания строк, предельная скорость движения носителя, время выдержки электронного затвора сенсора.
3. Разработан объективный критерий оценки поверхностных дефектов киноленты, в качестве которого для оцифрованного изображения предложено использовать контрастную ширину царапины. Экспериментально найдена и аппроксимирована сенсорная характеристика заметности дефектов зрителю с этим критерием.
4. Предложены алгоритмы обработки и анализа оцифрованного изображения:
- для нахождения категории технического состояния фильма;
- для выбора метода реставрации;
- для исправления дефектов в оцифрованном изображении;
- для диагностики настройки МТЛ киноаппаратуры.
5. Исследовано влияние колебаний скорости киноленты на разброс числа строк в изображении при сканировании линейным сенсором и непрерывном транспортировании киноленты.
6. Предложены варианты построения и конструктивные решения систем автоматического контроля, которые могут быть встроены в различные виды киноаппаратуры и могут быть востребованы в киноархивах:
- при контроле состояния фильмовых материалов - при выборе метода реставрации - при оцифровке изображения;
- для диагностики настройки узлов МТЛ фильмопроверочных столов и диагностических кинопроекторов.
По материалам диссертации опубликованы следующие работы:
1. Тихомирова Г.В, Газеева И.В., Спичихин А.М., Гудинов К.К. Системы автоматического контроля поверхностного износа киноленты// Мир техники кино, 2012, №23, С. 22 - 28..
2. Газеева И.В., Спичихин А.М. Пути построения систем автоматического контроля износа поверхности кинолент// Мир техники кино, 2010, №17, С. 8 - 13.
3. Отчет о НИР Системы автоматического контроля поверхностного износа киноленты. - СПб.: СПбГУКиТ, 2011.
4. Спичихин А.М. Оценка поверхностного износа киноленты//Материалы научных и творческих конференций СПбГУКиТ Неделя науки 2011. - СПб.:
изд. СПбГУКиТ, 2011, С.264.
5. Газеева И.В., Спичихин А.М. Варианты построения систем для автоматического контроля износа поверхности кинолент// Сборник научных трудов Проблемы развития кинематографа и телевидения. Вып. 23. - СПб.: изд.
СПбГУКиТ, 2011, С. 59-68.
6. Газеева И.В., Спичихин А.М., Гудинов К.К. Обоснование параметров сканирования для систем автоматического контроля поверхностного износа кинолент // Сборник научных трудов Проблемы развития кинематографа и телевидения. Вып. 23. - СПб.: изд. СПбГУКиТ, 2011, С. 68-77.
7. Спичихин А.М. Автоматизация контроля поверхностного износа кинолент//Материалы научной конференции Школа радиоэлектроники -2010 - СПб.: изд. СПбГЭТУ, 2010.
8. Спичихин А.М. Системы для автоматического контроля износа поверхности кинолент//Материалы научных и творческих конференций студентов и аспирантов институтов и факультетов СПбГУКиТ Неделя науки 2010. - СПб.:
изд. СПбГУКиТ, 2010, С.166.
9. Спичихин А.М. Системы обнаружения дефектов на поверхности киноленты // Материалы научных и творческих конференций студентов и аспирантов институтов и факультетов СПбГУКиТ Неделя науки 2009. - СПб.: изд.
СПбГУКиТ, 2009, С.158.
10. Спичихин А.М. Автоматическое обнаружение дефектов поверхности киноленты // Материалы научно-технических конференций студентов и аспирантов институтов и факультетов СПбГУКиТ Неделя науки 2008. - СПб.: изд.
СПбГУКиТ, 2008, С.66.
11. Автоматический контроль поверхностного износа кинолент.
d=81:cinema
Авторефераты по всем темам >>
Авторефераты по техническим специальностям