Методи усунення локальних спотворень зображень



Сторінка1/3
Дата конвертації03.11.2016
Розмір0.61 Mb.
  1   2   3
Міністерство освіти і науки України

Національний університет "Львівська політехніка"




КЛЮВАК АНДРІЙ ВОЛОДИМИРОВИЧ

УДК 004.896; 004.932




МЕТОДИ УСУНЕННЯ ЛОКАЛЬНИХ СПОТВОРЕНЬ ЗОБРАЖЕНЬ

05.13.23 – Системи та засоби штучного інтелекту



Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Львів 2013

Дисертацією є рукопис

Робота виконана у Національному університеті "Львівська політехніка"

Міністерство освіти і науки України
Науковий керівник:

доктор технічних наук, доцент



Пелешко Дмитро Дмитрович,

Національний університет "Львівська політехніка"

професор кафедри інформаційних технологій

видавничої справи



Офіційні опоненти:

доктор технічних наук, с.н.с.



Винокурова Олена Анатоліївна,

Харківський національний університет радіоелектроніки,

провідний науковий співробітник Проблемної

науково-дослідної лабораторії АСУ;


кандидат технічних наук, доцент

Повхан Ігор Федорович,

ДВНЗ «Ужгородський національний університет»,

доцент кафедри програмного забезпечення систем.

Захист відбудеться "29" листопада 2013 р. о 1400 год. на засіданні спеціалізованої вченої ради Д35.052.14 у Національному університеті "Львівська політехніка" (79013, м. Львів, вул. Степана Бандери 28а, ауд. 807, V корпус).

З дисертацією можна ознайомитися у бібліотеці Національного університету "Львівська політехніка" (79013, м. Львів, вул. Професорська 1).

Автореферат розіслано "25" жовтня 2013р.

Учений секретар

спеціалізованої вченої ради,

кандидат технічних наук, доцент Батюк А.Є.


ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність теми. Інтенсивний розвиток систем штучного інтелекту стимулює потребу у розробці нових методів попереднього опрацювання сиг­налів, у тому числі і зображень. Це зумовлено виникненням нових задач і ви­су­ненням принципово інших вимог до якості рішень вже існуючих. Однією із важ­ливих задач попереднього опрацювання зображень є нівелювання спотво­рень, які виникають внаслідок різних причин. До цих причин відносяться роз­фо­кусування оптичних систем пристроїв реєстрування зображень, шум світ­лочутливих матриць цих пристроїв, надлишок чи недостатність освітлення, рух при експонуванні тощо. Щодо останньої причини, то рух може спотворити зо­браження дуже по-різному залежно від виду та природи походження цього руху. Спотворення внаслідок руху можуть виникати у випадках переміщення: камери при нерухомій сцені, одного чи декількох об’єктів при рухомій камері, одного чи декількох об’єктів при нерухомій камері, камери при слідкуванні за рухомим об’єктом. Два останні випадки є відносно менше досліджені, тому саме на них зосереджена увага в даному дисертаційному дослідженні. В обох цих випадках зображення зазнає локального спотворення рухом, на відміну від першого варіанту, де спотворення є повним, тобто на усю поверхню зобра­жен­ня, та рівномірним. Рівномірність спотворення означає, що воно реалізо­ву­ється за однаковим законом для кожного пікселя зображення. Локальні, або часткові спот­ворення означають, що спотворення зазнає лише частина поверхні зобра­ження. Значення функції яскравості у решті пікселів зображення не зазнає реконструктивних впливів.

У випадку руху окремого об’єкта його зображення буде спотворене, а навколишній фон залишиться без змін. При цьому краї рухомого об’єкта част­ково накладуться на пікселі фону, утворюючи буферну зону інтегральних зна­чень функції яскравості. У іншому випаду – слідкуванні камери за рухомим об’єк­том – буде спостерігатись протилежна картина: неспотворене зображення об’єкта буде оточене спотвореним фоном.

На відміну від повних спотворень, параметри яких є однакові для усієї площини зображення, обробка локальних спотворень довгий час залишалась поза широкою увагою в наукових дослідженнях. Так питанню реконструкції рівномірно спотворених зображень приділено достатньо уваги ще з середини ми­нулого століття. Отримані результати є достатньо значимими, а методи та ал­горитми сліпої та не сліпої розгортки (відомої також як деконволюція чи обернена згортка), наприклад, алгоритми Віннера та Люсі-Річардсона стали класичними і широко використовуються у системах цифрової обробки зобра­жень. Достатньо ефективні результати демонструють сучасні алгоритми де­кон­волюції зображень, спотворених рухом камери при незмінній сцені, напри­клад ітеративний алгоритм Ці Шана або алгоритм сліпої розгортки Фергюса.

У випадку локальних спотворень, зокрема тих, що виникають внаслідок руху окремого елемента сцени при нерухомій камері, достатньо якісних резуль­татів поки що не отримано. Це пояснюється складністю процедур виділення кон­турів рухомого об’єкта, обчислення параметрів його руху, тобто ФРТ (функ­ції розсіяння точки), виконання розгортки з умовою мінімізації впливів на фон і ін. Але головна проблема полягає у необхідності розмежувати перед операцією розгортки ділянки зображення, які одночасно належать рухомому об’єкту і фо­ну. Тут не можна застосувати єдиний підхід до усієї пло­щини зо­браження. На­віть незначні похибки при опрацюванні такого зобра­ження мо­жуть приз­вести до ще більшого спотворення зображення замість його покра­щення: спот­ворені та неспотворені ділянки зображення при класич­ному підході сприя­тимуть спотворенню одне одного.

Дослідження процесу утворення локальних спотворень цифрових зо­бражень і виділення його властивостей може бути підґрунтям побудови алго­ритмів реконструкції зображень після усунення змазів, які виникають при екс­по­нуванні кадрів. А самі реалізації алгоритмів усунення локальних спотворень можуть використовуватись на етапах попереднього опрацювання зобра­жень при інтелектуальному аналізі даних в системах штучного інтелекту.

Тому є актуальною наукова задача дос­лідження про­цесу формування локальних спотворень зображень, які виникають внас­лі­док руху камери або об’єктів при нерухомій камері, та розробки ме­тодів усу­нення таких спотворень і реконструкції спотворених зображень.



Зв’язок роботи з науковими програмами, планами, темами. Робота ви­конана в рамках навчальних та науково-дослідних робіт кафедр інфор­маційних технологій видавничої справи та автоматизованих систем управління На­ціо­нального університету "Львівська політехніка", зокрема за держ­бюджет­ною те­мою “Розвиток теорії синтезу нейронних мереж на НВІС-струк­турах для обробки сигналів в робототехнічних системах” (0112U001204).

Метою дисертаційного дослідження є розробка методів усунення локаль­них спотворень зображень, спричинених динамікою об’єктів уваги або рухом пристрою реєстрації.

Для досягнення поставленої мети необхідно вирішити такі завдання:



    1. Дослідити механізм утворення спотворень зображень, які виникли внаслідок руху окремих об’єктів чи пристроїв реєстрації, провести аналіз існуючих методів усунення повних та локальних змазів.

    2. Модифікувати метод виділення контурів спотворених ділянок зображення з використанням статистки змазу.

    3. Розробити метод визначення траєкторії спотворювального руху.

    4. Розробити метод визначення функції розсіяння точки спотворених ділянок зображення.

    5. Розробити метод відновлення локально спотворених зображень для випадку руху пристрою реєстрації.

    6. Розробити метод відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації.

    7. Розробити програмну реалізацію розроблених методів усунення локальних спотворень зображень.

Об'єктом дослідження є процес спотворень цифрових зображень.

Предмет дослідження – цифрові зображення, які зазнали локальних ди­на­міч­них спотворень.

Методи дослідження. Результати дисертаційних досліджень отримані з використанням елементів теорії інтелектуального аналізу даних, представлення знань, методів цифрової обробки сигналів та зображень, дискретної матема­ти­ки, алгебри і топології, математичної морфології та теорії алґоритмів і програ­му­вання. Зокрема обробка вхідних зображень проводилась з застосуванням опе­ра­цій дискретної математики, методи операційного числення та матема­тичної морфології використовувались в методі детектування зони спотворення.

Наукова новизна. На основі виконаних теоретичних та експеримен­таль­них досліджень отримано такі нові результати:

Вперше розроблено:

  • метод визначення траєкторії спотворювального руху на основі дослі­джен­ня закономірностей в розподілі флуктуацій функції інтен­сив­ності, що да­ло можливість оцінювати траєкторію без апріорних припущень;

  • метод визначення функції розсіяння точки на основі характеристик траєкторії руху, який спричинив повне або часткове спот­ворення зображення, що дозволило з більшою точністю виз­начати функцію розсіяння точки спотвореного зображення;

  • метод заповнення прогалин на місцях вилучених фрагментів шляхом інтегрування зображення, який зробив можливим відновлення локально спотворених зображень для випадку руху пристрою реєстрації;

  • метод заміни фону рухомого об’єкта, який зробив можливим відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації.

Удосконалено:

  • метод несліпої деконволюції спотворених рухом зображень, шляхом застосування двостороннього та чотиристороннього віддзеркалення, що призвело до суттєвого зменшення проявів «ефекту дзвону».

Отримала подальший розвиток:

  • технологія виділення контурів спотворених рухом ділянок зобра­ження шляхом використання інформації про характер спотворення, що дозволило з більшою точністю проводити реконструкцію зобра­жень.

Практична цінність одержаних результатів. Розв’язання сформульо­ва­них завдань стало основою побудови алгоритмів реконструкції зображень, спот­­­ворених рухом. При цьому частина результатів може бути використана не лише для випадку локальних, а й для випадку повних (глобальних) спотворень.

Використання розробленого методу оцінки функції розсіяння точки спот­вореного зображення дозволяє підвищити точність її оцінки. При про­веденні експериментів на основі синтетичних даних, при порівнянні з дійсною функ­цією розсіяння точки, визначено, що застосування цього методу дало мож­ли­вість отримати результати у середньому на 26% точніші у порівнянні з кла­сич­ним методом сліпої розгортки.

Метод оцінки функції розсіяння точки може застосовуватись окремо як складова частина програмних систем обробки зображень, а також в системах штучного інтелекту для визначення траєкторії та рівномірності руху, зафіксова­ного на зображенні. Визначальною характеристикою методу є те, що він доз­воляє отримувати траєкторію з окремого зображення, а не з послідовності кад­рів (відео), що властиво методам відслідковування руху об’єктів. Це сприяє роз­ширенню області застосування даного методу.

Підходи до розгортки на основі дзеркального відображення можуть ви­корис­товуватись для реконструкції зображень з мінімумом артефактів т.зв. «ефек­ту дзвона» для зображень як повного, так і часткового спотворення. Чи­сельним критерієм якості усунення цих артефактів обрано величину ентропії. В процесі експериментальних досліджень виявлено, що зменшення ентропії при рекон­струкції одного і того ж зображення при застосуванні повно­стороннього віддзеркалення в середньому становить 1,04%.

Отриманий результат є цінним для систем обробки зображень ще й тому, що якість реконструкції зображення є незалежною від типу спотворення: позитивний вплив спостерігається як для зображень, спотворених рухом, так і для зображень, що були спотворені внаслідок розфокусування оптичної сис­теми пристрою реєстрування.

Серед практичних результатів дисертаційного дослідження треба ще відзначити доведення твердження про інваріантність чорного фону при операції згортки та розроблений метод штучного перенесення спотвореної ділянки зо­браження на чорний фон. Їх практична цінність для систем обробки зображень полягає у можливості конструювання алгоритмів штучної заміни фону під на­півпрозорою зоною сліду об’єкта, який рухається із великою швидкістю. Біль­ше того, з’являється можливість практично повністю усунути прояви «ефекту дзвону» при реконструкції спотворених ділянок зображень, що, у свою чергу, може виступати основою для подальших розробок в напрямку покращення реконструктивних технологій.

Метод автоматизованої оцінки контурів спотворених областей та запов­нення прогалин можуть використовуватись для розділення та відо­кремленої обробки спотворених областей зображення, а також для автоматизованого де­тек­тування руху та виділення зображення рухомого об’єкта для подальшої обробки та розпізнавання.

Розроблені на основі отриманих методів алгоритми були реалізовані в середовищі MATLAB і можуть бути використані як складові частини комп’ю­терних систем попередньої обробки зображень.



Особистий внесок здобувача. В публікаціях, написаних у спів­ав­тор­стві, дисертантові належать: метод динамічного оновлення моделі фону пос­лідовності зображень [6, 12], метод розрахунку флуктуацій градієнтів для оцін­ки траєкторії спотворювального руху [2, 5, 13], метод оцінки функції розсіяння точки спо­тво­реного зображення [3, 9], спосіб оцінки рівномірності розподілу кольорів по траєкторії руху [10], метод заміни кольору фону буферних зон змазів та концепція усунення ло­каль­ного спотворення від руху окремих об’єктів [1, 7], метод розгортки з чоти­ри­стороннім віддзеркаленням та застосу­вання оцінки функції розсіяння точки для відновлення зображення, локально спотвореного рухом камери [4, 11], метод оцінки зони змазу шляхом застосу­вання перетворення Фур’є [8].

Публікації. За результатами дисертаційних досліджень опубліковано 13 друкованих праць, серед них 6 статей у наукових фахових виданнях України та 7 публікацій у збірниках праць конференцій. Результати досліджень зафіксовані свідоцтвом про авторське право на комп'ютерну програму.

Апробація результатів дисертації. Основні положення дисертації обговорювались на 7 науково-технічних міжнародних конференціях, зокрема:

  1. The Vth International Scientific аnd Technical Conference [“Computer Science and Information Technologies” (CSIT 2010)], (Lviv, October 14-16, 2010) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2010.

  2. The XIth International Conference ["The experience of designing and application of CAD systems in microelectronics" (CADSM 2011)], (Polyana, Ukraine , February 23-25, 2011) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2011.

  3. The VIth International Scientific and Technical Conference [“Computer Science and Information Technologies” (CSIT 2011)], (Lviv, November 16 – 19, 2011) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2011.

  4. ІІ-а наук.-техн. конференція [«Обчислювальні методи і системи пере­тво­рення інформації»], (4-5 жовтня 2012р., Львів)/ Львів: ФМІ НАУНУ, 2012.

  5. The VIIth International Scientific and Technical Conference [“Computer Science and Information Technologies” (CSIT 2011)], (Lviv, November 20-24, 2012) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2012.

  6. The XIIth International Conference ["The experience of designing and application of CAD systems in microelectronics" (CADSM 2013)], (Polyana, Ukraine, February 19-23, 2013) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2013.

  7. Міжнародна наукова конференція [«Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту»], (Херсон, 20-34 травня 2013) / ХНТУ.- Херсон, 2013.

Структура та обсяг роботи. Робота складається із вступу, чотирьох роз­ділів, списку використаних джерел та додатків. Загальний обсяг роботи становить 114 стор. друкарського тексту. Дисертація містить 48 рисунків на 22 стор. Список використаних джерел складається із 147 найменувань на 15 стор. Три додатки розміщено на 14 стор.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі наведено загальну характеристику роботи: обґрунтовано ак­туаль­ність теми дисертаційної роботи, сформульовано мету та основні задачі дос­ліджень, визначено наукову новизну роботи і практичне значення отри­ма­них результатів, показано зв'язок роботи з науковими темами. Подано відомості про апробацію результатів роботи та публікації.



У першому розділі наведені результати аналізу процесу виникнення та модельного представлення як локального так і глобального спотворення. Зокрема розгля­ну­то природу змазу, механізми формування локальних змазів та формування пере­хідних зон локальних спотворень. Проаналізовано сучасні методи та під­ходи до усунення локальних змазів і реконструкції цифрових зображень.

На підставі цих досліджень з’ясовано, що змази зображення утворю­ються безпосередньо в світлочутливих матрицях. Наразі існує дві принципові ар­хі­тек­тури світлочутливих матриць: CCD матриці та CMOS матриці. Типово, будь-яка з них складається з великої кількості однорідних світлочутливих еле­ментів, кожен з яких відповідає за генерування одного пікселя зображення.

Математична модель будь-якого змазу, подібно до спотворення, яке вини­кає внаслідок розфокусування, зводиться до операції згортки (згортки)

(1)

де знак означає операцію згортки; f(x, y) – дискретизоване зображення розміром M × N, яке піддається спотворенню під впливом ядра розмиття h(x, y) з розмірністю m × n, яке називається функцією розсіяння точки (ФРТ, анг. PSF – Point Spread Function). Додатково світлочутлива матриця накладає випадково розподілений адитивний шум n(x, y).

Результат спотворення, яке виникає на зображенні визначається значен­нями ФРТ h(x, y). Саме вона визначає перетворення над значеннями функції інтенсивності у кожному пікселі зображення.

Зважаючи на (1) операцію згортки можна записати так:



, (2)

де a = (m - 1) / 2, b = (n - 1) / 2.

На основі аналізу результатів експериментів підтверджено тезу про те, що формування змазу зображення адекватно описується моделлю на основі згортки. Cам оператор згортки, інакше ядро розмиття або дискретна функція розсіяння точки, містить в собі інформацію про траєкторію та рівномірність руху, який є причиною виникнення спотворення зображення. Для дослідження сутності змазу зображення було використано перетворення Фур’є. Виявлено, що різниця між Фур’є образами спотвореного повним змазом зображенням і неспотвореним є сумою експоненційних функцій:

, (3)

Кількість цих функцій корелює з довжиною траєкторії спотворюваль­ного руху.

З’ясовано, що існує декілька видів локальних спотворень. Серед них найбільш поширеним на практиці є такий вид змазу, який утворюється при нерухомій камері, яка експонує кадр з присутнім об’єктом, що в цей момент швидко рухається відносно свого фону. Схема утворення такої розмитої ді­лян­ки наступна. В початковий момент часу t0 відкривається затвор пристрою ре­єс­трації і елементи світлочутливої матриці починають набирати певного значення функції інтенсивності. У цей момент однаково відображаються і ру­хо­мий об’єкт і фон. У момент tn затвор закривається. За цей проміжок часу рухо­мий об’єкт подолав певну відстань, яку, враховуючи дискретну природу циф­рової фотографії, можна оцінити в деяку кількість пікселів m. Це означає, що проміжок часу t = tn - t0 можна розділити на m рівних відрізків. Протягом кожного з цих відрізків часу кожен піксель рухомого об’єкту залишав від­би­ток власного значення функції інтенсивності на іншій позиції в зображенні шляхом накладання власного значення кольору на той, який існував на цій позиції раніше. У результаті значення функції інтенсивності у внутрішніх пік­селах об’єкта накладаються на значення інших пікселів цього ж об’єкта і ви­ни­кає типова задача деконволюції.

На краях зони розмиття ситуація є дещо іншою. Краями є об­ласть вздовж периметру об’єкта по обидва сторони в напрямку руху ши­риною m точок (буферна зона). У цій зоні відбувається змішування значень функ­ції інтенсив­ності рухомого об’єкта із значеннями функції інтенсивності пік­­селів нерухо­мого фону. Оскільки увесь час експонування був дискети­зова­ний на m періодів, то можна вважати, що за одиницю часу = 1/m значення функ­ції інтенсивності кожного пікселя бу­фер­ної зони формується за рахунок -ї частини значення кольору рухомого об’єкту та 1- частини решти, яка, в свою чергу, утворюється в ре­зуль­таті ади­тивного накладання у тій же пропорції зна­чень функції інтен­сив­ності, що на­ле­жать об’єкту та фону, над яким цей об’єкт рухався.

Для граничного пікселя об’єкта значення функції інтенсивності буде виз­начатись за описаним співвідношення. Для наступного пікселя об’єкта його зна­чення функції інтенсивності с(xi, yi) буде визначатися у результаті скаляр­ного добутку векторів v = (, , (1-2)) і Fi = (f(xi, yi), f(xi-1, yi), fф(xi, yi)):

с(xi, yi) = v Fi. (4)

Тут fф(xi, yi), f(xi, yi), f(xi-1, yi) – значення функції інтенсивності відповідно фону, у даному та у граничному пікселях. За подібною схемою визначатимуться значення функції інтенсивності у кожній точці буферної зони. Останній піксель буферної зони буде мати значення функції інтенсивності, яке лише на величину буде складатись із значення кольору фону.

Описаний підхід формування значень функції інтенсивності у пікселях буферної зони називатимемо операцією зважування значень функції ін­тен­сивності, а сам вектор vоператором зважування. Треба зазначити, що вка­зані вище параметри оператора v є можливими лише за умови рівномірного руху. У випадку нерівномірного руху ці параметри будуть іншими і форму­ва­тимуться за правилом: що менший час перебував піксель об’єкта в даній по­зиції, то меншою буде його частка значення функції інтенсивності в резуль­ту­ючому значенні. Проте закономірність отримана для випадку рівномірного руху буде зберігатись і для j-го пікселя буфер­ної зони може бути записана так:

, (5)

де j [0; m]; hii-е ненульове значення дискретної функції розсіяння точки h; bj – значення кольору фону в даній точці; fj – інтегральне значення функції інтенсивності у пікселях рухомого об’єкта, які перебували в даній позиції під час руху об’єкта.

Зазвичай усунення спотворення зображення, спричиненого згорткою, здійснюється одним із методів деконволюції. Усі алгоритми, побу­до­вані на її основі, ґрунтуються на використанні бієктивних гомомор­фізмів, тобто такої ФРТ, яка б виконала зворотне перетворення до первісного зобра­жен­ня. Алго­ритми несліпої деконволюції передбачають наявність заданої функції роз­гортки. Тобто робиться припущення про характер спотворення, і ви­ходячи із нього будується функція, яка обробляє зображення. Сліпа деконволюція про­водиться, виходячи із того, що ядро розмиття наперед не­відоме, ос­кільки спот­ворення може бути спричиненим різними факторами і з різним впливом. При сліпій деконволюції ядро розмиття розраховується в процесі ро­боти алгоритму. За результатами аналізу найбільш відомих методів розгортки, зокрема методів Річардсона-Люсі, Тихонова, Вінера, Донателлі, Нееламані, Фергюса, виявлено, що найбільш ефективними у задачах усунення локальних спотворень є метод Річардсона-Люсі та фільтр Віннера.

Проведений аналіз причин виникнення спотворення і методів їх усу­нен­ня засвідчив необхідність розробки нових методів реконструкції зображень у задачах усунення локальних змазів. У відповідності до цього сформульовано ос­новні завдання наукового дослідження, викладеного у дисертаційній роботі.


  1   2   3


База даних захищена авторським правом ©res.in.ua 2016
звернутися до адміністрації

    Головна сторінка