Rozpoznávanie obrazcov a spracovanie obrazu Obrazové transformácie Doc. RNDr. Milan Ftáčnik, CSc.

Motivácia Na zlepšenie kvality obrazu a určenie príznakov sa okrem priestorových metód používajú aj frekvenčné metódy Pri nich obraz reprezentujeme ako sumu frekvencií, ktoré sa v obraze vyskytujú Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Motivácia II Príklad: Analýza sínusového signálu s nenulovou strednou hodnotou Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Motivácia III Nultý (tzv. DC) komponent je nenulový (= stredná hodnota signálu) 5. spektrálny koeficient indikuje frekvenciu vstupného sínusového signálu Fázové spektrum (fázový uhol) zobrazuje uhol každého bodu voči osi x Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Motivácia IV Fourier v roku 1822: každú periodickú funkciu možno vyjadriť ako súčet sínusových a kosínusových funkcií o rôznych frekvenciách vynásobených určitými koeficientami Fourierov rad Signál-obraz bude lineárnou kombináciou goniometrických funkcií (bázy), kde váhy kombinácie sú spektrálne koeficienty Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Fourierova transformácia Jednorozmerný spojitý prípad Nech f(x) je spojitá funkcia reálnej premennej x. Potom FT je funkcia F(u) 𝐹 𝑢 = −∞ ∞ 𝑓 𝑥 ⁡ 𝑒 −𝑖2𝜋𝑢𝑥 𝑑𝑥 Pomocou inverznej FT získame f(x) Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Fourierova transformácia II 𝑓 𝑥 = −∞ ∞ 𝐹 𝑢 𝑒 𝑖2𝜋𝑢𝑥 𝑑𝑢 kde 𝑖= −1 a tiež 2𝜋𝑢=𝜔, kde 𝜔 je uhlová frekvencia v radiánoch a 𝑢 je frekvencia v Hz Obrazové funkcie sú reálne, ich FT sú komplexné, t.j. 𝐹 𝑢 =𝑅 𝑢 +𝑖𝐼(𝑢) Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Fourierova transformácia III Často sa to píše v tvare 𝐹 𝑢 = 𝐹(𝑢) 𝑒 𝑖𝜑(𝑢) kde 𝐹(𝑢) = 𝑅 2 𝑢 + 𝐼 2 (𝑢) 1/2 je Fourierovo spektrum a 𝜑 𝑢 = 𝑡𝑎𝑛 −1 𝐼(𝑢) 𝑅(𝑢) je fázový uhol, u frekvenčná premenná Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Fourierova transformácia IV Podľa Eulerovej formuly je FT nekonečná suma kosínusových a sínusových prvkov, lebo platí 𝑒 𝑖𝜃 =𝑐𝑜𝑠𝜃+𝑖.𝑠𝑖𝑛𝜃 FT má dôležité vlastnosti, ktorými sú linearita, veta o podobnosti (roztiahnutie signálu zúženie spektra) Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Jednoduchá funkcia a jej spektrum Pre funkciu 𝑦=𝐴, pre ∀𝑥∈(0,𝑋) je FT 𝐹 𝑢 = 𝐴 𝜋𝑢 sin 𝜋𝑢𝑋 𝑒 −𝑖𝜋𝑢𝑋 a spektrum 𝐹(𝑢) =𝐴𝑋 sin⁡(𝜋𝑢𝑋) 𝜋𝑢𝑋 Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Transformačný pár funkcií Funkcia 𝑠𝑖𝑛𝑐(𝑡) a obdĺžniková funkcia, kde 𝑠𝑖𝑛𝑐 𝑡 = sin 𝑡 𝑡 ak t>0, 𝑠𝑖𝑛𝑐 𝑡 = 1 ak t=0 a obdĺžniková funkcia sa rovná jednej na intervale −𝑢 0 , 𝑢 0 sú si navzájom funkciou a jej FT a platí to aj naopak, že ak FT pova-žujeme za funkciu, tak pôvodná funkcia je jej FT ako to ilustruje obrázok Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Transformačný pár funkcií II Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Dvojrozmerná FT Spojitý prípad zapisujeme v tvare 𝐹 𝑢,𝑣 = −∞ +∞ −∞ +∞ 𝑓(𝑥,𝑦) 𝑒 −𝑖2𝜋(𝑢𝑥+𝑣𝑦) 𝑑𝑥𝑑𝑦 Tiež platí 𝑓 𝑥,𝑦 = −∞ +∞ −∞ +∞ 𝐹(𝑢,𝑣) 𝑒 𝑖2𝜋(𝑢𝑥+𝑣𝑦) 𝑑𝑥𝑑𝑦 Podobne ako v jednorozmernom prípade je definované Fourierovo spektrum a fázový uhol Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Dvojrozmerná FT II Jednoduchá funkcia a), jej spektrum b) a spektrum ako obraz intenzít c) Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

𝐹 𝑢,𝑣 = 𝑚=0 𝑀−1 𝑛=0 𝑁−1 𝑃 𝑢,𝑚 𝑓 𝑚,𝑛 𝑄(𝑛,𝑣) , Diskrétna FT (DFT) Obrazovú funkciu f zapíšeme ako maticu rozmeru M x N Transformačné matice P a Q budú transformovať f na maticu F takto: 𝐹=𝐏𝑓𝐐 , čo možno napísať ako: 𝐹 𝑢,𝑣 = 𝑚=0 𝑀−1 𝑛=0 𝑁−1 𝑃 𝑢,𝑚 𝑓 𝑚,𝑛 𝑄(𝑛,𝑣) , kde u = 0,1, ...,M-1 a v = 0,1, ..., N-1 Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Diskrétna FT (DFT) II Ak P a Q sú nesingulárne (nemajú nulový determinant), potom existujú inverzné matice 𝐏 −1 a 𝐐 −1 a inverznú transformáciu možno vypočítať ako 𝑓= 𝐏 −1 𝐹 𝐐 −1 Uvažujme transformačnú maticu tvaru 𝜙 𝐽𝐽 𝑘,𝑙 = 1 𝐽 𝑒 −𝑖 2𝜋 𝐽 𝑘𝑙 Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

𝑓 𝑚,𝑛 = 1 𝑀𝑁 𝑚=0 𝑀−1 𝑛=0 𝑁−1 𝐹(𝑢,𝑣) 𝑒 𝑖2𝜋( 𝑚𝑢 𝑀 + 𝑛𝑣 𝑁 ) Diskrétna FT (DFT) III DFT definujeme pomocou transformačných matíc 𝐏= 𝜙 𝑀𝑀 𝑎 𝐐= 𝜙 𝑁𝑁 : 𝐹 𝑢,𝑣 = 1 𝑀𝑁 𝑚=0 𝑀−1 𝑛=0 𝑁−1 𝑓 𝑚,𝑛 𝑒 −𝑖2𝜋( 𝑚𝑢 𝑀 + 𝑛𝑣 𝑁 ) , Inverzná transformácia má tvar 𝑓 𝑚,𝑛 = 1 𝑀𝑁 𝑚=0 𝑀−1 𝑛=0 𝑁−1 𝐹(𝑢,𝑣) 𝑒 𝑖2𝜋( 𝑚𝑢 𝑀 + 𝑛𝑣 𝑁 ) Tento vzťah možno interpretovať tak, že obrazová funkcia f(m,n) je Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Diskrétna FT (DFT) IV lineárnou kombináciou periodických členov 𝑒 𝑖2𝜋( 𝑚𝑢 𝑀 + 𝑛𝑣 𝑁 ) a 𝐹(𝑢,𝑣) sú váhy Vypočítať DFT môžeme z definície so zložitosťou 𝑂 𝑁 2 Môžeme použiť aj Fast FT (FFT), ktorej zložitosť je 𝑂(𝑁.𝑙𝑜𝑔𝑁), a to tak, že Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

FFT modifikujeme vzorec pre DFT takto: 𝐹 𝑢,𝑣 = 1 𝑀 𝑚=0 𝑀−1 1 𝑁 𝑛=0 𝑁−1 𝑒 −𝑖2𝜋𝑛𝑣 𝑁 𝑓(𝑚,𝑛) 𝑒 −𝑖2𝜋𝑚𝑢 𝑀 ^ Potom člen v hranatých zátvorkách zodpovedá jednorozmernej FT a možno ho spočítať v čase 𝑂(𝑁.𝑙𝑜𝑔𝑁) Zrýchlenie ilustruje tabuľka Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Zrýchlenie FFT Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Hadamardova transformácia Ak P a Q sú Hadamardove matice, potom F je Hadamardova transformácia Sínusové formy nahradíme štvorcovými Hadamardova matica 2x2 je 𝐇 22 = 1 1 1 −1 Matica rozmeru 2 𝑘 je 𝐇 2𝐽2𝐽 = 𝐇 𝐽𝐽 𝐇 𝐽𝐽 𝐇 𝐽𝐽 − 𝐇 𝑱𝑱 Potom 𝑓= 1 𝑀𝑁 𝐇 𝑀𝑀 𝐹 𝐇 𝑁𝑁 Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Diskrétna kosínusová transformácia Najčastejšie ako DCT II, v ktorej bázové vektory sú vzorkované kosínusové funkcie 𝐂 𝑁𝑁 𝑘,𝑙 = 1 𝑁 𝑝𝑟𝑒 𝑙=0 𝐂 𝑁𝑁 𝑘,𝑙 = 2 𝑁 𝑐𝑜𝑠 2𝑘+1 𝑙𝜋 2𝑁 𝑝𝑟𝑒 𝑖𝑛é 𝑘,𝑙 Potom 𝐹= 𝐂 𝑁𝑁 𝑓 𝐂 𝑁𝑁 𝑇 a 𝑓= 𝐂 𝑁𝑁 𝑇 𝐹 𝐂 𝑁𝑁 Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Vlnkové (wavelet) transformácie Tiež rozkladajú obraz na sumu bázových funkcií, podobných ako FT FT sú lokalizované vo frekvencii, ale nie v priestore a čase, preto malá zmena spôsobí zmenu v celom časopriestore Vlnkové T sú lokalizované vo frekvencii aj v čase lepšie skladajú dáta (aj strmé) Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Použitie obrazových transformácií Na kompresiu obrazu – napr. DCT II je základom normy JPEG (zanedbávame frekvencie s malým príspevkom, ktoré nezhoršujú vizuálne vnímanie obrazu) Na predspracovanie - frekvenčné filtrovanie, kde bežnú konvolúciu prevedieme na násobenie dvoch FT a inverznou FT dostaneme výsledok Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

DFT a konvolučná teoréma Ak máme konvolúciu funkcie f(x) a konvolučnej masky h(x), t.j. f(x)*h(x), potom ich FT je súčin F(u)H(u) Ak napíšeme konvolúciu ako 𝑔 𝑎,𝑏 = 1 𝑀𝑁 𝑚=0 𝑀−1 𝑛=0 𝑁−1 𝑓 𝑚,𝑛 ℎ(𝑎−𝑚,𝑏−𝑛) , potom ich FT sú vo vzťahu 𝐺 𝑢,𝑣 =𝐹(𝑢,𝑣)𝐻(𝑢,𝑣) Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

DFT a konvolučná teoréma II čo je násobenie po zložkách a 𝑔 𝑎,𝑏 = 𝑚=0 𝑀−1 𝑛=0 𝑁−1 𝐹 𝑢,𝑣 𝐻(𝑢,𝑣) 𝑒 𝑖2𝜋( 𝑎𝑢 𝑀 + 𝑏𝑣 𝑁 ) Pri použití najprv prevedieme obrazovú funkciu f a konvolučnú masku h do frekvenčného spektra pomocou FT, vynásobíme ich FT a inverznou FT dostaneme výsledok konvolúcie g Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Schéma frekvenčnej filtrácie Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Príklady základných filtrov Dolnopriepustný filter – DP filter a) Hornopriepustný filter – HP filter b) Pásmový filter c) Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Príklady základných filtrov II DP filter – jeho frekvenčná transfer funk-cia H(u,v) má malé hodnoty ďalej od po-čiatku, čiže zachováva nízke frekvencie (to sú hodnoty okolo počiatku), potláča vyso-ké frekvencie a je ako vyhladzovací filter HP filter – správa sa opačne, posilňuje vy-soké frekvencie a potláča nízke – má ostriaci charakter Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

DP filter Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

HP filter Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Pásmový filter Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Odstránenie periodického šumu Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Ideálny DP filter Jeho filtrovacia funkcia (maska filtra) je definovaná ako 𝐻 𝑢,𝑣 =1, 𝑎𝑘 𝐷 𝑢,𝑣 ≤ 𝐷 0 , 𝐻 𝑢,𝑣 =0 𝑖𝑛𝑎𝑘 kde 𝐷 0 je špecifikovaná nenulová konštanta (tzv. vylučovacia frekvencia) a 𝐷(𝑢,𝑣) je vzdialenosť od počiatku Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Ideálny DP filter II Podľa voľby vylučovacej frekvencie potláča viac alebo menej vysokých frekvencií Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Butterworthov DP filter Jeho filtrovacia funkcia je 𝐻 𝑢,𝑣 = 1 1+ 𝐷(𝑢,𝑣)/ 𝐷 0 2𝑛 Nemá ostré prechody medzi zostáva-júcimi a filtrovanými frekvenciami Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Ideálny HP filter Tiež pracuje s pojmom vylučovacej frekvencie pre nízke frekvencie Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Butterworthov HP filter Jeho filtrovacia funkcia je 𝐻 𝑢,𝑣 = 1 1+ 𝐷 0 /𝐷(𝑢,𝑣) 2𝑛 Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

BDP a BHP Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Rekonštrukcia (obnovenie) obrazu Pri nej sa potláča degradácia obrazu s využitím znalosti o povahe degradácie Degradáciu modelujeme ako konvolúciu, pri rekonštrukcii používame dekonvolúciu (inverznú funkciu) na celý obraz Deterministické – pri malom šume a zná-mej degradácii, použijeme inverznú Stochastické – hľadajú obnovenie podľa nejakého kritéria, napr. MNŠ Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Model degradácie Modelom je operátor H, ktorý spolu s adi-tívnym šumom 𝜂(𝑥,𝑦) vytvorí z obrazu f degradovaný obraz g Rekonštrukcia spočíva v aproximácii f, ak máme g, znalosť o H a štatistickú infor-máciu o povahe šumu 𝜂(𝑥,𝑦) Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Model degradácie II Potom 𝑔 𝑥,𝑦 =𝐻 𝑓(𝑥,𝑦) +η(𝑥,𝑦) Ak H je invariantné vzhľadom na polohu v obraze, môžeme napísať ako konvolúciu 𝑔 𝑥,𝑦 =𝑓∗ℎ 𝑥,𝑦 +𝜂(𝑥,𝑦) Ak môžeme zanedbať šum, tak to riešime inverznou konvolúciou (dekonvolúciou) Ak nemôžeme, tak ako systém lineárnych rovníc, s využitím MNŠ ako Wienerov filter alebo rekurzívne ako Kalmanov filter Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Deterministické metódy Vychádza sa z toho, že pri zanedbaní šumu možno vzťahy vyjadriť pomocou FT ako 𝐺=𝐹𝐻, z čoho dostaneme obraz inverznou konvolúciou Príklad známej degradácie: pohyb objektu voči kamerou rýchlosťou V v osi x, potom FT degradácie možno napísať ako 𝐻 𝑢,𝑣 = sin⁡(𝜋𝑉𝑢) 𝜋𝑉𝑢 Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Inverzná filtrácia Predpokladá degradáciu, spôsobenú lineárnou funkciou ℎ 𝑖,𝑗 a považuje šum 𝜂(𝑖,𝑗) za ďalší nezávislý zdroj degradácie Potom 𝐺 𝑢,𝑣 =𝐹 𝑢,𝑣 𝐻 𝑢,𝑣 +𝑁(𝑢,𝑣) Ak poznáme 𝐻 −1 (𝑢,𝑣) potom FT pre f je 𝐹 𝑢,𝑣 =𝐺 𝑢,𝑣 𝐻 −1 𝑢,𝑣 −𝑁(𝑢,𝑣) 𝐻 −1 (𝑢,𝑣) Inverzná filtrácia dobre funguje pre obra-zy, kde šum nie je príliš výrazný Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Wienerova filtrácia S využitím MNŠ zahŕňa znalosť o charaktere šumu Je založená na minimalizácii rozdielu medzi odhadom 𝑓 0 a originálnym obrazom 𝑓 s najmenšou strednou hodnotou chyby 𝑒 2 =𝐸 𝑓 𝑖,𝑗 − 𝑓 0 (𝑖,𝑗) 2 Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Wienerova filtrácia II Filtrácia je ľahká, ak 𝑓 0 je lineárnou funk-ciou obrazu g Ak nie sú také informácie, tak odhad 𝑓 0 sa stanoví ako podmienená stredná hodnota obrazu f za podmienky g Je to výpočtovo náročné, lebo sa obyčajne nevie o hustote podmienenej pravdepo-dobnosti medzi f a degradovaným g Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Wienerova filtrácia II Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018

Wienerova filtrácia III Rozpoznávanie obrazcov a spracovanie obrazu 2017/2018