1. RESTAURAREA IMAGINILOR (2/2)

Παρουσίαση με θέμα: "1. RESTAURAREA IMAGINILOR (2/2)"— Μεταγράφημα παρουσίασης:

1 1. RESTAURAREA IMAGINILOR (2/2)
REDUCEREA ZGOMOTULUI PERIODIC PRIN FILTRARE IN DOMENIUL FRECVENTA DEGRADARI LINIARE, INVARIANTE POZITIONAL ESTIMAREA FUNCTIEI DE DEGRADARE FILTRARE INVERSA FILTRARE EROAREA PATRATICA MEDIE MINIMA (WIENER) FILTRARE CELE MAI MICI PATRATE CONSTRANSE FILTRU MEDIE GEOMETRICA TRANSFORMARI GEOMETRICE

2 REDUCEREA ZGOMOTULUI PERIODIC PRIN FILTRARE IN DOMENIUL FRECVENTA
Filtre rejecteaza-banda Indeparteaza sau atenueaza o banda de frecvente in jurul originii transformatei Fourier. Filtrul ideal rejecteaza-banda: D(u,v) = distanta pana la origine in planul frecventelor; W = latimea benzii; D0 = raza mijlocie a benzii.

3 Filtrul Butterworth rejecteaza-banda:
Filtrul Gaussian rejecteaza-banda:

4 Filtrul ideal Filtrul Butterworth (ordin 1) Filtrul Gaussian

5 Aplicatie. (a) imagine afectata de zgomot sinusoidal; (b) spectrul imaginii (componentele zgomotului sunt perechi de puncte plasate aproximativ circular). a) b)

6 c) d) (c) filtru Butterworth rejecteaza-banda (alb ~ 1); (d) rezultatul filtrarii. => Rezultatul filtrarii este foarte bun (s-au conservat detaliile), ceea ce nu s-ar fi putut obtine cu filtrare in domeniul spatial!

7 Filtre trece-banda Executa operatia inversa fata de un filtru rejecteaza-banda! Hbp(u,v) = 1 – Hbr(u,v) Atentie! pot elimina foarte multe detalii dintr-o imagine. => utile pentru izolarea efectelor unor frecvente intr-o imagine. Tema. Sa se deduca expresiile functiilor de transfer pentru filtrele trece-banda ideal, Butteworth si Gaussian.

8 Filtre « notch » Rejecteaza (sau lasa sa treaca) frecventele dintr-o vecinatate predefinita din jurul unei frecvente centrale. Filtru « notch » ideal de rejectie de raza D0, cu centrele in (u0 , v0) si (-u0 , -v0) : unde : D1(u,v) = [(u – M/2 –u0)2 + (v – N/2 –v0)2]1/2 D2(u,v) = [(u – M/2 +u0)2 + (v – N/2 +v0)2]1/2

9 Filtru « notch » Butterworth de rejectie de ordin n :
Filtru « notch » Gaussian de rejectie: u0 = v0 = 0  filtre trece-sus. Filtrele « notch » de rejectie  filtre « notch » de trecere: Hnp(u,v) = 1 – Hnr(u,v) Tema. Sa se deduca expresiile functiilor de transfer pentru filtrele « notch » de trecere si sa se arate ca pentru u0 = v0 = 0 acestea se transforma in filtre trece-jos.

10 Filtrele "notch" de rejectie ideal, Butterworth (ordin 2) si Gaussian

11 Filtrare "notch" optima Scannere electro-optice (aeronautica, spatiu cosmic)  afectate de cuplari si amplificari in circuitele electronice! => imagini cu structuri periodice 2-D complexe. Componentele de interferenta contin frecvente multiple. Metoda optima: minimizeaza variantele locale ale estimatei . Ideea de baza: izolarea contributiilor principale ale tiparului de interferenta si apoi scaderea din imaginea degradata a unei variabile reprezentand o parte ponderata a tiparului.

12 Pas 1: extragerea principalelor componente de frecventa ale tiparului de interferenta. Se plaseaza un filtru "notch" de trecere H(u,v) la locatia fiecarui varf (interactiv, observand spectrul lui G(u,v) pe un display). => transformata Fourier a tiparului zgomotului de interferenta: N(u,v) = H(u,v) G(u,v) Tiparului in domeniul spatial: zgomot aditiv  scadere! (efectul componentelor absente din estimata η(x,y) se poate minimiza prin utilizarea unei ponderi): unde w(x,y) este functia pondere sau de modulatie (trebuie determinata astfel incat rezultatul sa fie optimizat). O abordare: varianta estimatei minimizata peste o vecinatate specificata a fiecarui punct (x,y).

13 Vecinatate a unui pixel (x,y) de dimensiuni (2a + 1) x (2b +1) => varianta locala:
valoarea medie a lui

14 Presupunere: w(x,y) ~ constant in vecinatate:
=> w(x + s, y + t) = w(x, y), pentru –a ≤ s ≤ a si –b ≤ t ≤ b. =>

15 Minimizarea lui σ2(x,y):
=> Calcul imaginea restaurata: Presupunand w(x,y) constant intr-o vecinatate, este suficient sa se calculeze o singura data (preferabil pentru punctul central) si sa se utilizeze pentru toate celelalte puncte din vecinatate.

16 Aplicatie. (a) Imagine 512x512 de pe Marte cu tipar de interferente, vecinatate a = b = 15. (b) Spectrul Fourier al imaginii degradate, cu originea in centru, avand perechi de componente (puncte luminoase) indicand mai multe componente sinusoidale in cadrul tiparului. a) b)

17 (c) Spectrul Fourier al imaginii degradate cu originea in coltul stanga sus.

18 d) Spectrul zgomotului N(u,v), apar numai varfurile corespunzatoare zgomotului. (e) Tiparul de interferenta η(x,y) aplicand transformarea Fourier inversa lui N(u,v) (asemanare cu structura zgomotului din imaginea initiala). d) e)

19 (f) Imaginea refacuta. f)

20 DEGRADARI LINIARE, INVARIANTE POZITIONAL
Procesul de degradare a unei imagini: g(x, y) = H[f(x, y)] + η(x, y) Se presupune η(x, y) = 0 => g(x, y) = H[f(x, y)] . Functia H este liniara daca: H[af1(x, y) + bf2(x, y)] = aH[f1(x, y)] + bH[f2(x, y)] a, b scalari, f1(x, y), f2(x, y) imagini. Daca a = b = 1 atunci: H[f1(x, y) + f2(x, y)] = H[f1(x, y)] + H[f2(x, y)] este proprietatea de aditivitate.

21 Daca f2(x, y) = 0, atunci: H[af1(x, y)] = aH[f1(x, y)] este proprietatea de omogenitate. => un operator liniar are ambele proprietati (aditivitate si omogenitate). Un operator bazat pe relatia g(x, y) = H[f(x, y)] este invariant pozitional (sau spatial) daca: H[f(x – α, y – β)] = g(x – α, y – β) pentru orice f(x, y) si orice α si β. => raspunsul in orice punct din imagine depinde numai de valoarea punctului respectiv si nu de pozitia acestuia!

22 Se defineste functia impuls de forta A localizata in (x0, y0), notata Aδ(x – x0 , y – y0):
(insumarea unei functii s(x, y) x impuls = valoarea functiei in locatia corespunzatoare impulsului x forta impulsului). De notat ca Aδ(x – x0 , y – y0) : imagine MxN, compusa numai din zerouri,exceptand punctul (x0, y0) unde valoarea imaginii este A. Cu o usoara (dar echivalenta) schimbare de notatie in definitia functiei impuls discrete, se poate obtine f(x, y) pe baza functiei impuls continue: impulsul unitar de variabila continua localizat in punctul de coordonate (x, y).

23 Presupunere: η(x, y) = 0 => ecuatia lui g(x, y):
Daca H este un operator liniar si se extinde proprietatea de aditivitate integralelor rezulta: f(α, β) independent de x si y, utilizand proprietatea de omogenitate:

24 Termenul se numeste raspunsul la impuls al lui H. => daca η(x, y) = 0 atunci h(x, α, y, β) este raspunsul lui H la un impuls de forta 1 in coordonatele (x, y). In optica, impulsul ~ punct luminos => h(x, α, y, β) referita functia de desfasurare a punctului (PSF – "point spread function"). => integrala de superpozitie (sau Fredholm) de tipul intai (rezultat fundamental in teoria sistemelor liniare). Daca se cunoaste raspunsul lui H la un impuls, se poate calcula raspunsul la orice intrare f(α, β) => un sistem liniar H este complet caracterizat de raspunsul sau la impuls.

25 Daca H este invariant pozitional, atunci:
=> integrala convolutiei (variabila continua) ~ convolutia discreta: Daca se cunoaste raspunsul la impuls a unui sistem liniar atunci se poate calcula raspunsul g la orice intrare f. Rezultatul este chiar convolutia dintre raspunsul la impuls si functia de intrare.

26 Zgomot aditiv: Daca H este invariant pozitional se obtine: Valorile η(x, y) aleatoare  presupunere: independente de pozitie. g(x, y) = h(x, y) * f(x, y) + η(x, y) Teorema convolutiei, in domeniul frecventa: G(u, v) = H(u, v) F(u, v) + N(u, v) deconvolutia imaginilor ! filtre de deconvolutie !

27 ESTIMAREA FUNCTIEI DE DEGRADARE
Solutii pentru estimarea functiei de degradare: -observare; -experimentare; -modelare matematica.

28 Estimare prin observarea imaginii
Se dispune de o imagine degradata, fara sa se cunoasca functia de degradare H => informatii chiar din imagine. O mica sectiune cu structuri simple (parte dintr-un obiect plus fond), cu semnal puternic (reducerea efectului zgomotului)  se construieste o subimagine fara "blur" (aceleasi dimensiuni si caracterisitici). Notatii: gs(x, y) : subimaginea observata; subimaginea construita (este o estimare a imaginii originale). Zona de semnal puternic => zgomot neglijabil. Ecuatia: G(u, v) = H(u, v) F(u, v) + N(u, v) se obtine: Hs(u,v) => H(u, v) (functie invarianta pozitional)

29 Estimare prin experimentare
Echipament de achizitie similar cu cel utilizat pentru achizitionarea imaginii degradate => o estimare exacta a degradarii. 1) Diferite setari ale echipamentului  imagine ~ imaginea degradata. 2) Raspunsul la impuls al degradarii: achizitia unui impuls (cat mai mic punct luminos pentru reducerea efectului zgomotului), cu aceleasi setari ale echipamentului (un sistem liniar, invariant spatial este complet descris de raspunsul sau la impuls). Transformata Fourier a unui impuls = constanta (A ~ forta impulsului) !

30 Exemplu. (a) impuls de lumina (reprezentat amplificat); (b) impulsul preluat in imagine (degradat).
a) b)

31 Estimare prin modelare
Modelul poate lua in considerare conditii de mediu care au cauzat degradarea. Exemplu: modelul Hufnagel si Stanley, bazat pe caracterisiticile fizice ale tubulentelor atmosferice: k = constanta (depinzand de natura turbulentei). Ecuatia ~ filtrul Gaussian trece-jos (exceptand exponentul 5/6), uneori utilizat pentru modelarea blur-ului uniform.

32 Exemplu. Utilizand ecuatia de mai sus (a) imagine cu turbulenta neglijabila; (b) cu turbulenta severa k = ; (c) cu turbulenta medie k = 0.001; (d) cu turbulenta scazuta k = b) a) c) d)

33 Alta abordare: model matematic, pornind de la principii de baza.
Caz: imagini cu blur cauzata de o miscare plana uniforma in timpul achizitiei, data de x0(t) si y0(t) pe directiile x si y. Expunerea totala a mediului de inregistrare (film, memorie) = integrarea expunerii instantanee peste intervalul de timp T in care obiectivul (diafragma) aparatului este deschis: Transformata Fourier:

34 Prin inversarea ordinii de integrare:
=> transformata Fourier a functiei f[x – x0(t), y – y0(t)], care pe baza proprietatii de translatie a perechii de transformari:

35 caci F(u, v) nu depinde de t. Definind:
se obtine: G(u, v) = H(u, v) F(u, v) Daca se cunosc variabilele de miscare x0(t), y0(t) => functia de transfer H(u, v).

36 Exemplu. Deplasare numai pe directia x, x0(t) = at/T (pentru t = T => deplasarea totala = a), iar y0(t) = 0. Se calculeaza H(u, v): H se anuleaza pentru valori u = n/a, n intreg. Daca y variaza asemanator, y0(t) = bt/T => functia de degradare:

37 Aplicatie. (a) imaginea initiala 688x688 pixeli; (b) imaginea cu blur obtinuta din imaginea initiala, aplicata transformata Fourier, inmultire cu H(u, v) avand a = b = 0.1 si T = 1, apoi aplicata transformata Fourier inversa. Evident imaginea cu blur poate fi restaurata aplicand acest procedeu in sens invers. a) b)

38 FILTRARE INVERSA Filtare inversa => estimata functiei F(u,v):
Se inlocuieste in aceasta ecuatie relatia: G(u, v) = H(u, v) F(u, v) + N(u, v) obtinand: Concluzii: -nu se poate obtine exact imaginea initiala, doar estimata sa (N(u, v) este o functie aleatoare, nu se cunoaste transformata Fourier); -daca degradarea are valori mici sau nule atunci N(u, v) / H(u, v) domina estimata imaginii (situatie frecventa). O abordare: H(0, 0) este valoarea medie a lui h(x, y), de obicei fiind cea mai mare valoare a lui H(u, v) => limitarea analizei la frecvente apropiate de origine pentru a reduce probabilitatea de a intalni valori zero.

39 Aplicatie. Imaginea de la exemplul "Estimare prin modelare" b) a fost invers filtrata utilizand exact inversa functiei de degradare. Functia de degradare: k = O functie Gaussiana nu are zerouri, dar valori mici => (a) rezultat inutilizabil. Alte solutii de filtrare elimina valorile raportului G(u, v) / H(u, v) in afara cercurilor de raza (b) 40, (c) 70 si (d) 85. => Cel mai bun rezultat: raza 70. Raze mai mici  imagini cu blur (b), iar raze mai mari  imagini degradate (d).

40 b) a) d) c)

41 FILTRARE EROAREA PATRATICA MEDIE MINIMA (WIENER)
Procesul de restaurare = functia de degradare + caracteristicile statistice ale zgomotului. Ideea de baza: imaginile cu zgomot ~ procese aleatoare => este necesar sa se gaseasca o estimata a lui f astfel incat eroarea patratica medie dintre imagine si estimata sa fie minima: Se presupune: -zgomotul si imaginea sunt necorelate; -zgomotul sau imaginea are medie zero; -nivelurile de gri din estimata reprezinta o functie liniara de nivelurile din imaginea degradata.

42 minimul erorii se obtine in domeniul frecventa:
=> Filtru Wiener ("Minimum Mean Square Error Filter“, "Least Square Error Filter“). Notatii utilizate: H(u, v) : functia de degradare; H*(u,v) : complex conjugata lui H(u, v); |H(u, v)|2 = H*(u, v) H(u, v) : magnitudinea; Sη(u, v) = |N(u, v)|2 = realN2(u, v) + imagN2(u, v) : spectrul de putere al zgomotului; Sf(u, v) = |F(u, v)|2 : spectrul de putere al imaginii nedegradate.

43 Daca Sη(u, v) = 0 => filtrul invers.
Sf(u, v) se cunoaste rar => aproximarea ecuatiei cu: K constanta specifica.

44 Aplicatia 1. (a) se considera rezultatul de filtrare inversa totala din aplicatia "Filtrare inversa" a). (b) Rezultatul filtrarii inverse cu raza limitata din aplicatia "Filtrare inversa" c) (imaginile reluate). (c) Rezultatul cu filtrul Wiener, cu functia de degradare din exemplul precedent: pentru k = , => rezultat mai bun! a) b) c)

45 FILTRARE CELE MAI MICI PATRATE CONSTRANSE
("Constrained Least Square Filtering"). Metoda necesita cunoasterea numai a mediei si variantei zgomotului. Definitia convolutiei: rescrisa in forma matriciala: g = H f + η unde vectorul coloana g de dimensiune MNx1 se obtine din concatenarea succesiva a celor M linii de cate N elemente ale imaginii g(x, y). Asemanator vectorii f si η. Matricea H de dimensiune MNxMN contine elementele corespunzatoare operatiei de convolutie. Problema restaurarii  manipulari de tablouri. Dar, de exemplu M = N = 512 => vectorii x1, matricea H x (f.mari). Forma matriciala  simplifica derivarea tehnicilor de restaurare.

46 H senzitivitate la zgomot => optimalitatea restaurarii bazata pe o masura a netezirii, exemplu: derivata a doua a unei imagini (Laplacian). => se doreste gasirea minimului unei functii criteriu C definita astfel: legata de constrangerea: Unde: norma euclidiana a unui vector, estimata imaginii nedegradate, iar operatorul Laplacian:

47 Solutia in domeniul frecventa:
unde γ este un parametru care trebuie ajustat astfel incat constrangerea din ecuatia: este satisfacuta, iar P(u v) este transformata Fourier a functiei: (operatorul Laplacian). γ =0 => filtrare inversa !.

48 Procedura pentru calcularea iterativa a lui γ
Procedura pentru calcularea iterativa a lui γ. Se defineste un vector rezidual: r este o functie de γ. Se poate arata ca: este o functie monoton crescatoare de γ. Problema: γ = ? astfel incat: a = termen de acuratete.

49 Solutie:

50 Pentru a calcula rezulta din ecuatia: ca: => r(x,y) (transformarea inversa a lui R(u, v)). Astfel:

51 Pentru a calcula se considera varianta zgomotului peste intreaga imagine => se estimeaza prin metoda mediei esantioanelor: unde este media esantioanelor. Facand analogie cu ecuatia pentru in ecuatia pentru dubla suma = Se obtine: Rezultat foarte util! => se poate implementa un algoritm de restaurare optima cunoscand numai media si varianta zgomotului.

52 Aplicatie. (a) Imaginea cu turbulente severe, k = 0. 0025
Aplicatie. (a) Imaginea cu turbulente severe, k = (b) Rezultatul obtinut cu valoarea initiala γ = 10-5, factor de corectie γ = 10-6 si a = 0.25; parametrii de zgomot varianta = 10-5 si media = 0 => rezultatul obtinut aproape la fel de bun ca cel cu Filtru Wiener cu K specificat manual pentru cel mai bun rezultat vizual. (c) Rezultat obtinut cu estimare gresita a parametrilor de zgomot: varianta = 10-2 si media = 0 => rezultatul cu mult mai mult blur. a) b) c)

53 FILTRU MEDIE GEOMETRICA
Se poate generaliza filtrul Wiener => filtru de medie geometrica ("geometric mean filter"): α, β constante reale pozitive. α = 1 => filtrul invers. α = 0 =>filtru Wiener parametric (β = 1 => filtrul Wiener standard). α = 1/2 => medie geometrica (de unde si numele filtrulu). β = 1 cand α scade sub 1/2 ~ filtrul invers; cand α creste peste 1/2 ~ filtru Wiener. α = 1/2 si β = 1 => filtru egalizator al spectrului. Ecuatia foarte importanta pentru implementarea filtrelor de restaurare (reprezinta o familie de filtre combinate intr-o singura expresie).

54 TRANSFORMARI GEOMETRICE
O categorie de tehnici de restaurare a imaginilor utilizeaza transformari geometrice (modifica relatiile spatiale dintre pixeli intr-o imagine). => "rubber-sheet transformations” O transformare geometrica = doua operatii de baza: -transformare spatiala (defineste rearanjarea pixelilor intr-o imagine plana); -interpolare de niveluri de gri (asignarea de niveluri de gri pixelilor din imaginea transformata spatial).

55 Transformari spatiale
f (x, y) : distorsiune geometrica  g(x', y') : x' = r(x, y) y' = s(x, y) r(x, y), s(x, y): trasnformari spatiale => g(x', y'). Exemplu: r(x, y) = x/2 , s(x, y) = y/2 => micsorare la jumatate in ambele directii. Teoretic, daca r(x, y) si s(x, y) sunt cunoscute refacerea f(x, y) din g(x', y') poate fi realizata prin aplicarea transformarii inverse. In practica, o imagine : mai multe seturi de functii r(x, y) si s(x, y). Formularea realocarii spatiale a pixelilor: utilizarea punctelor de legatura = subset de pixeli ale caror locatii sunt precis cunoscute in imaginile de intrare (distorsionata) si de iesire (corectata).

56 Exemplu. Puncte de legatura corespunzatoare in cele doua imagini, distorsionata si corectata.

57 Presupunere: procesul de distorsiune geometrica modelat prin:
r(x, y) = c1x + c2y + c3xy + c4 s(x, y) = c5x + c6y + c7xy + c8 => x'= c1x + c2y + c3xy + c4 => y' = c5x + c6y + c7xy + c8 8 puncte de legatura (cate 4 in fiecare imagine), => ci , i = 1, 2, ... , 8, fiecare patrulater avand setul propriu de coeficienti. Trebuie sa se gaseasca unde se mapeaza f(x0 , y0) in imaginea distorsionata. Se inlocuiesc (x0 , y0) in sistemul de mai sus, se rezolva, => (x'0 , y'0). Astfel: Procesul continua pixel cu pixel => intreaga imagine.

58 Interpolarea nivelurilor de gri
Rezolvarea sistemului  x' si y' care nu sunt intregi => nivelurile de gri calculate pe baza valorilor pixelilor vecini din locatii de coordonate intregi (interpolarea nivelurilor de gri). Cea mai simpla schema: cel mai apropiat vecin (interpolare de ordin zero). Astfel:

59 Metoda cel mai apropiat vecin  distorsiuni ale muchiilor drepte in imagini de mare rezolutie.
Rezultate mai bune: interpolarea de convolutie cubica (plaseaza o suprafata de tipul sin(z)/z peste un numar mai mare de vecini (ex. 16) => mai buna estimare a nivelului de gri). Aplicatii: grafica 3-D si imagistica medicala. Prelucrari generale de imagini: interpolarea biliniara (utilizeaza nivelurile de gri ale celor 4 vecini imediati). Valoarea de gri v(x' y') din punctul de coordonate (x', y') neintregi se poate interpola cu relatia: v(x', y') = ax' + by' + cx'y' + d unde cei patru coeficienti se determina prin rezolvarea sistemului de patru ecuatii scrise pentru cei patru vecini cunoscuti => a, b, c, d => v(x', y').

60 Aplicatie. (a) imagine cu 25 de puncte regulate de legatura; (b) rearanjarea punctelor de legatura pentru a crea distorsiuni. a) b)

61 (c) imaginea distorsionata cu interpolare cel mai apropiat vecin; (d) imaginea refacuta din c) folosind tot interpolarea cel mai apropiat vecin => chiar daca corectia geometrica este rezonabila, sunt erori de niveluri de gri la granita dintre regiunile gri si neagra. c) d)

62 (e) si (f) acelasi experiment folosind interpolare biliniara a nivelurilor de gri => imbunatatirea este evidenta. e) f)