ANALIZA DE IMAGINI SI RECUNOASTEREA FORMELOR Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor ANALIZA DE IMAGINI SI RECUNOASTEREA FORMELOR Introducere   Extragerea caracteristicilor: - Extragerea caracteristicilor spatiale - Extragerea caracteristicilor de transformare   - Detectia de contur (muchie) Descrierea obiectelor prin contur: - Extragerea contururilor - Reprezentarea contururilor Descrierea obiectelor prin regiuni: - Extragerea regiunilor   - Reprezentarea regiunilor Structuri si forme pentru reprezentarea obiectelor prin regiuni: - Reprezentarea prin schelet - Prelucrari si transformari morfologice - Reprezentari sintactice - Caracteristici de forma Texturi; analiza texturilor Segmentarea imaginilor Segmentarea prin delimitare cu prag (fereastra) Catalogarea componentelor (obiectelor) Segmentare prin extragerea conturului Segmentare prin extragerea regiunilor   Metode mixte

Introducere Recunoasterea placutelor de inmatriculare Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Introducere Fig. 8.1 Sistem de analiza a imaginilor               Recunoasterea placutelor de inmatriculare

Introducere Detectia textului pt. recunoasterea lui/inlaturarea lui Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Introducere Exemple de aplicatii ale analizei de imagini:                  Detectia textului pt. recunoasterea lui/inlaturarea lui Recunoasterea semnelor de circulatie Localizarea si cuantificarea calcitei Detectia tesutului hepatic pe lama de microscop

Introducere Metode de abordare a problemei de analiza a imaginii? Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Introducere Exemple de aplicatii ale analizei de imagini:  Metode de abordare a problemei de analiza a imaginii?  - “metoda directa” : analizeaza continutul intregii imagini, complet => in final vom putea extrage toata informatia (interpreta complet scena), inclusiv informatia de interes – insa complexitatea de calcul este prea mare! - metoda “inteligenta”: focalizarea strict asupra informatiei cautate din imagine! Atunci putem extrage doar aceasta informatie din imagine/regiunea din imagine care contine informatia de interes => prelucrarea mai simpla. Cum? Descriem caracteristicile dominante ale regiunii in care se afla informatia de interes, caracteristici specifice acesteia si neprezente in alte regiuni  descriem trasaturile discriminative ale regiunii care contine informatia cautata => reprezentam imaginea prin harta acestor trasaturi si localizam astfel regiunea de interes               Imagini cu un singur obiect; detectia defectelor de pe obiect/sortarea fructelor

Prelucrarea numerica a imaginilor. Cap Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor De exemplu – pt. imaginile cu mere – suntem interesati numai de zona cu defect (daca apare); defectele din imaginile cu mere – apar de un gri mai inchis decat culoarea normala a marului, dar nu negre => putem spune ca trasaturile discriminative sunt griuri inchise, dar nu negru => o operatiune de tip fereastra poate duce la o harta de trasaturi in care se vede doar defectul, daca exista Analizam informatia doar din regiunea de interes, folosind harta trasaturilor; ex. Sortare mere: fara defect (arie defect <2% din mar); cu defecte medii; cu defecte mari…               Harta trasaturilor

Identificarea tesutului Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Extragerea trasaturilor/caracteristicilor: Extragerea caracteristicilor spatiale: Caracteristici de amplitudine: ex. Nivelele de stralucire (luminanta) pot identifica regiunile de interes din imagini: Caracteristicile de amplitudine pot fi suficient de discriminative daca nivelul de gri este suficient pt. a distinge informatia dorita fata de restul scenei => cel mai dificil – definirea parametrilor optimi ai transformarii pt. extragerea caracteristicilor dominante (discriminative) => harta de caracteristici de amplitudine nu este in mod necesar binara!; partile care nu prezinta interes din scena trebuie reprezentate in mod unic (ex. negru, sau o culoare/niv. gri neprezent in regiunea de interes) => uneori este necesara binarizarea adaptiva/operatiuni fereastra adaptive.                 Identificarea tesutului prin codarea cu culori (ex. violet) Putem masura apoi aria, putem descrie forma, etc.

Tesutul de interes este bine separat de lama de microscop Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Trasaturi extrase din histogramele locale (caracteristici de histograma): Histograma locala = descriere statistica locala a imaginii; Daca u = un pixel din imagine; x=un nivel de gri => Hu(x)=nr. de aparitii ale x in regiunea din imagine din jurul lui u => Se pot calcula: deviatia standard; entropia; mediana; percentilele lui Hu(x), etc.                 Regiune de interes Histograma regiunii de interes Masuratori Tesutul de interes este bine separat de lama de microscop prin valoarea deviatiei standard a histogramei locale

Fig.8.2 Extragerea caracteristicilor de transformare Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Extragerea caracteristicilor de transformare Fig.8.2 Extragerea caracteristicilor de transformare                

Fig. 8.3 Detectia muchiilor cu operatori gradient Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Detectia de contur (muchie)   Fig. 8.3 Detectia muchiilor cu operatori gradient

Prelucrarea numerica a imaginilor. Cap Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor   Fig. 8.4 Detec]ia muchiilor cu operatori unghiulari a b c d Fig. 8.5 Operatori unghiulari (direc]ia Nord)   N NW W SW S SE E NE Fig. 8.6 Obtinerea operatorilor unghiulari pe diferite directii

Operatori Laplace si metoda trecerilor prin zero Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor gk(m,n) – gradient compas pe directia k0,...,7, Gradientul la locatia (m,n) va fi definit ca: (8.7)   Operatori Laplace si metoda trecerilor prin zero   (8.8)   Fig. 8.7 Extragere de contur folosind operatori Laplace (cazul unidimensional)  

Derivata a 2-a a Gaussianului (Laplacianul Gaussianului) Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Operatorul Laplacian din Gaussian (Laplacian of Gaussian, LoG)     Derivata a 2-a a Gaussianului (Laplacianul Gaussianului) Filtru Gaussian Derivata Gaussianului   Implementari discrete:

Detectia de muchii Sobel Detectia de muchii LoG; sigma=5 Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Detectia muchiilor cu diferiti operatori – comparatie:   Imaginea originala Detectia de muchii Sobel Detectia de muchii LoG; sigma=5 Detectia de muchii Roberts Detectia de muchii LoG; Sigma=10

Extragerea contururilor Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor   Extragerea contururilor Fig. 8.8 Conectivitate cu 4 sau 8 conexiuni   Transformata Hough: θ Φ s x y s

Nu exista punct de convergenta Punctele nu formeaza o dreapta Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor   Transformata Hough a unei linii/ transformata Hough a unei curbe oarecare: Nu exista punct de convergenta Punctele nu formeaza o dreapta s Convergenta aproximativa => dreapta aproximativa Punct de convergenta a curbelor Punctele apartin aceleiasi drepte

Aplicatii in extragerea conturului format din segmente de dreapta: Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Aplicatii in extragerea conturului format din segmente de dreapta:   Conturul obiectului din stanga jos = intre punctele de intersectie Imagine originala Detectie muchii (operator gradient) + binarizare (comparare cu prag) Puncte de contur, contururile neextrase Transformata Hough: Extragerea conturului triunghiului Etichetare (extragere) contur in 8-conectivitate 8-conectivitate: Extragere corecta 4-conectivitate Intreruperea conturului obiectului

Reprezentarea contururilor/descriptori de contur: Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor   Reprezentarea contururilor/descriptori de contur: Scop: pt. un obiect descris prin conturul sau, dorim sa avem o reprezentare compacta a conturului, prin atribute numerice, care sa: reprezinte conturul fara pierdere semnificativa de informatie (=descriptor regenerativ) - genereze usor (eventual printr-un subset numeric) descriptori de contur/forma invarianti la: scalare; rotatie; translatie; oglindire; mici distorsiuni spatiale; mici variatii de forma (intre reprezentarile aceleiasi forme) Folosind descriptorii de contur, vom putea recunoaste forma prin potrivirea cu un sablon sau alte metode de clasificare a formelor Ipoteza generala: avem un singur contur in imagine; grosimea conturului = 1 pixel!

Reprezentarea contururilor Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor   Reprezentarea contururilor Coduri in lant: Aproximari poligonale: Fig. 8.9 Reprezentare de contur folosind coduri in lant Fig. 8.10 Aproximarea curbelor cu portiuni de drepte Contur original Aproximare a conturului pe grila rectangulara Codati acest contur prin cod in lant cu 8 directii, Folosind ca origine – punctul din stanga sus; sens de parcurs – la alegere Pozitii spatiale posibile = doar in colturile grilei Punct start

Prelucrarea numerica a imaginilor. Cap Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor   Descriptori Fourier: (8.12) (8.13)   (8.14) (8.15) (8.16) determina obtinerea unui nou contur x'(n) y'(n), dat de: (8.17) unde (8.18) Tabelul 8.1  

Reconstructia unei forme din descriptorii sai Fourier: Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Reconstructia unei forme din descriptorii sai Fourier: Original Reconstructia din primii 2 descriptori primii 6 descriptori primii 10 descriptori primii 20 descriptori …

Dictionar forme/contururi Rezultate potriviri: d<Prag Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor (8.19) , atunci pentru o translatie data u0, distanta (8.19) este minima atunci cand:   si (8.20) unde a(k)b*(k)c(k)ejk,  -2n0/N si c(k) este o cantitate reala. (8.21) Dictionar forme/contururi Forma model Rezultate potriviri: d<Prag  

Fig. 8.11 Cod “quad-tree” utilizat pentru reprezentarea regiunilor Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Reprezentarea regiunilor   Fig. 8.11 Cod “quad-tree” utilizat pentru reprezentarea regiunilor codul ob]inut : gbgbwwbwgbwwgbwwb si, decodificat : g(bg(bwwb)wg(bwwg(bwwb)))  

Prelucrarea numerica a imaginilor. Cap Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor · Transformari ale axei mediene   8.23) (m,n) : uk(m,n)  uk(i,j) , d (m,n;i,j) 1 (8.24) Fig. 8.12 Algoritm de scheletizare Fig. 8.13 Exemple de schelete ale unor obiecte Structuri si forme   Pixeli – obiect (alb), Codati cu “1” Pixeli – fond (negru), Codati cu “0” Transformarea-distanta, Redata ca imagine de intensitate

NT(P1) = nr. pixelilor 1 in inelul care il inconjoara pe P1 Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor   Structuri si forme Algoritm de subtiere: 2 reguli logice care marcheaza pixelii pt. stergere (daca regula este adevarata => pixelul P1 poate fi sters): R1: P1==1 && N(P1)==1 && 2<=NT(P1)<=6 && P2·P4·P6==0 && P2·P4·P8==0 R2: P1==1 && N(P1)==1 && 2<=NT(P1)<=6 && P2·P6·P8==0 && P4·P6·P8==0  N(P1) = nr. tranzitiilor de la 0 la 1 in pixelii din inelul care il inconjoara pe P1 NT(P1) = nr. pixelilor 1 in inelul care il inconjoara pe P1 Rezultatul subtierii

Fig. 8.16 Algoritmi de transformare morfologica Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor ·        Prelucrari morfologice Fig. 8.16 Algoritmi de transformare morfologica

Fig. 8.17 Reprezentarea sintactica a unui obiect Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor ·        Reprezentari sintactice Fig. 8.17 Reprezentarea sintactica a unui obiect

Aplicatii: recunoasterea de forme; masuratori cantitative Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Caracteristici de forma Aplicatii: recunoasterea de forme; masuratori cantitative  Def. Forma obiectului = profilul obiectului + structura fizica a obiectului => “descriptori de forme” Clasificare: (1) caracteristici regenerative (contururi; regiuni; momente de ordin superior; caracteristici structurale; caracteristici sintactice) (2) caracteristici geometrice (arie, perimetru, raza maxima, excentricitate, colturi, rotunjime, simetrie) (3) caracteristici de momente

Caracteristici geometrice: Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor x y dx dy x(t) x(t+1) y(t) y(t+1) Caracteristici geometrice: ·        Perimetrul:   t - parametrul de contur - Discret => T = numarul de pixeli de pe contur ·        Aria: unde: R si R - regiunea si, respectiv, conturul obiectului - Discret => A = numarul de pixeli din regiune ·       Razele Rmin si Rmax - distantele minime si maxime de la centrul de masa la contur (raportul Rmax/ Rmin - masura a excentricitatii sau alungirii unui obiect) Rmax Rmin

· Rotunjimea sau compactizarea: Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor compact necompact ·        Rotunjimea sau compactizarea:   Pentru un disc, spre exemplu,  este minim si egal cu 1. ·    Simetria: doua tipuri de simetrie a formelor: rotaţională si “în oglindă” Caracteristici de momente: ·    Centrul de masa ·     Momentul central de ordinul (p,q) va fi: ·     Orientarea: unghiul axei celui mai mic moment de inertie - minimizand : in raport cu :

Prelucrarea numerica a imaginilor. Cap Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Texturi ·        Textura = repetarea periodica a unor structuri in imagine; structura de baza = texel Metode de analiza: Clasificare statistică; Clasificare structurală ·        Clasificare statistica: ·        Funcţia de autocorelaţie (ACF): dimensiunile spatiale ale texelilor proportionale cu latimea functiilor de autocorelatie spatiala:   unde ·   Masuri de evaluare a distributiei functiei de autocorelatie – pt. descrierea texturii: Texturi artificiale Texturi naturale

Fig. 8.18 Tipuri de masti folosite in analiza de texturi ACF pt. “Nisip” ACF pt. “Lana” Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor  Transformări de imagine:   (8.41) Fig. 8.18 Tipuri de masti folosite in analiza de texturi

Prelucrarea numerica a imaginilor. Cap Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor  Densitatea conturului    Caracteristicile de histogramă: => histograma de co-aparitie: => masuratori statistice ale histogramei bidimensionale: - inertia:   - distributia medie:   N0 - numarul total de orientari posibile. - distributia variantei: - distributia imprastierii: Sobel Nisip Rafie Iarba R=4, f=0

Fig. 8.19 Model de analiza a texturii Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor  Modele de textură aleatoare (8.47)   Fig. 8.19 Model de analiza a texturii

Segmentarea imaginilor Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Segmentarea imaginilor Segmentarea imaginii = partitionarea imaginii in regiuni omogene disjuncte “Segmentare buna” (cfm. Haralick si Shapiro) : Obtinerea unor regiuni uniforme si omogene in raport cu trasaturile vizuale alese Regiuni simple, fara multe goluri In regiunile adiacente, valorile trasaturilor vizuale sa fie mult diferite de la o regiune la alta Granitele regiunilor sa fie simple, netede, bine delimitate spatial Definitia formala a segmentarii imaginii: Fie I – multimea pixelilor din imagine; => segmentarea lui I = gasirea unei partitii P de N submultimi Rk, avand definit H – un predicat de omogenitate, cu ajutorul caruia P devine: Exemple simple de predicate de omogenitate: luminanta, culoarea, textura

Obiect intre minime locale Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Segmentarea prin delimitare cu prag (fereastra)   Catalogarea componentelor (obiectelor)  Catalogarea pixelilor:   1) Detectie maxime locale 2) Detectie minime Obiect intre minime locale Obiect

Fig. 8.24 Contopirea regiunilor Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Segmentare prin extragerea conturului Fig. 8.23 Segmentare bazata pe extragerea conturului   Segmentare prin extragerea regiunilor Fig. 8.24 Contopirea regiunilor

Fig. 8.25 Segmentare prin divizare si contopire: a. intrare Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Fig. 8.25 Segmentare prin divizare si contopire: a. intrare b. divizare cu arbori c. regiunile segmentate

b) Rezultatul segmentării bazate pe regiuni Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor a) Imaginea originală b) Rezultatul segmentării bazate pe regiuni c) Principalele obiecte detectate, marcate în imaginea originală prin conturul lor