ANALIZA DE IMAGINI SI RECUNOASTEREA FORMELOR

Παρουσίαση με θέμα: "ANALIZA DE IMAGINI SI RECUNOASTEREA FORMELOR"— Μεταγράφημα παρουσίασης:

1 ANALIZA DE IMAGINI SI RECUNOASTEREA FORMELOR
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor ANALIZA DE IMAGINI SI RECUNOASTEREA FORMELOR Introducere   Extragerea caracteristicilor: - Extragerea caracteristicilor spatiale - Extragerea caracteristicilor de transformare   - Detectia de contur (muchie) Descrierea obiectelor prin contur: - Extragerea contururilor - Reprezentarea contururilor Descrierea obiectelor prin regiuni: - Extragerea regiunilor   - Reprezentarea regiunilor Structuri si forme pentru reprezentarea obiectelor prin regiuni: - Reprezentarea prin schelet - Prelucrari si transformari morfologice - Reprezentari sintactice - Caracteristici de forma Texturi; analiza texturilor Segmentarea imaginilor Segmentarea prin delimitare cu prag (fereastra) Catalogarea componentelor (obiectelor) Segmentare prin extragerea conturului Segmentare prin extragerea regiunilor   Metode mixte

2 Introducere Recunoasterea placutelor de inmatriculare
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Introducere Fig. 8.1 Sistem de analiza a imaginilor               Recunoasterea placutelor de inmatriculare

3 Introducere Detectia textului pt. recunoasterea lui/inlaturarea lui
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Introducere Exemple de aplicatii ale analizei de imagini:                Detectia textului pt. recunoasterea lui/inlaturarea lui Recunoasterea semnelor de circulatie Localizarea si cuantificarea calcitei Detectia tesutului hepatic pe lama de microscop

4 Introducere Metode de abordare a problemei de analiza a imaginii?
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Introducere Exemple de aplicatii ale analizei de imagini:  Metode de abordare a problemei de analiza a imaginii?  - “metoda directa” : analizeaza continutul intregii imagini, complet => in final vom putea extrage toata informatia (interpreta complet scena), inclusiv informatia de interes – insa complexitatea de calcul este prea mare! - metoda “inteligenta”: focalizarea strict asupra informatiei cautate din imagine! Atunci putem extrage doar aceasta informatie din imagine/regiunea din imagine care contine informatia de interes => prelucrarea mai simpla. Cum? Descriem caracteristicile dominante ale regiunii in care se afla informatia de interes, caracteristici specifice acesteia si neprezente in alte regiuni  descriem trasaturile discriminative ale regiunii care contine informatia cautata => reprezentam imaginea prin harta acestor trasaturi si localizam astfel regiunea de interes               Imagini cu un singur obiect; detectia defectelor de pe obiect/sortarea fructelor

5 Prelucrarea numerica a imaginilor. Cap
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor De exemplu – pt. imaginile cu mere – suntem interesati numai de zona cu defect (daca apare); defectele din imaginile cu mere – apar de un gri mai inchis decat culoarea normala a marului, dar nu negre => putem spune ca trasaturile discriminative sunt griuri inchise, dar nu negru => o operatiune de tip fereastra poate duce la o harta de trasaturi in care se vede doar defectul, daca exista Analizam informatia doar din regiunea de interes, folosind harta trasaturilor; ex. Sortare mere: fara defect (arie defect <2% din mar); cu defecte medii; cu defecte mari…               Harta trasaturilor

6 Identificarea tesutului
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Extragerea trasaturilor/caracteristicilor: Extragerea caracteristicilor spatiale: Caracteristici de amplitudine: ex. Nivelele de stralucire (luminanta) pot identifica regiunile de interes din imagini: Caracteristicile de amplitudine pot fi suficient de discriminative daca nivelul de gri este suficient pt. a distinge informatia dorita fata de restul scenei => cel mai dificil – definirea parametrilor optimi ai transformarii pt. extragerea caracteristicilor dominante (discriminative) => harta de caracteristici de amplitudine nu este in mod necesar binara!; partile care nu prezinta interes din scena trebuie reprezentate in mod unic (ex. negru, sau o culoare/niv. gri neprezent in regiunea de interes) => uneori este necesara binarizarea adaptiva/operatiuni fereastra adaptive.                 Identificarea tesutului prin codarea cu culori (ex. violet) Putem masura apoi aria, putem descrie forma, etc.

7 Tesutul de interes este bine separat de lama de microscop
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Trasaturi extrase din histogramele locale (caracteristici de histograma): Histograma locala = descriere statistica locala a imaginii; Daca u = un pixel din imagine; x=un nivel de gri => Hu(x)=nr. de aparitii ale x in regiunea din imagine din jurul lui u => Se pot calcula: deviatia standard; entropia; mediana; percentilele lui Hu(x), etc.               Regiune de interes Histograma regiunii de interes Masuratori Tesutul de interes este bine separat de lama de microscop prin valoarea deviatiei standard a histogramei locale

8 Fig.8.2 Extragerea caracteristicilor de transformare
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Extragerea caracteristicilor de transformare Fig.8.2 Extragerea caracteristicilor de transformare              

9 Fig. 8.3 Detectia muchiilor cu operatori gradient
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Detectia de contur (muchie) Fig. 8.3 Detectia muchiilor cu operatori gradient

10 Prelucrarea numerica a imaginilor. Cap
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Fig Detec]ia muchiilor cu operatori unghiulari a b c d Fig. 8.5 Operatori unghiulari (direc]ia Nord) N NW W SW S SE E NE Fig. 8.6 Obtinerea operatorilor unghiulari pe diferite directii

11 Operatori Laplace si metoda trecerilor prin zero
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor gk(m,n) – gradient compas pe directia k0,...,7, Gradientul la locatia (m,n) va fi definit ca: (8.7) Operatori Laplace si metoda trecerilor prin zero (8.8) Fig. 8.7 Extragere de contur folosind operatori Laplace (cazul unidimensional)

12 Derivata a 2-a a Gaussianului (Laplacianul Gaussianului)
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Operatorul Laplacian din Gaussian (Laplacian of Gaussian, LoG) Derivata a 2-a a Gaussianului (Laplacianul Gaussianului) Filtru Gaussian Derivata Gaussianului Implementari discrete:

13 Detectia de muchii Sobel Detectia de muchii LoG; sigma=5
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Detectia muchiilor cu diferiti operatori – comparatie: Imaginea originala Detectia de muchii Sobel Detectia de muchii LoG; sigma=5 Detectia de muchii Roberts Detectia de muchii LoG; Sigma=10

14 Extragerea contururilor
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Extragerea contururilor Fig. 8.8 Conectivitate cu 4 sau 8 conexiuni Transformata Hough: θ Φ s x y s

15 Nu exista punct de convergenta Punctele nu formeaza o dreapta
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Transformata Hough a unei linii/ transformata Hough a unei curbe oarecare: Nu exista punct de convergenta Punctele nu formeaza o dreapta s Convergenta aproximativa => dreapta aproximativa Punct de convergenta a curbelor Punctele apartin aceleiasi drepte

16 Aplicatii in extragerea conturului format din segmente de dreapta:
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Aplicatii in extragerea conturului format din segmente de dreapta: Conturul obiectului din stanga jos = intre punctele de intersectie Imagine originala Detectie muchii (operator gradient) + binarizare (comparare cu prag) Puncte de contur, contururile neextrase Transformata Hough: Extragerea conturului triunghiului Etichetare (extragere) contur in 8-conectivitate 8-conectivitate: Extragere corecta 4-conectivitate Intreruperea conturului obiectului

17 Reprezentarea contururilor/descriptori de contur:
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Reprezentarea contururilor/descriptori de contur: Scop: pt. un obiect descris prin conturul sau, dorim sa avem o reprezentare compacta a conturului, prin atribute numerice, care sa: reprezinte conturul fara pierdere semnificativa de informatie (=descriptor regenerativ) - genereze usor (eventual printr-un subset numeric) descriptori de contur/forma invarianti la: scalare; rotatie; translatie; oglindire; mici distorsiuni spatiale; mici variatii de forma (intre reprezentarile aceleiasi forme) Folosind descriptorii de contur, vom putea recunoaste forma prin potrivirea cu un sablon sau alte metode de clasificare a formelor Ipoteza generala: avem un singur contur in imagine; grosimea conturului = 1 pixel!

18 Reprezentarea contururilor
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Reprezentarea contururilor Coduri in lant: Aproximari poligonale: Fig Reprezentare de contur folosind coduri in lant Fig Aproximarea curbelor cu portiuni de drepte Contur original Aproximare a conturului pe grila rectangulara Codati acest contur prin cod in lant cu 8 directii, Folosind ca origine – punctul din stanga sus; sens de parcurs – la alegere Pozitii spatiale posibile = doar in colturile grilei Punct start

19 Prelucrarea numerica a imaginilor. Cap
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor   Descriptori Fourier: (8.12) (8.13) (8.14) (8.15) (8.16) determina obtinerea unui nou contur x'(n) y'(n), dat de: (8.17) unde (8.18) Tabelul 8.1

20 Reconstructia unei forme din descriptorii sai Fourier:
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Reconstructia unei forme din descriptorii sai Fourier: Original Reconstructia din primii 2 descriptori primii 6 descriptori primii 10 descriptori primii 20 descriptori …

21 Dictionar forme/contururi Rezultate potriviri: d<Prag
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor (8.19) , atunci pentru o translatie data u0, distanta (8.19) este minima atunci cand: si (8.20) unde a(k)b*(k)c(k)ejk,  -2n0/N si c(k) este o cantitate reala. (8.21) Dictionar forme/contururi Forma model Rezultate potriviri: d<Prag

22 Fig. 8.11 Cod “quad-tree” utilizat pentru reprezentarea regiunilor
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Reprezentarea regiunilor Fig Cod “quad-tree” utilizat pentru reprezentarea regiunilor codul ob]inut : gbgbwwbwgbwwgbwwb si, decodificat : g(bg(bwwb)wg(bwwg(bwwb)))

23 Prelucrarea numerica a imaginilor. Cap
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor · Transformari ale axei mediene 8.23) (m,n) : uk(m,n)  uk(i,j) , d (m,n;i,j) 1 (8.24) Fig Algoritm de scheletizare Fig Exemple de schelete ale unor obiecte Structuri si forme Pixeli – obiect (alb), Codati cu “1” Pixeli – fond (negru), Codati cu “0” Transformarea-distanta, Redata ca imagine de intensitate

24 NT(P1) = nr. pixelilor 1 in inelul care il inconjoara pe P1
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Structuri si forme Algoritm de subtiere: 2 reguli logice care marcheaza pixelii pt. stergere (daca regula este adevarata => pixelul P1 poate fi sters): R1: P1==1 && N(P1)==1 && 2<=NT(P1)<=6 && P2·P4·P6==0 && P2·P4·P8==0 R2: P1==1 && N(P1)==1 && 2<=NT(P1)<=6 && P2·P6·P8==0 && P4·P6·P8==0  N(P1) = nr. tranzitiilor de la 0 la 1 in pixelii din inelul care il inconjoara pe P1 NT(P1) = nr. pixelilor 1 in inelul care il inconjoara pe P1 Rezultatul subtierii

25 Fig. 8.16 Algoritmi de transformare morfologica
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor ·        Prelucrari morfologice Fig Algoritmi de transformare morfologica

26 Fig. 8.17 Reprezentarea sintactica a unui obiect
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor ·        Reprezentari sintactice Fig Reprezentarea sintactica a unui obiect

27 Aplicatii: recunoasterea de forme; masuratori cantitative
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Caracteristici de forma Aplicatii: recunoasterea de forme; masuratori cantitative  Def. Forma obiectului = profilul obiectului + structura fizica a obiectului => “descriptori de forme” Clasificare: (1) caracteristici regenerative (contururi; regiuni; momente de ordin superior; caracteristici structurale; caracteristici sintactice) (2) caracteristici geometrice (arie, perimetru, raza maxima, excentricitate, colturi, rotunjime, simetrie) (3) caracteristici de momente

28 Caracteristici geometrice:
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor x y dx dy x(t) x(t+1) y(t) y(t+1) Caracteristici geometrice: ·        Perimetrul: t - parametrul de contur - Discret => T = numarul de pixeli de pe contur ·        Aria: unde: R si R - regiunea si, respectiv, conturul obiectului - Discret => A = numarul de pixeli din regiune ·       Razele Rmin si Rmax - distantele minime si maxime de la centrul de masa la contur (raportul Rmax/ Rmin - masura a excentricitatii sau alungirii unui obiect) Rmax Rmin

29 · Rotunjimea sau compactizarea:
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor compact necompact ·        Rotunjimea sau compactizarea: Pentru un disc, spre exemplu,  este minim si egal cu 1. ·    Simetria: doua tipuri de simetrie a formelor: rotaţională si “în oglindă” Caracteristici de momente: ·    Centrul de masa ·     Momentul central de ordinul (p,q) va fi: ·     Orientarea: unghiul axei celui mai mic moment de inertie - minimizand : in raport cu :

30 Prelucrarea numerica a imaginilor. Cap
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Texturi ·        Textura = repetarea periodica a unor structuri in imagine; structura de baza = texel Metode de analiza: Clasificare statistică; Clasificare structurală ·        Clasificare statistica: ·        Funcţia de autocorelaţie (ACF): dimensiunile spatiale ale texelilor proportionale cu latimea functiilor de autocorelatie spatiala: unde ·   Masuri de evaluare a distributiei functiei de autocorelatie – pt. descrierea texturii: Texturi artificiale Texturi naturale

31 Fig. 8.18 Tipuri de masti folosite in analiza de texturi
ACF pt. “Nisip” ACF pt. “Lana” Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor  Transformări de imagine: (8.41) Fig Tipuri de masti folosite in analiza de texturi

32 Prelucrarea numerica a imaginilor. Cap
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor  Densitatea conturului  Caracteristicile de histogramă: => histograma de co-aparitie: => masuratori statistice ale histogramei bidimensionale: - inertia:   - distributia medie:   N0 - numarul total de orientari posibile. - distributia variantei: - distributia imprastierii: Sobel Nisip Rafie Iarba R=4, f=0

33 Fig. 8.19 Model de analiza a texturii
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor  Modele de textură aleatoare (8.47) Fig Model de analiza a texturii

34 Segmentarea imaginilor
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Segmentarea imaginilor Segmentarea imaginii = partitionarea imaginii in regiuni omogene disjuncte “Segmentare buna” (cfm. Haralick si Shapiro) : Obtinerea unor regiuni uniforme si omogene in raport cu trasaturile vizuale alese Regiuni simple, fara multe goluri In regiunile adiacente, valorile trasaturilor vizuale sa fie mult diferite de la o regiune la alta Granitele regiunilor sa fie simple, netede, bine delimitate spatial Definitia formala a segmentarii imaginii: Fie I – multimea pixelilor din imagine; => segmentarea lui I = gasirea unei partitii P de N submultimi Rk, avand definit H – un predicat de omogenitate, cu ajutorul caruia P devine: Exemple simple de predicate de omogenitate: luminanta, culoarea, textura

35 Obiect intre minime locale
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Segmentarea prin delimitare cu prag (fereastra) Catalogarea componentelor (obiectelor)  Catalogarea pixelilor: 1) Detectie maxime locale 2) Detectie minime Obiect intre minime locale Obiect

36 Fig. 8.24 Contopirea regiunilor
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Segmentare prin extragerea conturului Fig Segmentare bazata pe extragerea conturului Segmentare prin extragerea regiunilor Fig Contopirea regiunilor

37 Fig. 8.25 Segmentare prin divizare si contopire: a. intrare
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor Fig Segmentare prin divizare si contopire: a. intrare b. divizare cu arbori c. regiunile segmentate

38 b) Rezultatul segmentării bazate pe regiuni
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor a) Imaginea originală b) Rezultatul segmentării bazate pe regiuni c) Principalele obiecte detectate, marcate în imaginea originală prin conturul lor