Petar Ćurković, dipl. ing. Tomislav Stipančić, dipl. ing. Segmentacija slike Petar Ćurković, dipl. ing. Tomislav Stipančić, dipl. ing. Bojan Šekoranja

Segmentacija slike Pri analizi objekata na slici neophodno je razgraničiti “objekte od interesa” od ostatka slike Tehnika koja izdvaja objekte od interesa se naziva segmentacija. Metode segmentacije mogu se razdijeliti u tri grupe: thresholding– određivanje praga– izdvajanje cijelog objekta od pozadine edge-based segmentacija – pronalaženje rubova region-based segmentacija – segmentacija bazirana na regijama Ne postoji univerzalna tehnika segmentacije koja će raditi na svim slikama niti je i jedna tehnika segmentacije savršena.

Segmentacija slike Potpuna segmentacija slike je kada je slika razdjeljena na konačan broj regija R1,..., Rs,

Tresholding-određivanje praga Gray-level thresholding je najjednostavniji segmentacijski proces. Mnogi objekti ili regije slike imaju karakterističnu konstantnu refleksiju ili apsorbciju svjetla na njihovim površinama – to nam omogućuje da odredimo neki konstantni iznos tj. prag koji će razdvajati objekte od pozadine Određivanje praga je računski nezahtjevna i jednostavna metoda – to je najstarija metoda koja još ima široku primjenu za jednostavnije zadatke Vrlo se jednostavno izvodi u realnom vremenu uz pomoć adekvatne opreme

Tresholding-određivanje praga Osnovni algoritam: Provjeriti sve pixele orginalne slike. Algoritam transformira ulaznu sliku u binarnu (segmentiranu) sliku i to na način: gdje je T prag, g(i,j) = 1 su objekti a g(i,j) = 0 pozadina ili obrnuto. Ako se objekti međusobno ne dodiruju i ako se jasno razlikuju od pozadine onda je ovo prigodna metoda

Tresholding-određivanje praga Vrlo je bitno odrediti dobar prag – samo u rjetkim slučajevima se dešava da je jedan prag dobar za cijelu sliku (globalni prag) pošto je već i kod dosta jednostavnih slika dolazi do varijacija – te varijacije mogu biti uzrokovane nejednakim osvjetljenjem i nizom drugih faktora Segmentacija pomoću varijabilnih pragova – kada prag varira u različitim dijelovima slike kao funkcija lokalnih karakteristika slike može dati rješenja u tom slučaju

Tresholding-određivanje praga Originalna slika Threshold segmentacija (c) Prag previsok (d) Prag prenizak

Tresholding-određivanje praga Korištenje raspona g(i,j) = l for f(i,j) Є D1, = 2 for f(i,j) Є D2, = 3 for f(i,j) Є D3, … = n for f(i,j) Є Dn, = 0 u drugim slučajevima Originalna slika Detekcija rubova korištenjem raspona

Tresholding-određivanje praga Metode određivanja praga se koriste da bi se odredio prag automatski. Ako unaprijed znamo neku značajku slike zadatak određivanja je pojednostavljen jer se određuje prag koji zadovoljava tu značajku. Metode se baziraju na analizi oblika histograma -najčešće se koristi histogram prvog reda

Tresholding-određivanje praga Histogram prvog reda predstavlja relativnu frekvenciju svjetlina točaka u slici Histogram može biti bimodalan ili multimodalan Histogram se može izračunati globalno ili lokalno Mogući problem: Određivanje minimuma je teško zbog izlomljenosti krivulje histograma Rješenje: Izgladiti histogram ili izvršiti interpolaciju glatkom funkcijom

Tresholding-određivanje praga Pristupi tresholding segmentaciji Odrediti pragove pomoću minimuma u histogramu Odrediti iznos praga tako da određeni dio točaka ima svjetlinu nižu od praga Odrediti prag na osnovu histograma izračunatog samo za točke u slici koje zadovoljavaju neki kriterij (npr. imaju veliki gradijent) Koristiti a priori statističko znanje o regijama da bi minimizirali neku veličinu (npr. pogrešku)

Tresholding-određivanje praga Bimodalna segmentacija Kod mnogih slika vrijednost točaka pada u jednu od dvije grupe (tamne ili svjetle točke) Primjeri: pisani tekst, mikroskopski uzorci, avioni na pisti, kosti na roentgenskom filmu,... U takvim slučajevim se objekt može izdvojiti od pozadine na osnovi vrijednosti amplitude Praktični problemi kod izbora vrijednosti praga: šum i smetnje, objekt i pozadina imaju širok raspon vrijednosti, neuniformna pozadina

Tresholding-određivanje praga Bimodalna segmentacija

Tresholding-određivanje praga Odabir praga Ako je histogram bimodalan (ima dva istaknuta maksimuma između kojih se nalazi minimum) onda za prag treba odabrati amplitudnu vrijednost koja odgovara srednjem minimumu p-tile thresholding – ako je poznato da objekt prekriva određeni dio površine slike može se prag odrediti tako da segmentirana regija ima površinu jednaku željenom dijelu ukupne površine slike primjer: ispisani tekst na nekoj stranici pokriva 1/p površinu stranice. Koristeći se tom informacijom o omjeru između dijela sa tekstom i praznog dijela vrlo se jednostavno određuje prag (na osnovu histograma) tako da 1/p dio slike bude iznad praga a drugi dio ispod praga.

Tresholding-određivanje praga Višemodalna segmentacija Višemodalni histogram je histogram koji ima više od dva globalna maksimuma Slika tada sadrži nekoliko dominantnih nivoa amplituda (nekoliko vrsta objekata) Ako je razdioba dominantnih amplituda unaprijed poznata onda je lako odrediti pragove Ako je razdioba amplituda slike nepoznata sliku je moguće segmentirati raznim iterativnim metodama

Tresholding-određivanje praga Višemodalna segmentacija Tomita metoda Tomita je razvio rekurzivnu metodu gdje se u prvom koraku slika pragom dijeli u dvije regije U drugom koraku se računa histogram za svaku od regija i ako je histogram bimodalan regija se ponovo dijeli u dva dijela Ako je histogram unimodalan regija se ne dijeli Procedura se rekurzivno ponavlja sve dok se svi bimodalni histogrami ne eliminiraju i ostanu samo unimodalni histogrami (prema nekom kriteriju)

Tresholding-određivanje praga Višemodalna segmentacija

Segmentacija bazirana na rubovima engl. edge-based Segmenatacija bazirana na rubovima se zasniva na rubovima pronađenim uz pomoć raznih detektora – ti rubovi označavaju lokacije diskontinuiteta između nijansi, boja, teksture ili nečeg drugoga Najčešće se problemi kod ove segmentacije javljaju zbog šumova ili drugih vrsta loših informacija o slici a to su da se registrira rub gdje ne postoji ili da se ne registrira gdje on postoji Granice objekata se mogu izdvojiti metodama: Praćenje granice Interpolacije krivulja Hough-ova transformacija

Segmentacija bazirana na rubovima Praćenje granice Detekcija rubova je važna u analizi slika zato što rubovi određuju granice objekata i zato su korisni za segmentaciju registraciju i identifikaciju objekata na slici Rubovi su mjesta naglih promjena u vrijednosti točaka slike Zato je moguće koristiti gradijent funkcije za detekciju ruba

Segmentacija bazirana na rubovima Praćenje granice Gradijent funkcije dviju varijabli je vektor koji pokazuje smjer najbrže promjene funkcije f S obzirom na detekciju smjera ruba postoji podjela na gradijentne (u dva ortogonalna smjera) i kompas (u više smjerova) operatore

Segmentacija bazirana na rubovima Interpolacije krivulja Nekad je moguće točke rasporeda rubova (edge map) povezati metodama interpolacije da bi se dobila zatvorena kontura koja definira regiju Potrebno je razbiti konturu u dijelove koji se interpoliraju Za interpolaciju moguće je koristiti polinomske ili spline metode Jednostavni iterativni algoritam za interpolaciju krivulje linearnim segmentima je opisan u nastavku

Segmentacija bazirana na rubovima Interpolacije krivulja Početna i završna točka su A i B U svakom koraku mjeri se maksimalna pogreška i ako ona prelazi granicu onda se segment razbija u dva segmenta Postupak se ponavlja dok se ne postigne željena točnost

Segmentacija bazirana na rubovima Hough-ova transformacija HT se koristi za detekciju linija u slici Pravac se može opisati slijedećom jednadžbom: gdje je ρ udaljenost pravca od ishodišta a ϑ kut nagiba Hough transformacija pravca je točka u koordinatnom sustavu (ρ, ϑ) Familija pravaca koji prolaze kroz jednu točku se preslikava u skup točaka koje leže na sinusoidi

Segmentacija bazirana na rubovima Hough-ova transformacija Pravac se preslikava u točku Familija pravaca kroz točku se preslikava u sinusoidu

Segmentacija bazirana na rubovima Hough-ova transformacija Ako imamo tri kolinearne točke onda pravac na kojem one leže ima parametre sjecišta triju sinusoida Svaka sinusoida u parametarskom prostoru odgovara snopu pravaca određenog točkom

Segmentacija bazirana na rubovima Hough-ova transformacija Hough transformacija za segmentaciju magnetske rezonancije mozga na lijevu i desnu polutku

Segmentacija bazirana na rubovima Hough transformacija – primjer detekcije krugova (a) Originalna slika tamnog kruga (poznatog radijusa na svjetloj pozadini) (b) Za svaki tamni pixel određuje se moguće mjesto središta kruga sa krugom radijusa r i središtem u tom pixelu (c) Frekventnost pojavljivanja pixela određuje središte našeg kruga – najfrekventnije mjesto je središte i označava se sa • (d) Houghova transformacija točno detektira krug (označen sa •) čak i sa nekompletnim informacijama

Segmentacija bazirana na rubovima Hough-ova transformacija Hough transformacija—detekcija krugova, Originalna slika, Praćenje granice (vidimo da daje dosta loše rezultate), Parametarski prostor, Detektirani krugovi

Segmentacija bazirana na regijama engl. region based methods Cilj ovih metoda je identificirati dijelove slike koje imaju slične značajke Dvije karakteristične metode su: Izrastanje područja (region growing) Metoda dijeljenja i stapanja (split and merge) Za razliku od prethodnih metoda u kojima su se tražili rubovi između regija ove metode direktno određuju regije Ova metode je pogodnije su za slike koje imaju dosta šuma gdje je teško odrediti granice

Segmentacija bazirana na regijama Problem segementacije izrastanjem područja sastoji se u određivanju uniformnih skupina točaka slike (regija) Algoritmi za izrastanje područja uspoređuju svojstva neklasificirane točke s dotad segmentiranom regijom da bi odlučili da li točka pripada regiji ili ne Tehnike izrastanja područja mogu se podijeliti u tri grupe s obzirom na način uspoređivanja točaka: na osnovi sličnosti dvaju susjednih točaka na osnovi sličnosti okolina dvaju susjednih točaka na osnovi sličnosti točke i centroida regije

Izrastanje područja (region growing) Metode pomoću sličnosti točaka engl. single linkage region growing svaka točka slike predstavlja čvor grafa susjedne točke sličnih svojstava povezuju se granom segmenti slike su maksimalni skupovi točaka koje pripadaju jednoj povezanom skupu

Izrastanje područja (region growing) Metode pomoću sličnosti točaka Primjer Primjer gdje se točke smatraju sličnima ako je razlika vrijednosti manja od 5 Korišteno je 4-susjedstvo za definiciju povezanog područja

Izrastanje područja (region growing) Metode koje koriste sličnost okolina engl. hybrid-linkage region growing ove tehnike svakoj točki dodjeljuju vektor značajke koji ovisi o K×K susjedstvu te točke nekoliko pristupa koristi maske za detekciju ruba za označavanje točkaka koje pripadaju granici segmentirane regije su onda povezani skupovi neobilježenih točaka Problem: Ako je rub prekinut dolazi do povezivanja različitih regija

Izrastanje područja (region growing) Metode koje ispituju sličnost točke i regije engl. centroid-linkage region growing kod ovih metoda ne uspoređuju se susjedne točke Slikom se prolazi nekim redoslijedom i vrijednost točke se uspoređuje s srednjom vrijednosti dosad klasificiranih točaka u regiji

Izrastanje područja (region growing) Metode koje ispituju sličnost točke i regije Primjer Slikom se prolazi red po red Neka točka y predstavlja trenutnu poziciju i neka točke 1, 2, 3 i 4 pripadaju respektivnim regijama Točka y klasificira se u regiju i ako ima svjetlinu najbližu srednjoj vrijednosti točaka u regiji i Ako dvije regije imaju slične srednje vrijednosti onda se te dvije regije stope (spoje)

Dijeljenje i stapanje engl. split and merge Kod metode dijeljenja i stapanja koristi se prikaz slike pomoću kvartarnog stabla gdje se svaka grana dijeli u četiri grane (engl. quad tree) Inicijalna segmentirana regija je cijela slika Ako je regija neuniformna onda se razbija u četiri podregije Ako su četiri susjedne regije uniformne onda se stapaju u jednu regiju Uniformnost regije se mjeri npr. pomoću razlike svjetline najtamnije i najsvjetlije točke u regiji

Dijeljenje i stapanje

Traženje sličnosti Eng. matching Traženje sličnosti se može koristiti da se lociraju objekti za koje znamo kako izgledaju, da pronađemo specifične obrasce, itd.

Evaluacija segmentacije Evaluacija segmentacije je korisna kada trebamo izabrati jedan od više algoritama ili obabrati parametre za izabrani algoritam Nadzirana evaluacija uspoređuje rezultat koji daje algoritam i realno stanje Nadzirane evaluacije obično uspoređuju preklapanje površina ili udaljenost između granica—postoji više načina da se to izvede Često je realno stanje slabo definirano ili je skupo doći do njega. Nenadzirane metode ocjenjuju segmentaciju neovisno o njemu Postoje mnoge nenadzirane metode ali su obično ograničene pretpostavkama regija slike