ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis Κατάτμηση Εικόνων: Κατάτμηση με βάση τις περιοχές Τμήμα Διδακτικής της Τεχνολογίας και Ψηφιακών Συστημάτων Πανεπιστήμιο Πειραιώς ΔΤΨΣ 150 – Ψηφιακή Επεξεργασία Εικόνας

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis ◊Περιεχόμενα Ενότητας ◊Εισαγωγή ◊Προσαρμοστική Κατωφλίωση ◊Κατάτμηση με Βάση της Περιοχές ◊Επέκταση περιοχών ◊Τεμαχισμός και Συνένωση ◊Βιβλιογραφία: ◊Πήτας [1999]: Κεφάλαιο 11 ◊Gonzales [2002]: Chapter 10, Section 10.4 ◊Gonzales [2004]: Chapter 10, Section 10.4 Περιεχόμενα – Βιβλιογραφία  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis ◊Κατάτμηση εικόνας με βάση τις ακμές μπορεί πρακτικά να εφαρμοστεί σε ειδικές περιπτώσεις εικόνων όπως εικόνες που αποτελούνται από γεωμετρικά σχήματα με αναλυτική μαθηματική περιγραφή, ή από αντικείμενα που συντίθενται από απλά γεωμετρικά σχήματα. ◊Κατάτμηση εικόνας με κατωφλίωση είναι αποτελεσματική όταν η εικόνα περιέχει λίγα και σχετικά μεγάλα αντικείμενα και επιπλέον όταν δεν υπάρχουν μεγάλες διακυμάνσεις στο φωτισμό. ◊Στην τελευταία περίπτωση μπορεί να εφαρμοστεί προσαρμοστική κατωφλίωση για την κατάτμηση της εικόνας ◊Η κατάτμηση εικόνας με βάση τις περιοχές είναι η πιο διαδεδομένη κατηγορία τεχνικών κατάτμησης. Εφαρμόζεται σε όλες τις περιπτώσεις και είναι σχεδόν η αποκλειστική μέθοδος για κατάτμηση έγχρωμων εικόνων. Οι τρεις βασικότερες τεχνικές κατάτμησης με βάση τις περιοχές είναι: ◊Η Συνένωση περιοχών (region merging) ◊Ο Τεμαχισμός και Συνένωση (region merging and splitting) περιοχών ◊Ο Μετασχηματισμός Watershed Εισαγωγή  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis ◊Σε πολλές περιπτώσεις υπάρχει σημαντική διακύμανση της φωτεινότητας σε όλη την έκταση της εικόνας. Όταν συμβαίνει κάτι τέτοιο ακόμα και αν η εικόνα περιέχει ένα και μόνο αντικείμενο είναι δύσκολο να το διαχωρίσεις επακριβώς από το φόντο, παρόλο που θεωρητικά μπορούν να εφαρμοστούν τεχνικές ολικής κατωφλίωσης. Προσαρμοστική Κατωφλίωση  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis ◊Ένα παράδειγμα επίδρασης της διακύμανσης φωτεινότητας φαίνεται στην εικόνα του σχήματος. ◊Από τη μορφή του ιστογράμματος κάτω αριστερά είναι προφανές ότι δεν μπορεί να εφαρμοστεί με επιτυχία ολική κατωφλίωση Προσαρμοστική Κατωφλίωση (II)  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis ◊Οι εικόνες στο κάτω μέρος δείχνουν το αποτέλεσμα της ολικής κατωφλίωσης στις εικόνες χωρίς και με διακύμανση φωτεινότητας αντίστοιχα. ◊Η τιμή του κατωφλίου είναι η βέλτιστη σύμφωνα με τον αλγόριθμο του Otsu (βλέπε εντολή graythresh στη Matlab) ◊Παρατηρούμε ότι στην εικόνα με διακύμανση φωτεινότητας ένα μεγάλο πλήθος από pixel που ανήκουν στο φόντο έχουν ταξινομηθεί εσφαλμένα ως pixel που ανήκουν στο αντικείμενο. Προσαρμοστική Κατωφλίωση (IIΙ)  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis ◊Για την αντιμετώπιση των προβλημάτων της διακύμανσης φωτεινότητας εφαρμόζεται η τεχνική της προσαρμοστικής κατωφλίωσης: ◊Η εικόνα χωρίζεται σε block n x n pixels (n 16x16 ◊Κάθε block ελέγχεται αν είναι block ορίου περιοχής (δηλαδή περιέχει μέρος του αντικειμένου και μέρος του φόντου). Κριτήριο ελέγχου είναι συνήθως μετρική της μορφής {std(block)/mean(block)}>T, όπου Τ συνήθως επιλέγεται ίσο 0.25 ◊Για τα block ορίου περιοχής εφαρμόζεται κατωφλίωση στα pixel τους ανάλογα με τη λογική της ολικής κατωφλίωσης ◊Τα υπόλοιπα block ταξινομούνται εξ ολοκλήρου ως block αντικειμένου ή block φόντου ανάλογα με τη μέση φωτεινότητα τους Προσαρμοστική Κατωφλίωση (IV)  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis ◊Παράδειγμα προσαρμοστικής κατωφλίωσης: ◊Πάνω αριστερά => αρχική εικόνα ◊Πάνω δεξιά => block ορίου περιοχής ◊Κάτω αριστερά => Ιστόγραμμα των block ορίου περιοχής. Τα pixel των block αυτών ταξινομούνται σε pixel αντικειμένου αν f(x,y)>80 και ως pixel φόντου σε διαφορετική περίπτωση ◊Τα υπόλοιπα block ταξινομούνται ολόκληρα ως block αντικειμένου αν η μέση φωτεινότητα τους είναι > 95 και ως block φόντου αλλιώς Προσαρμοστική Κατωφλίωση (V)  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis Κατάτμηση Εικόνας με βάση τις Περιοχές ◊Έστω R ολόκληρη η περιοχή της εικόνας και R i, i=1,…,n n ομοιόμορφες περιοχές αυτής. Η κατάτμηση με βάση τις περιοχές βασίζεται στις εξής αρχές: 1. Δηλαδή η ένωση των επιμέρους περιοχών πρέπει να καλύπτει ολόκληρη την περιοχή της εικόνας. 2.R i, i=1,…,n είναι μια ενωμένη περιοχή (δηλαδή από κάθε pixel που ανήκει στην R i μπορείς να φτάσεις σε οποιοδήποτε άλλο pixel που ανήκει στην R i χωρίς να διασχίσεις pixel που ανήκουν στο φόντο) 3. για κάθε i,j, i≠j 4.P(R i )=TRUE, i=1,…,n, 5.P(R i UR i )=FALSE, για κάθε γειτονικές περιοχές R i, R j, i≠j P(R i ) είναι μια συνθήκη ομοιομορφίας όσον αφορά τις τιμές των pixels της περιοχής R i. Παράδειγμα: όπου σ Ri και m Ri είναι η τυπική απόκλιση και μέση φωτεινότητα των τιμών των pixel στην περιοχή R i.  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis 1.Στην επέκταση περιοχών ξεκινάμε από κάποια σημεία της εικόνας (σημεία σπόροι – seed points) και ελέγχουμε τη συνθήκη ομοιότητας για όλα τα γειτονικά τους pixel. 2.Όποιο pixel ικανοποιεί τη συνθήκη ομοιότητας προσαρτάται στην περιοχή και η διαδικασία επαναλαμβάνεται μέχρι έως ότου να μην προσαρτηθεί κανένα νέο pixel στη περιοχή. 3.Η ίδια διαδικασία επαναλαμβάνεται για κάθε νέα περιοχή που θέλουμε να σχηματίσουμε 4.Παράδειγμα: Έστω ότι θέλουμε να διαχωρίσουμε την περιοχή του προσώπου από το φόντο σε μια φωτογραφία. 1.Επιλέγουμε ένα σημείο που να ανήκει στο πρόσωπο το οποίο θεωρούμε ως σπόρο (seed) 2.Ελέγχουμε τα γειτονικά pixel του σπόρου ως προς τη συνθήκη ομοιότητας. Προσθέτουμε στη περιοχή του προσώπου τα νέα pixel. 3.Επαναλαμβάνουμε το βήμα 2 για όλα τα γειτονικά pixel της ήδη σχηματισθείσας περιοχής μέχρι έως ότου η περιοχή να μην επεκτείνετε άλλο (κανένα από τα γειτονικά pixel δεν ικανοποιεί τη συνθήκη ομοιότητας) Επέκταση Περιοχών (Region Growing)  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis Τεμαχισμός και Συνένωση (Splitting and Merging)  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση 1.Ξεκινάμε θεωρώντας όλη την εικόνα ως μια περιοχή R. 2.Μοιράζουμε την εικόνα R σε τέσσερα τεταρτημόρια (quadtrees) R 1, R 2, R 3, R 4. 3.Kάθε περιοχή R i για την οποία δεν ισχύει η συνθήκη ομοιότητας P(R i ) διασπάται στα τέσσερα. 4.Ενώνουμε οποιεσδήποτε δυο γειτονικές περιοχές R i, R j, i≠j για τις οποίες P(R i UR i )=TRUE. 5.Τερματίζουμε τη διαδικασία όταν δεν μπορεί να γίνει άλλος τεμαχισμός ή συνένωση. 6.Μετά το τερματισμό εκτελούμε το τελικό βήμα συνένωσης: Ενώνουμε οποιεσδήποτε δυο γειτονικές περιοχές R i, R j, i≠j για τις οποίες P(R i UR i )=TRUE.

ΔΤΨΣ 150: Ψηφιακή Επεξεργασία Εικόνας © 2005 Nicolas Tsapatsoulis Σύνοψη ◊Η κατάτμηση με βάση τις περιοχές είναι η κλασική μέθοδος για κατάτμηση εικόνων οι οποίες περιέχουν πολλές ομοιόμορφες περιοχές όπως επίσης και για έγχρωμες εικόνες. ◊Οι βασικές τεχνικές κατάτμησης με βάση τις περιοχές είναι: ◊Η επέκταση περιοχών ◊Ο τεμαχισμός και η συνένωση περιοχών ◊Ο μετασχηματισμός Watershed ◊Σε αυτή την ενότητα εξετάσαμε τις δύο από τις τρεις παραπάνω τεχνικές. ◊Ο μετασχηματισμός Watershed είναι μια τεχνική που υπάγεται στο πεδίο της Μαθηματικής Μορφολογίας και είναι πέραν από το σκοπό του συγκεκριμένου μαθήματος ◊Ο τεμαχισμός και η συνένωση περιοχών είναι πιο εύκολα υλοποιήσιμη τεχνική από τη επέκταση περιοχών η οποία απαιτεί τον ορισμό σημείων που να λειτουργούν ως σπόροι (seeds). Η εύρεση τέτοιων σημείων δεν είναι πάντα εύκολη.  Εισαγωγή  Προσαρμοστική Κατωφλίωση  Κατάτμηση με Βάση της Περιοχές  Επέκταση περιοχών  Τεμαχισμός και Συνένωση