Ψηφιακή Επεξεργασία Εικόνας Ενότητα # 7: Τμηματοποίηση εικόνας Ιωάννης Καρύδης Τμήμα Πληροφορικής

Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς.

Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα Ιονίου Πανεπιστημίου» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.

Ορισμός «Η διαδικασία διαχωρισμού μιας εικόνας σε κατάλληλες περιοχές ή αντικείμενα» Πολύ σημαντική στην ψηφιακή επεξεργασία εικόνας απαραίτητη προϋπόθεση για περαιτέρω επεξεργασία, ανάλυση, αναγνώριση λ.χ. οπτική αναγνώριση χαρακτήρων - OCR Πολλές εναλλακτικές δεν υπάρχουν σταθερές προδιαγραφές για την ποιότητα - αποτελεσματικότητα των αποτελεσμάτων

Μια «καλή» μέθοδος τμηματοποίησης Οι περιοχές που διαχωρίζει να είναι ομοιόμορφες & ομογενείς για ένα χαρακτηριστικό, λ.χ. τα επίπεδα του γκρι Το εσωτερικό των περιοχών πρέπει να είναι απλό λ.χ. χωρίς πολλές μικρές οπές Γειτονικές περιοχές πρέπει να έχουν σαφώς διαφορετικές τιμές του χαρακτηριστικού διαχωρισμού λ.χ. τα επίπεδα του γκρι Τα όρια των περιοχών πρέπει να είναι απλά, όχι απότομα & ακριβή

Κριτήρια επιλογής τεχνικής Ασυνέχεια (discontinuity) εξετάζει την απότομη μεταβολή τιμών pixel προσδιορισμός απομονωμένων σημείων, ακμών και καμπύλων Ομοιότητα (similarity) έλεγχος ομοιότητας ως προς 1 ή περισσότερα χαρακτηριστικά τμηματοποίηση κατοφλίου

Κατηγορίες τεχνικών τμηματοποίησης Κατωφλίου - πολυκατωφλίωσης Ταξινόμησης στοιχείων Μέθοδοι βασιζόμενες στα όρια περιοχών Μέθοδοι βασιζόμενες σε χαρακτηριστικά περιοχών & ομαδοποίησης Μέθοδοι βασιζόμενες σε σύγκριση προτύπων Ειδικές τεχνικές για τμηματοποίηση εικόνων υφής (texture images) Άλλες τεχνικές

Μερική κάλυψη εφαρμογών Τρέχουσες τεχνικές ΔΕΝ καλύπτουν όλες τις δυνατές εφαρμογές αποτελούν ερέθισμα για ανάπτυξη εξειδικευμένων τεχνικών για κάθε εφαρμογή λ.χ. επικαλυπτόμενα αντικείμενα & ενωμένοι χαρακτήρες είναι πολύ δύσκολο να διαχωρισθούν ικανοποιητικά

Κατωφλίωση & πολυκατωφλίωση εύρεση κατωφλίων (threshold): πολύ ισχυρή τεχνική τμηματοποίησης εικόνων επιπέδων γκρι Βασική υπόθεση: τα pixel του αντικειμένου ξεχωρίζουν από το παρασκήνιο λόγω αποχρώσεων αποτέλεσμα: προσδιορισμός 2 κύριων αποχρώσεων γκρι με χρήση μοναδικού κατωφλίου μετατροπή εικόνας σε δυαδική βολικό σε εικόνες με ξεκάθαρη διαφορά

Πολυκατωφλίωση Για περίπλοκες εικόνες Γενικά εύκολο χρήση πολλαπλών κατωφλιών Γενικά εύκολο προβλήματα στην επιλογή των κατωφλίων λόγω πολλών αποχρώσεων των αντικειμένων μικρών αντικειμένων αλληλεπικαλυπτόμενων αντικειμένων δυσκολία προσδιορισμού βέλτιστου πλήθους αποχρώσεων συνήθως θεωρείται δεδομένο εισόδου

Τεχνική πολυκατωφλίωσης Πρέπει να: είναι γενική & απλή μην περιορίζεται από τη μορφή του ιστογράμματος αξιοποιεί πρόσθετες πληροφορίες και όχι μόνο τη φωτεινότητα των pixel Συνδυασμός φωτεινότητας & τοπικών χωρικών χαρακτηριστικών

ΠμΙμΡΣ Πολυκατωφλίωση μέσω Ιστογράμματος με Ρητές Συναρτήσεις Πολυκατωφλίωση μέσω Ιστογράμματος με Ρητές Συναρτήσεις Συχνό φαινόμενο: τα αντικείμενα σε γκρι εικόνα να έχουν κοντινές φωτεινότητες λ.χ. σε κείμενα τα γράμματα μαύρα και το φόντο λευκό

Το πρόβλημα της ΠμΙμΡΣ Το ιστόγραμμα της προηγούμενης εικόνας έχει 2 λόφους (hills) & 1 κοιλάδα (valley) Τα pixel της κοιλάδας πού ανήκουν; Τιμή κατωφλιού Τ στην κοιλάδα ~50

Αποτέλεσμα ΠμΙμΡΣ 0.5 0.9 0.5 0.7 0.3 0.6 0.3

Πολυκατωφλίωση Εικόνες με αντικείμενα διαφορετικών φωτεινοτήτων Εικόνες με αντικείμενα διαφορετικών φωτεινοτήτων Πολλά επίπεδα κατωφλιού για n αντικείμενα, θα υπάρχουν n λόφοι και n-1 κοιλάδες n-1 κατώφλια Li:τα επίπεδα του γκρι

Η τεχνική Hill Clustering Τεχνική διαδοχικής ταξινόμησης λόφων ιστογράμματος τα pixel των λόφων θεωρούνται pixel των αντικειμένων υπολογίζει προσεγγιστικά τη θέση τω κυρίων κορυφών Είσοδος μέγιστο επιθυμητό αριθμό κατοφλιών

Εάν το μέγεθος του κελιού αυξηθεί κατά δύο και γίνει 3. Εάν (fi+1 > fi -1) και (fi +1 ≥ fi), τότε βάζουμε ένα βέλος δείχνοντας δεξιά. Εάν (fi +1 < fi -1) και (fi -1 ≥ fi), τότε βάζουμε ένα βέλος δείχνοντας αριστερά. Εάν το μέγεθος του κελιού αυξηθεί κατά ένα και γίνει 2. Εάν το μέγεθος του κελιού αυξηθεί κατά δύο και γίνει 3.

Εφαρμογή Hill Clustering

Μέθοδος Otsu Πολύ αποδοτική μέθοδος εύρεσης κατωφλιού Κριτήριο κατωφλιού μεγιστοποίηση διαχωριστικότητας μεταξύ σκοτεινών και φωτεινών περιοχών χρήση αθροιστικών ροπών 1ου & 2ου βαθμού Matlab I = imread(‘a_picture.jpg’); level = graythresh(I) ; BW = im2bw(I, level) ; imshow (BW);

Μέθοδος Otsu

Περισσότερες τεχνικές Μέθοδος Reddi Επέκταση της μεθόδου Otsu για πολυκατωφλίωση Μέθοδος Kapur πολυκατωφλίωση με κριτήριο την εντροπία χρήση σε εικόνες που ο εντοπισμός κοιλάδων & λόφων στα ιστογράμματα δεν είναι ξεκάθαρος εξαντλητική έρευνα κατωφλιών υπολογιστικά δαπανηρή

Περισσότερες τεχνικές Τεχνικές τοπικού κατωφλιού βασίζονται στην εκτίμηση, τοπικά για κάθε pixel ενός κατωφλιού υπολογίζουν χωρικά χαρακτηριστικά χρήση γειτονιάς - εκτίμηση μέσης & τυπικής απόκλισης φωτεινότητας χρήση κυρίως σε έγγραφα εικόνες με θόρυβο μειονέκτημα χρήση πολλών παραμέτρων χρήστη (διαφορετικές τιμές = διαφορετικά αποτελέσματα

Μείωση αποχρώσεων Χρήση αυτό-οργανούμενου νευρωνικού ταξινομητή Χρήση αυτό-οργανούμενου νευρωνικού ταξινομητή θεώρηση προβλήματος τύπου «εύρεσης κλάσεων» παράλληλη χρήση τοπικής-χωρικής πληροφορίας Χρήση αποτελεσματικού ταξινομητή για επιτυχή προσδιορισμό των κλάσεων Αυτό-οργανούμενα νευρωνικά δίκτυα λειτουργία χωρίς επίβλεψη - σύγκλιση στη βέλτιστη λύση

Μείωση αποχρώσεων Χρήση 2 αυτό-οργανούμενων νευρωνικών δικτύων Είσοδος Χρήση 2 αυτό-οργανούμενων νευρωνικών δικτύων δίκτυο ανάλυσης κύριων συνιστωσών (PCA) αυτό-οργανούμενος πίνακας απεικόνισης χαρακτηριστικών (SOFM) Είσοδος χρωματική πληροφορία, αντίθεση, χαρακτηριστικά υφής, κ.α.

Μείωση αποχρώσεων Το PCA αντιπροσωπεύει πολυπληθή σύνολα με ίσο ή μικρότερο σύνολο πρότυπων διανυσμάτων προσέγγιση αρχικού χώρου εισόδου διευκόλυνση διακριτότητας κλάσης SOFM Ταξινόμηση συνόλου διανυσμάτων σε 1-D ή 2-D πίνακα προσδιορισμός κέντρων κλάσεων χώρου χαρακτηριστικών χωρίς επίβλεψη

Μείωση αποχρώσεων Εκπαίδευση νευρωνικού ταξινομητή χρήση υποσυνόλου της εικόνας απόκτηση με fractal σάρωση - χρήση καμπύλης Hilbert

Μείωση αποχρώσεων Χρήση σάρωσης καμπύλης Hilbert = υπο- δειγματοληψία, επιτάχυνση αλγορίθμου Αλγόριθμος Καθορισμός επιθυμητών τελικών αποχρώσεων Καθορισμός είδους χαρακτηριστικών χώρου εισόδου Καθορισμός χρήσης νευρωνικού δικτύου PCA Καθορισμός παραμέτρων σάρωσης καμπύλης Hilbert Καθορισμός παραμέτρων εκπαίδευσης νευρωνικού ταξινομητή Εκπαίδευση νευρωνικού ταξινομητή Χρήση εκπαιδευμένου ταξινομητή για μετατροπή εικόνας

Μείωση αποχρώσεων χωρίς χρήση τοπικών χαρακτηριστικών αρχική χωρίς χρήση τοπικών χαρακτηριστικών αρχική με χρήση τοπικών χαρακτηριστικών

Γενική σύγκριση ιστόγραμμα αρχικής αρχική χωρίς χρήση τοπικών χαρακτηριστικών με χρήση τοπικών χαρακτηριστικών

Γενική σύγκριση Kapur Reddy Paintshop pro Papamarkos

Εκτίμηση βέλτιστου βαθμού αποχρώσεων Σημαντικό και δύσκολο πρόβλημα Λάθος εκτίμηση = επικάλυψη αντικειμένων ή αντικειμένου-φόντου Η ύπαρξη μόνο μιας τιμής απόχρωσης είναι σπάνια θόρυβος, σφάλματα υλικού = επιπλέον αποχρώσεις με αποκλίνουσες τιμές

Τέλος Ενότητας