Τμήμα Μηχανικών Πληροφορικής Τ.Ε. Αποκατάσταση Θολών Εικόνων ( Image Deblurring ) ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ ΤΟΥ ΣΙΔΗΡΟΠΟΥΛΟΥ ΠΑΝΑΓΙΩΤΗ Επιβλέπων καθηγητής: Στρουθόπουλος Χαράλαμπος 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Επισκόπηση Αρχική εικόνα - Υποβάθμιση ( Θόλωση ) - Αποκατάσταση Γραμμικά χρονικά αμετάβλητα ( LTI ) φίλτρα αποκατάστασης Αντίστροφο φιλτράρισμα Φιλτράρισμα ελάχιστου μέσου τετραγωνικού σφάλματος ( Wiener ) Φιλτράρισμα ελαχίστων τετραγώνων υπο περιορισμούς ( Regularised ) Μη-γραμμικά φίλτρα αποκατάστασης Αλγόριθμος των Lucy – Richardson Αλγόριθμος τυφλής αποσυνέλιξης ( Blind Deconvolution ) Ψηφιακή υλοποίηση φίλτρων - Matlab 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Εισαγωγή Υπολογίζουμε την βέλτιστη πιθανή εκτίμηση της αρχικής εικόνας από την υποβαθμισμένη εικόνα. Μία τυπική διαδικασία υποβάθμισης εικόνας έχει την μορφή: g (x,y) = f (x,y) ** h (x,y) + n (x,y) όπου g (x,y) : η υποβαθμισμένη εικόνα f (x,y) : η αρχική μας εικόνα h (x,y) : η συνάρτηση υποβάθμισης ( συνάρτηση κρουστικής απόκρισης ) n (x,y) : προσθετικος θόρυβος το σύμβολο ** αναφέρεται στην πράξη της διπλής συνέλιξης 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Θόλωση λόγο κίνησης Η διπλή συνέλιξη της f (x,y) με την h (x,y) μας δίνει μία εικόνα θολωμένη. Το θόλωμα αυτό μπορεί να προκληθεί απο πολλούς παράγοντες. Στην συγκεκριμένη εργασία και στην ψηφιακή υλοποίηση των φίλτρων, προσομοιώνουμε την θόλωση λόγο κίνησης. Αυτό μπορεί στην πραγματικότητα να κροκληθεί, όταν για παράδειγμα, μία φωτογραφική μηχανή κατά τη λήψη μίας εικόνας τραβήξει ένα αντικείμενο το οποίο βρίσκεται σε κίνηση. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Αποκατάσταση εικόνας - Γενικα Συνήθως χρειαζόμαστε : το μοντέλο της υποβάθμισης κάποια γνώση της αρχικής εικόνας το είδος προσθετικού θορύβου Σημείωση! Ακόμη και αν δεν έχουμε κάποια γνώση της αρχικής εικόνας μπορούμε εύκολα να εξάγουμε πληροφορίες από αυτήν, όπως είναι για παράδειγμα η φασματική πυκνότητα ισχύος και η συνάρτηση αυτο-συσχέτισης, οι οποίες είναι απλές στην μοντελοποίηση τους. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Γραμμικά χρονικά αμετάβλητα φίλτρα αποκατάστασης Το αρχικό μας πρόβλημα περιγράφεται απο το παραπάνω σύστημα. Ζητούμε λοιπόν την εύρεση της κρουστικής συνάρτησης w (x,y) ώστε να πάραxθεί η τελική εκτίμηση-αποκατεστημένη εικόνα ḟ (x,y) ḟ (x,y) = w (x,y) ** g (x,y) ḟ (x,y) = w (x,y) ** [ f (x,y) ** h (x,y) + n (x,y) ] 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Αντίστοφο φιλτράρισμα Η πιο απλή προσέγγιση που μπορούμε να πάρουμε κατα την αποκατάσταση μίας υποβαθμισμένης εικόνας ( βάση του συνελικτικού θεωρήματος ) είναι αυτή του αντίστροφου φιλτραρίσματος όπου: αν G (u,v) = F (u,v) · H (u,v) τότε Ḟ (u,v) = G (u,v) · 1 / H (u,v) με 1 / H (u,v) = W (u,v) Έτσι: Ḟ (u,v) = F (u,v) + N (u,v) / H (u,v) [ με προσθετικό θόρυβο ] Αντιλαμβανόμαστε λοιπόν πως: ακόμη και αν γνωρίζουμε την συνάρτηση υποβάθμισης, η συνάρτηση θορύβου μας είναι άγνωστη. θεωρόντας πως η H (u,v) λειτουργεί ως χαμηλοπερατό φίλτρο, μικρές τιμές της H (u,v) σε υψηλές συχνότητες ενισχύουν τον θόρυβο. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Φιλτράρισμα ελάχιστου μέσου τετραγωνικού σφάλματος ( Wiener ) Στην συγκεκριμένη τεχνική αποκατάστασης, θεωρούμε πως: το μοντέλο υποβάθμισης είναι το ίδιο με προηγουμένως G (u,v) = F (u,v) · H (u,v) + Ν (u,v) η εικόνα και ο θόρυβος είναι τυχαία στάσιμα στοχαστικά σήματα, τα οποία είναι μεταξύ τους στατιστικά ανεξάρτητα. Ζητούμε λοιπόν να βρούμε την συνάρτηση w (x,y) η οποία ελαχιστοποιεί το μέσω τετραγωνικό σφάλμα, δηλαδή: 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Φιλτράρισμα ελάχιστου μέσου τετραγωνικού σφάλματος ( Wiener ) συνέχεια... Αντικαθιστώντας το ḟ (x,y) στην προηγούμενη συνάρτηση, βρίσκουμε το μέσo τετραγωνικό σφάλμα, που έχει την μορφή: e2 = | W· H - 1 | 2 · Sf + | W |2 · Sn όπου Sf και Sn είναι η φασματική πυκνότητα ισχύος της εικόνας και του θορύβου ( μετασχηματισμός Fourier της συνάρτησης αυτοσυσχέτισης ) Παραγωγίζοντας την e2 ως προς w βρίσκουμε που ελαχιστοποιείται. Τέλος, καταλήγουμε στη συνάρτηση: 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Αποτελέσματα φίλτρου Wiener 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Φιλτράρισμα ελαχίστων τετραγώνων υπό περιορισμους ( Regularised ) Στην συγκεκριμένη τεχνική θεωρούμε: την εικόνα, τον θόρυβο και την συνάρτηση υποβάθμισης ως διανύσματα και πίνακες διανυσμάτων. η συνάρτηση υποβάθμισης είναι: g = H ·f + n όπου Η είναι ο πίνακας συνέλιξης της h η θόλωση της ḟ από το ίδιο το σύστημα θα μας δώσει την ġ Ζητούμε λοιπόν, η συνάρτηση w (x,y) να ελαχιστοποιεί το σφάλμα: e =g – ġ = g – H · ḟ και παράλληλα να μετριάσουμε την επίδραση του προσθετικού θορύβου προσδιορίζοντας την ελάχιστη μιας συνάρτησης κόστους: K (ḟ) = C · ḟ , όπου C είναι Ο τελεστής Laplace. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Φιλτράρισμα ελαχίστων τετραγώνων υπό περιορισμους ( Regularised ) συνέχεια... Προς επίλυση, χρησιμοποιούμε την μέθοδο των πολλαπλασιατών Lagrange, η οποία ορίζεται ως: Αναλύοντας τους δύο όρους και βρίσκοντας τις μερικές παραγώγους ως προς την ḟ, η συνάρτηση παίρνει την μορφή: Και λύνοντας ως προς ḟ καταλήγουμε στην τελική μορφή: 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Αποτελέσματα φίλτρου Regularised 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Μη γραμμικά φίλτρα αποκατάσταση εικόνας Οι προηγούμενες τεχνικές αποκατάστασης ήταν γραμμικές και εχουν τα πλεονεκτήματα πως: είναι απλές στην εφαρμογή τους χρειάζονται μέτρια υπολογιστική ισχύ Παρόλα αυτά, οι μη-γραμμικές τεχνικές έχουν κερδίσει αποδοχή στην αποκατάσταση και συχνά δίνουν καλύτερο αποτέλεσμα. Ωστόσο τα μειονεκτήματά τους είναι πως: χρειάζονται μεγαλύτερη υπολογιστική ισχύς η συμπεριφορά τους δεν είναι πάντα προβλέψιμη. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Αλγόριθμος Lucy - Richardson Ο συγκεκριμένος αλγόριθμος βασίζεται στην μέγιστη πιθανοφάνεια και τον κανόνα του Bayes, που ορίζεται ως: όπου: p (X) : το μοντέλο της εικόνας p (Y) : το μοντέλο της υποβαθμισμένης εικόνας p (X|Y) : η δεσμευμένη πιθανότητα p (Y|X) : η πιθανοφάνεια Όπως και στα προηγούμενα κεφάλαια, την θέση των Χ και Υ θα πάρουν τα διανύσματα Ḟ και G. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Αλγόριθμος Lucy – Richardson συνέχεια... Μία διατύπωση της πιθανοφάνειας για τα στατιστικά μεγέθη μιας εικόνας που περιγράφονται από μία κατανομή Poisson δίνεται ως: Δουλεύοντας με τον λογάριθμο της πιθανοφάνειας για ευκολία, η παραπάνω συνάρτηση μεγιστοποιείται, ελαχιστοποιόντας τον αρνητικό λογάριθμο. Δίνεται στην παραπάνω συνάρτηση το σύμβολο J (Ḟ) και την παραγωγίζουμε ως προς Ḟ. Για να έρθουμε στο επιθυμητό αποτέλεσμα,προσθέτουμε και μία παράμετρο ρḞ΄ και παρατηρούμε πως αλλάζει η συνάρτηση. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Αλγόριθμος Lucy – Richardson συνέχεια... Αναλύοντας, η συνάρτηση παίρνει την μορφή: Χρησιμοποιώντας και εφαρμόζοντας τους κανόνες του εσωτερικού γινομένου, το αποτέλεσμα της παραγώγου της παραπάνω συνάρτησης είναι: 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Αλγόριθμος Lucy – Richardson συνέχεια... Η παράγωγος της παραπάνω συνάρτησης γίνεται: Τελικώς, υποθέτοντας πως κατα τη σύγκλιση η αναλογία Fk+1 / Fk μας κάνει μονάδα, θέτουμε βήματα επαναλήψεων ως: 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Αποτελέσματα φίλτρου Lucy - Richardson 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Μέθοδος Τυφλής Αποσυνέλιξης ( Blind Deconvolution ) Στη συγκεκριμένη μέθοδο, δεν έχουμε στοιχεία της κρουστικής συνάρτησης. Εργαζόμαστε παρόλα αυτά με την μέγιστη πιθανοφάνεια που αναπτύχθηκε στην προηγούμενη μέθοδο. Για την εύρεση της κρουστικής συνάρτησης, αντικαθιστούμε στην τελική συνάρτηση της προηγούμενης ενότητας την h (x,y) με την ḟ (x,y) 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Μέθοδος Τυφλής Αποσυνέλιξης ( Blind Deconvolution ) Τέλος, εκτιμούμε την εικόνα σύμφωνα με τη συνάρτηση: Τελος, αξίζει να αναφέρουμε πως μία αρχική εκτίμηση της εικόνας ḟ 0 (x,y) και της κρουστικής συνάρτησης h0 (x,y) μας είναι αναγκαίες. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τ.Ε.Ι. Κεντρικής Μακεδονίας Αποτελέσματα φίλτρου Blind Deconvolution Κρουστική συνάρτηση 100 επαναλήψεων Αρχική κρουστική συνάρτηση 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας

Τέλος παρουσίασης Ακολουθεί η υλοποίηση των φίλτρων στο Matlab. Σας ευχαριστώ. 2017 - 2018 Τ.Ε.Ι. Κεντρικής Μακεδονίας