Ψηφιακή Επεξεργασία Εικόνας Ενότητα 4 : Δειγματοληψία και κβάντιση (Sampling and Quantization) Ιωάννης Έλληνας Τμήμα Η/ΥΣ ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα

Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 2

Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 3

Σκοποί ενότητας Σκοπός αυτής της ενότητας είναι να δείξει τον τρόπο και τη σημασία της κβαντοποίησης ενός σήματος ή μιας εικόνας. 4

Περιεχόμενα ενότητας  Δειγματοληψία μονοδιάστατου σήματος  Δειγματοληψία δισδιάστατου σήματος  Ιδανικό φίλτρο  Κβάντιση  Ομοιόμορφος κβαντιστής  Βέλτιστος κβαντιστής ελάχιστου μέσου τετραγωνικού σφάλματος  Συμπεράσματα  Dithering  Halftoning 5

Δειγματοληψία μονοδιάστατου σήματος: α s (t)=α(t)s(t) Σχήμα 4.1 Δειγματοληψία αναλογικού σήματος Δειγματοληψία μονοδιάστατου σήματος 6

Σχήμα 4.2 (α) Δειγματοληψία δισδιάστατου σήματος. (β) Fourier αρχικού σήματος. (γ) Fourier δειγματοληπτημένου σήματος. f xs =1/Δx και f ys =1/Δy Περιοδική επανάληψη φάσματος αρχικού σήματος Συνθήκη μη επικάλυψης f xs >2f xmax και f ys >2f ymax (4.1) ή Δx<1/2f xmax και Δy<1/2f ymax (4.2 ) Δειγματοληψία δισδιάστατου σήματος (1) 7

Για να μην υπάρχει επικάλυψη στο πεδίο των συχνοτήτων πρέπει το αρχικό σήμα, πριν το δειγματολήπτη, να περιοριστεί με ένα φίλτρο το οποίο καλείται φίλτρο αντι-επικάλυψης (anti- aliasing filter) και το οποίο έχει συχνότητες αποκοπής (f xs/2, f ys/2 ). Το ιδανικό φίλτρο θα έχει την εξής απόκριση: Σχήμα 4.3 (α) Ιδανικό φίλτρο με εύρος 2f xmax (β) Χρονική απόκριση Ιδανικό Φίλτρο (1) 8

Το ανακατασκευασμένο σήμα με τη βοήθεια του ιδανικού φίλτρου θα είναι: Η ανακατασκευή του αρχικού σήματος πραγματοποιείται με παρεμβολή (interpolation) απείρων σημείων. Επειδή πρακτικά ο αριθμός των σημείων για την ανακατασκευή είναι πεπερασμένος, συνήθως χρησιμοποιούνται φίλτρα των οποίων η χρονική απόκριση έχει πεπερασμένη διάρκεια ή να φθίνει γρήγορα, Σχήμα 4.4. Το εύρος του κύριου λοβού συναρτάται με την απώλεια ανάλυσης (resolution loss). Όσο πιο στενός είναι ο λοβός τόσο μεγαλύτερη είναι η απώλεια ανάλυσης δηλαδή μεγαλύτερη η εξασθένηση των υψηλών συχνοτήτων. Αυτό στην εικόνα γίνεται αντιληπτό σαν οξύτητα απεικόνισης. Ιδανικό Φίλτρο (2) 9

Ιδανικό Φίλτρο (3) Η τετραγωνική απόκριση έχει την μικρότερη απώλεια ανάλυσης. Το εμβαδόν των παράπλευρων λοβών συναρτάται με το σφάλμα απόδοσης (interpolation error). Όσο μεγαλύτερο είναι το εμβαδόν τους, τόσο μεγαλύτερο είναι το σφάλμα απόδοσης. Αυτό στην εικόνα γίνεται αντιληπτό σαν συνεχής τονική μεταβολή (smoothing). Η τετραγωνική απόκριση έχει το μεγαλύτερο σφάλμα. Η τριγωνική απόκριση (φίλτρο First Order Hold) είναι μια ικανοποιητική μέθοδος ανακατασκευής του αρχικού σήματος, γιατί προσφέρει εξισορρόπηση μεταξύ αυτών των δυο μεγεθών. 10

Σχήμα 4.4 (α) Φίλτρο με χρονική απόκριση τετραγωνική κυματομορφή (β) Φίλτρο με χρονική απόκριση τριγωνική κυματομορφή (γ) Φίλτρο με χρονική απόκριση πολυωνυμική κυματομορφή Ιδανικό Φίλτρο (4) 11

Το αναλογικό σήμα μετατρέπεται μέσω του δειγματολήπτη σε ένα αναλογικά μεταβαλλόμενο διακριτό σήμα, το οποίο με τη σειρά του μπορεί να μετατραπεί σε διακριτό ή ψηφιακό σήμα μέσω του κβαντιστή. Ο κβαντιστής είναι η διάταξη εκείνη η οποία αντιστοιχίζει τις τιμές του δειγματοληπτούμενου σήματος σε διακριτές στάθμες, Σχήμα 4.5. Εάν το σήμα εισόδου είναι μεταξύ των σταθμών t i και t i+1, τα οποία καλούνται μεταβατικές στάθμες (transition levels), η έξοδος του κβαντιστή είναι η στάθμη r i, η οποία καλείται στάθμη ανακατασκευής (reconstruction level). Σχήμα 4.5 Διαδικασία κβάντιση Κβάντιση (1) 12

Σχήμα 4.6 Ομοιόμορφος κβαντιστής και σφάλμα κβάντισης Κβάντιση (2) 13

Ομοιόμορφος κβαντιστής -Uniform quantizer (1) (4.4) Το βήμα κβάντισης (quantization step), q, εξαρτάται από το εύρος μεταβολής του σήματος εισόδου. Ο κβαντιστής δημιουργεί ένα σήμα σταθμών οι οποίες εμπεριέχουν το σφάλμα κβάντισης, με αποτέλεσμα το σήμα εισόδου να μην μπορεί να αναπαραχθεί. Σαν μέτρο επίδοσης ενόc κβαντιστή, δηλαδή ένας κβαντιστής με μικρό σφάλμα κβάντισης, λαμβάνεται ο λόγος μέσης τιμής ισχύων σήματος και θορύβου κβάντισης. 14

Ομοιόμορφος κβαντιστής -Uniform quantizer (2) O ομοιόμορφος κβαντιστής, ο οποίος χρησιμοποιείται συχνότατα στην ψηφιακή επεξεργασία εικόνας για την απλότητά του, έχει σταθερό βήμα κβάντισης. Το βήμα κβάντισης είναι (4.5) : όπου Ν ο συνολικός αριθμός σταθμών του κβαντιστή. Εάν η συνάρτηση κατανομής πιθανότητας ( probability distribution function ή pdf ) του σήματος εισόδου είναι : (4.6) 15

Ομοιόμορφος κβαντιστής -Uniform quantizer (3) Συνάρτηση Παράδειγμα

Παράδειγμα Λύση Ομοιόμορφος κβαντιστής -Uniform quantizer (4) 17

Παρατηρήσεις 1. Ένας ομοιόμορφος κβαντιστής έχει απόδοση 6 dB ανά bit για ομοιόμορφη κατανομή του σήματος εισόδου. 2. Όσο περισσότερες στάθμες έχει ο ομοιόμορφος κβαντιστής τόσο καλύτερη απόδοση έχει. 3. Για χαμηλής στάθμης σήματα εισόδου ο θόρυβος είναι ίδιος όπως και για μεγάλης στάθμης σήματα. Γι αυτό το λόγο δημιουργούνται οι μη γραμμικοί κβαντιστές (compandors=compressor και expandor) οι οποίοι έχουν περισσότερες στάθμες κβάντισης για τα χαμηλής στάθμης σήματα, άρα και μικρότερο θόρυβο. Η καμπύλη ενός τέτοιου κβαντιστή δείχνεται στην επόμενη διαφάνεια. Ομοιόμορφος κβαντιστής -Uniform quantizer (5) 18

Σχήμα 4.7 Μη γραμμικός κβαντιστής. (α) Compressor. (β) Expandor. Ομοιόμορφος κβαντιστής -Uniform quantizer (6) 19 (α)(β)

Ομοιόμορφος κβαντιστής -Uniform quantizer (7) Παράδειγμα 4.3 Ο ομοιόμορφος κβαντιστής είναι σταθερού ρυθμού μετάδοσης, δηλαδή κάθε pixel κβαντίζεται με τον ίδιο αριθμό bits. Είναι δυνατή η κβάντιση ενός μέρους των δειγμάτων εισόδου με περισσότερα bits/pixel και του άλλου μέρους με λιγότερα bits/pixel, έτσι ώστε κατά μέσον όρο να έχουμε τον ίδιο αριθμό bits/pixel. Ο ομοιόμορφος κβαντιστής αυτού του τύπου καλείται κβαντιστής μεταβλητού ρυθμού μετάδοσης και παρουσιάζει μικρότερη παραμόρφωση. Στο παράδειγμα 4.3 δημιουργείται μια είσοδος 1000 τυχαίων δειγμάτων στην περιοχή [0,1] και κβαντίζονται με ένα ομοιόμορφο κβαντιστή με 2 bits/pixel. Στη συνέχεια, η είσοδος χωρίζεται σε δυο περιοχές 500 δειγμάτων από τις οποίες η μια κβαντίζεται με 3 bits/pixel και η άλλη με 1 bit/pixel (μέσος όρος 2 bits/pixel ). Από τον υπολογισμό του SNR (λόγος σήμα προς θόρυβο ή παραμόρφωση) φαίνεται ότι ο κβαντιστής μεταβλητού ρυθμού έχει καλύτερη απόδοση. 20

Ομοιόμορφος κβαντιστής -Uniform quantizer (8) Όπου ο αριθμητής είναι η ισχύς του σήματος εισόδου και ο παρανομαστής το μέσο τετραγωνικό σφάλμα κβάντισης (mse-mean square error). Παρατηρήσεις Στο Matlab, ο αριθμητής μπορεί να υπολογιστεί και με τη συνάρτηση cov(x) (διασπορά ή variance). Για την καλύτερη απόδοση του κβαντιστή μεταβλητού ρυθμού μετάδοσης, τα περισσότερα bits πρέπει να διατίθενται σε εκείνη την περιοχή όπου το σήμα εισόδου έχει μεγαλύτερη ενέργεια. Έτσι, η περιοχή με τις μεγαλύτερες τιμές φωτεινότητας θα κβαντίζονται με περισσότερα επίπεδα και θα δίνουν μικρότερη παραμόρφωση. Στην περίπτωση του παραδείγματος, η περιοχή [0,median] κβαντίζεται με 3 bits/pixel ενώ η περιοχή [median,1] με 1 bit/pixel. Για να υπάρχει καλύτερη απόδοση πρέπει η ενέργεια της πρώτης περιοχής να είναι μεγαλύτερη από την ενέργεια της δεύτερης περιοχής ώστε να ελαχιστοποιείται το σφάλμα κβάντισης. 21

Ομοιόμορφος κβαντιστής -Uniform quantizer (9) 22

Παρατηρήσεις Οι στάθμες μετάβασης είναι στη μέση των σταθμών ανακατασκευής. Οι στάθμες ανακατασκευής είναι στο κέντρο βάρους της κατανομής μεταξύ των σταθμών μετάβασης. Οι βέλτιστες τιμές των, για κατανομές Gaussian και Laplacian, οι οποίες είναι πολύ συνηθισμένες στην ψηφιακή επεξεργασία εικόνας, δίνονται από πίνακες. Μια άλλη μέθοδος είναι ο επαναληπτικός προσδιορισμός των επιπέδων κβάντισης έτσι ώστε να προκύπτει κάθε φορά μικρότερη παραμόρφωση. Για σήμα εισόδου με ομοιόμορφη κατανομή, ο βέλτιστος κβαντιστής Lloyd- Max γίνεται ομοιόμορφος κβαντιστής. Βέλτιστος κβαντιστής ελαχίστου μέσου τετραγωνικού σφάλματος (1) 23

Βέλτιστος κβαντιστής ελαχίστου μέσου τετραγωνικού σφάλματος (2) Παράδειγμα 4.4 Η επαναληπτική μέθοδος υλοποίησης του βέλτιστου κβαντιστή Lloyd-Max βασίζεται στις προηγούμενες παρατηρήσεις: 1.Τα επίπεδα μετάβασης t k ευρίσκονται στο μέσον των επιπέδων ανακατασκευής (r k- 1, r k ). 2.Τα επίπεδα ανακατασκευής r k ευρίσκονται στο κέντρο βάρους (μέση τιμή) των δειγμάτων κάθε υποπεριοχής. Ο αλγόριθμος ξεκινάει με ένα ομοιόμορφο κβαντιστή και ρυθμίζει κάθε φορά τα επίπεδα σύμφωνα με τα παραπάνω. Στο παράδειγμα δημιουργείται μια είσοδος δειγμάτων με ομοιόμορφη κατανομή και εφαρμόζεται η συνάρτηση: lloyd_max ( x, a, b, N, k ) Όπου x η είσοδος, [a,b] η περιοχή της κατανομής των δειγμάτων εισόδου, Ν ο αριθμός των επιπέδων κβάντισης και k ο αριθμός των επαναλήψεων. Θέτουμε [a,b]=[0,1], Ν=4 και k=10. 24

Οι μέσες τιμές που υπολογίζονται από τα δείγματα σε κάθε υποδιάστημα κβάντισης (Μ 1, Μ 2, Μ 3, Μ 4 ) είναι τα επίπεδα ανακατασκευής r k. Η παραμόρφωση που δημιουργείται από την κβάντιση των δειγμάτων κάθε υποδιαστήματος υπολογίζεται σε σχέση με αυτές τις μέσες τιμές. Η μέση τιμή δυο διαδοχικών μέσων τιμών παρέχει το αντίστοιχο επίπεδο μετάβασης t k. Για παράδειγμα το t 2 υπολογίζεται ως: 1/2(Μ 1 +Μ 2 ). Το πρώτο και το τελευταίο επίπεδα μετάβασης δεν αλλάζουν. Βέλτιστος κβαντιστής ελαχίστου μέσου τετραγωνικού σφάλματος (3) 25

Βέλτιστος κβαντιστής ελαχίστου μέσου τετραγωνικού σφάλματος (4) Εάν δημιουργήσουμε μια ομοιόμορφη κατανομή και εφαρμόσουμε την παραπάνω συνάρτηση, προκύπτουν τα παρακάτω αποτελέσματα: SNR t2 t3 t >> u=rand(1,100000); >> x=u.^2; >> lloyd_max(x,0,1,4,10); 26

Βέλτιστος κβαντιστής ελαχίστου μέσου τετραγωνικού σφάλματος (5) Παρατηρούμε ότι σε κάθε επανάληψη το SNR γίνεται μεγαλύτερο και ταυτόχρονα τα επίπεδα κβάντισης μεταβάλλονται. Αυτή η διαδικασία επαναλαμβάνεται είτε για σταθερό αριθμό επαναλήψεων ή μέχρις ότου δεν υπάρχει περαιτέρω βελτίωση του SNR. 27

Η συνάρτηση με την οποία πραγματοποιήθηκε το παραπάνω παράδειγμα είναι η ακόλουθη. Βέλτιστος κβαντιστής ελαχίστου μέσου τετραγωνικού σφάλματος (6) 28

Η απόδοση των κβαντοποιητών, για κατανομή Gaussian, δίνεται από το Σχήμα 4.8. Ο κβαντιστής Lloyd-Max έχει καλύτερη απόδοση από τον βέλτιστο ομοιόμορφο κβαντιστή. Ο ελάχιστος αριθμός bits που απαιτούνται για μια μεταβλητή με κατανομή Gaussian είναι:, όπου το καλείται όριο Shannon Συμπεράσματα (1) 29

Συμπεράσματα (2) Στις μονοχρωματικές εικόνες χρησιμοποιούνται συνήθως ομοιόμορφοι κβαντιστές των 8 bits/pixel δηλαδή 256 αποχρώσεις του γκρι. Το pixel αντιπροσωπεύει τη φωτεινότητα. Σε αυτή την περίπτωση εάν η κβάντιση γίνει με 6 bits τότε παρατηρούνται περιοχές σταθερής απόχρωσης του γκρί και μεταξύ τους δημιουργούνται τα περιγράμματα (contours). Εάν η κβάντιση γίνει ως προς την αντίθεση (contrast), τότε απαιτούνται περίπου 6 bits για την μη εμφάνιση contours. Αποφυγή των contours μπορεί να γίνει εάν στο σήμα προστεθεί ομοιόμορφος θόρυβος, dither, πριν τον κβαντιστή για να υπερβεί το κατώφλι απόφασης και αργότερα αφαιρεθεί για να προκύψει το αρχικό σήμα. Ανάλογη με την προηγούμενη μέθοδο είναι και αυτή της δημιουργίας εικόνων μισού τόνου (halftone images) όπου το κάθε pixel φωτεινότητας του σήματος συνδυάζεται με ένα τυχαίο αριθμό και η τιμή αυτή κβαντίζεται έτσι ώστε να προκύψει ένα δυαδικό αρχείο (κβαντιστής 1 bit ). 30

Dithering (1) Εάν μια εικόνα κβαντιστεί με μικρό αριθμό επιπέδων, προκαλείται το φαινόμενο των περιγραμμάτων (contouring), το οποίο οφείλεται στο γεγονός ότι περιοχές με μικρή μεταβολή φωτεινότητας αποκτούν την ίδια τιμή μετά την κβάντιση. Το Σχήμα 4.9 δείχνει μια εικόνα η οποία έχει κβαντιστεί με 3 bits ή με 7 επίπεδα. Το φαινόμενο αυτό αρχίζει να παρουσιάζεται όταν η κβάντιση μιας εικόνας γίνεται με λιγότερα από 6 bits. Μια μέθοδος η οποία χρησιμοποιείται για να αποφευχθεί το φαινόμενο αυτό είναι τεχνική dithering. Σύμφωνα με την τεχνική αυτή, στην αρχική εικόνα προστίθεται θόρυβος (dither) με ομοιόμορφη κατανομή. Η εικόνα που προκύπτει κβαντίζεται με μικρότερο αριθμό bits και στη συνέχεια ο αρχικός θόρυβος αφαιρείται, για να προκύψει η τελική εικόνα στην οποία έχει ελαττωθεί το φαινόμενο των περιγραμμάτων. Το Σχήμα 4.10 δείχνει την εφαρμογή αυτής της τεχνικής στην προηγούμενη εικόνα. Ο θόρυβος που προστίθεται έχει ομοιόμορφη κατανομή στην περιοχή [-16,16]. 31

Σχήμα 4.9 Αρχική εικόνα και εικόνα μετά από κβάντιση με 3 bits. Dithering (2) 32

Dithering (3) 33

Σχήμα 4.10 (α) Eικόνα μετά από κβάντιση με 3 bits. (β) Εικόνα μετά την τεχνική dithering. Dithering (4) 34

Halftoning (1) Μια δυαδική εικόνα, η οποία αποτελείται από μεγάλο αριθμό άσπρων και μαύρων pixels, δίνει την εντύπωση ότι περιέχει και γκρι αποχρώσεις επειδή το ανθρώπινο μάτι πραγματοποιεί ολοκλήρωση μικρών περιοχών της εικόνας. Η τεχνική με την οποία μια εικόνα μετατρέπεται σε δυαδική εικόνα με την παραπάνω ιδιότητα καλείται halftoning. Η δυαδική εικόνα που προκύπτει με αυτή την τεχνική έχει πολύ μικρότερη ανάλυση για το ίδιο μέγεθος. Ο συνηθισμένος τρόπος δημιουργίας μιας τέτοιας δυαδικής εικόνας είναι η εφαρμογή γενικού ή τοπικού κατωφλίου δηλαδή η κβάντιση με 1 bit. Για παράδειγμα η εικόνα “woman”, η οποία έχει διαστάσεις 256Χ256, υπερδειγματοληπτείται σε εικόνα 512Χ512. Σε αυτήν προστίθεται ένας πίνακας 512Χ512, ο οποίος καλείται halftone screen, με δομή τέτοια ώστε να μην προκαλεί περιοδικότητα. Η εικόνα που προκύπτει κβαντίζεται με ένα κβαντιστή 1 bit. Το Σχήμα 4.11 δείχνει την εικόνα εξόδου, η οποία είναι δυαδική εικόνα αλλά δίνει την αίσθηση ότι περιέχει γκρι αποχρώσεις. 35

Μια άλλη τεχνική είναι η δημιουργία δυαδικών fonts (π.χ. 2Χ2), τα οποία αντικαθιστούν κάθε pixel της αρχικής εικόνας με κάποιο κριτήριο. Για να προκύψει τελική εικόνα με τις επιθυμητές διαστάσεις πρέπει η αρχική εικόνα να υποδειγματοληπτηθεί. Ο αριθμός των δυαδικών fonts εξαρτάται από τον επιθυμητό αριθμό των αποχρώσεων του γκρι που θα έχει η τελική εικόνα. Halftoning (2) 36

Σχήμα 4.11 (α) Αρχική εικόνα 256Χ256. (β) Εικόνα 512Χ512 με υπερδειγματοληψία.(γ) Εικόνα 512Χ512 μετά την τεχνική halftoning. (δ) Δυαδική εικόνα με επίπεδο κατωφλίου το 128. Halftoning (3) 37

Βιβλιογραφία 1.N. Η. Παπαμάρκος, “Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας”, Δημοκρίτειο, Ξάνθη Σ. Δ. Κόλλιας, “Επεξεργασία, Ανάλυση και Τεχνολογία Εικόνων και Βίντεο”, Σημειώσεις ΕΜΠ, Αθήνα I. Pitas, “Digital Image Processing Algorithms”, Prentice Hall, R. C. Gonzalez, R. E. Woods, “Digital Image Processing”, Prentice Hall, 2 nd Edition R. C. Gonzalez, R. E. Woods, S. L. Eddins, “Digital Image Processing Using MATLAB”, Prentice Hall. 6.A. K. Jain, “Fundamentals of Digital Image Processing”, Prentice Hall,

Τέλος Ενότητας