Ανάλυση & Κωδικοποίηση Εικόνας και βίντεο Τοποθέτηση του Προβλήματος: Η Εικόνα είναι ένα σήμα μέσω του οποίου ο άνθρωπος προσλαμβάνει τις περισσότερες πληροφορίες από το περιβάλλον του! Η ευκολία με την οποία κατανοεί ο άνθρωπος τη σκηνή που περιέχεται σε μία Εικόνα ώθησε ώστε να αναπτυχθεί ο Κινηματογράφος και η Τηλεόραση αλλά και πολλές εφαρμογές που δημιουργούν εικόνες από τις οποίες αντλούνται πληροφορίες που απευθύνονται σε ειδικούς επιστήμονες, όπως ιατρούς τοπογράφους μετεωρολόγους κ.λ.π. Η διαχείριση της εικόνας από τον υπολογιστή και η διαβίβασή της μέσα από ψηφιακά δίκτυα δημιούργησε δύο βασικά προβλήματα! Στο πρώτο ζητείται να αντικατασταθεί η Εικόνα από ένα ψηφιακό record με όσο το δυνατόν λιγότερα bits, από το οποίο όμως θα είναι δυνατή η ανακατασκευή μιας Εικόνας με ασήμαντες διαφορές από της αρχική! Στο δεύτερο ζητείται να αντικατασταθεί η εικόνα από ένα ψηφιακό record από το οποίο θα είναι δυνατή η αναγνώριση της σκηνής που περιέχεται στην εικόνα. Η λύση στο πρώτο πρόβλημα δίνεται από την ‘Κωδικοποίηση της Εικόνας’, ενώ στο δεύτερο από την ‘Ανάλυση της Εικόνας’. Και οι δύο τεχνικές ξεκινούν με την ψηφιοποίηση της Εικόνας και συνήθως περιλαμβάνουν ανάλυσή (αποσύνθεσή) της με Μετασχηματισμό Fourier, Κυματιδίων, ή με Τράπεζες Φίλτρων. Η Εικόνα είναι ένα σήμα μέσω του οποίου ο άνθρωπος προσλαμβάνει τις περισσότερες πληροφορίες από το περιβάλλον του! Η ευκολία με την οποία κατανοεί ο άνθρωπος τη σκηνή που περιέχεται σε μία Εικόνα ώθησε ώστε να αναπτυχθεί ο Κινηματογράφος και η Τηλεόραση αλλά και πολλές εφαρμογές που δημιουργούν εικόνες από τις οποίες αντλούνται πληροφορίες που απευθύνονται σε ειδικούς επιστήμονες, όπως ιατρούς τοπογράφους μετεωρολόγους κ.λ.π. Η διαχείριση της εικόνας από τον υπολογιστή και η διαβίβασή της μέσα από ψηφιακά δίκτυα δημιούργησε δύο βασικά προβλήματα! Στο πρώτο ζητείται να αντικατασταθεί η Εικόνα από ένα ψηφιακό record με όσο το δυνατόν λιγότερα bits, από το οποίο όμως θα είναι δυνατή η ανακατασκευή μιας Εικόνας με ασήμαντες διαφορές από της αρχική! Στο δεύτερο ζητείται να αντικατασταθεί η εικόνα από ένα ψηφιακό record από το οποίο θα είναι δυνατή η αναγνώριση της σκηνής που περιέχεται στην εικόνα. Η λύση στο πρώτο πρόβλημα δίνεται από την ‘Κωδικοποίηση της Εικόνας’, ενώ στο δεύτερο από την ‘Ανάλυση της Εικόνας’. Και οι δύο τεχνικές ξεκινούν με την ψηφιοποίηση της Εικόνας και συνήθως περιλαμβάνουν ανάλυσή (αποσύνθεσή) της με Μετασχηματισμό Fourier, Κυματιδίων, ή με Τράπεζες Φίλτρων. Κατάτμηση Εικόνας με Βάση την Υφή Τμήμα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστημίου Αθηνών Τμήμα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστημίου Αθηνών Μανώλης Σαγκριώτης Αναπληρωτής Καθηγητής Δρακούλης Μαρτάκος Αναπληρωτής Καθηγητής Γιάννης Έλληνας Υποψήφιος Διδάκτορας Γιάννης Κονταξάκης Υποψήφιος Διδάκτορας Μανώλης Σαγκριώτης Αναπληρωτής Καθηγητής Δρακούλης Μαρτάκος Αναπληρωτής Καθηγητής Γιάννης Έλληνας Υποψήφιος Διδάκτορας Γιάννης Κονταξάκης Υποψήφιος Διδάκτορας Ο άνθρωπος με τα μάτια του βλέπει ένα ζεύγος εικόνων, οι οποίες διαφέρουν ελάχιστα, και από αυτές αποκτά την αίσθηση του τρισδιάστατου χώρου. Ένα τέτοιο ζεύγος καλείται στερεοσκοπικό ζεύγος εικόνων. Μια σειρά από τέτοιες εικόνες αποτελεί το στερεοσκοπικό video. Το στερεοσκοπικό video δημιουργείται τόσο για την ψηχαγωγία όσο και για να δώσει τη δυνατότητα στο χρήστη να αντλεί πληροφορίες και για τις 3 διαστάσεις της απεικονιζόμενης σκηνής. Η κωδικοποίηση στερεοσκοπικής εικόνας ή βίντεο μπορεί να πραγματοποιηθεί αποτελεσματικά με τη χρήση των ακολούθων μεθόδων περιοχής: • Ανάλυση των δύο εικόνων με μετασχηματισμό κυματιδίων (discrete wavelet transform-DWT). Εφαρμογή του μορφολογικού αλγορίθμου MRWD στις υποζώνες για τον σχηματισμό ομάδων συντελεστών (clusters) και πραγματοποίηση της διαδικασίας εξισορρόπησης ανομοιότητας μεταξύ όλων των συντελεστών, για τη δημιουργία ενός λεπτομερούς πεδίου ανομοιότητας. Τέλος, κωδικοποίηση εντροπίας της μίας εικόνας, της υπολειπόμενης εικόνας και των διανυσμάτων ανομοιότητας. • Ανάλυση της μίας εικόνας με τεχνική δέντρων (quad tree decomposition-QTD) και με κριτήριο την καλύτερη σχέση μεταξύ παραμόρφωσης και ρυθμού δεδομένων για την ανάλυση ενός μπλοκ σε τέσσερα μικρότερα μπλοκ. Εφαρμογή της διαδικασίας εξισορρόπησης με μπλοκ μεταβλητού μεγέθους για την επίετυξη ενός ομαλότερου πεδίου ανομοιότητας. Ανάλυση της μίας εικόνας και της υπολειπόμενης με DWT, κβάντιση, εφαρμογή του MRWD και κωδικοποίηση εντροπίας. • Η διαδικασία εξισορρόπησης ανομοιότητας πραγματοποιείται με το μοντέλο MRF/GRF (Markov random field/Gibbs distribution), το οποίο επιτυγχάνει ομαλότερο πεδίο ανομοιότητας επιβάλλοντας περιορισμούς τόσο στο πεδίο ανομοιότητας όσο και στο πεδίο αναντιστοιχίας (occlusion field). Ανάλυση της μίας εικόνας και της υπολειπόμενης με DWT, κβάντιση, εφαρμογή του MRWD και κωδικοποίηση εντροπίας. Η διαδικασία εξισορρόπησης ανομοιότητας στο στερεοσκοπικό βίντεο πραγματοποιείται σε κάθε πλαίσιο του ενός καναλιού με τη μέθοδο της συνδυασμένης παρεμβολής (interpolated motion and disparity compensation). Το πλαίσιο διαιρείται σε μπλοκ σταθερού ή μεταβλητού μεγέθους και η πρόβλεψη πραγματοποιείται με συνδυασμό της χρονικής (temporal) και χωρικής (spatial) πρόβλεψης των γειτονικών πλαισίων και του αντίστοιχου πλαισίου του άλλου καναλιού. Η μέθοδος αυτή περιλαμβάνει τη βέλτιστη επιλογή των διανυσμάτων κίνησης και ανομοιότητας, καθώς επίσης και τους βέλτιστους συντελεστές βάρους οι οποίοι καθορίζουν το ποσοστό συμμετοχής κάθε συμβαλλόμενου πλαισίου. Η διαδικασία εξισορρόπησης ανομοιότητας στο στερεοσκοπικό βίντεο πραγματοποιείται σε κάθε πλαίσιο του ενός καναλιού με τη μέθοδο της συνδυασμένης παρεμβολής (interpolated motion and disparity compensation). Το πλαίσιο διαιρείται σε μπλοκ σταθερού ή μεταβλητού μεγέθους και η πρόβλεψη πραγματοποιείται με συνδυασμό της χρονικής (temporal) και χωρικής (spatial) πρόβλεψης των γειτονικών πλαισίων και του αντίστοιχου πλαισίου του άλλου καναλιού. Η μέθοδος αυτή περιλαμβάνει τη βέλτιστη επιλογή των διανυσμάτων κίνησης και ανομοιότητας, καθώς επίσης και τους βέλτιστους συντελεστές βάρους οι οποίοι καθορίζουν το ποσοστό συμμετοχής κάθε συμβαλλόμενου πλαισίου. Κωδικοποίηση Στερεοσκοπικού Ζεύγους και Στερεοσκοπικού Video Μια από τις τεχνικές Ανάλυσης της Εικόνας είναι η κατάτμηση της με βάση την υφή. Για το σκοπό αυτό η αρχική εικόνα z αναλύεται με DWT σε σειρά από ‘υποεικόνες’, y 1, y 2,…,y L κάθε μία από τις οποίες περιέχει ένα διαφορετικό τμήμα του φάσματος της αρχικής. Μια από τις τεχνικές Ανάλυσης της Εικόνας είναι η κατάτμηση της με βάση την υφή. Για το σκοπό αυτό η αρχική εικόνα z αναλύεται με DWT σε σειρά από ‘υποεικόνες’, y 1, y 2,…,y L κάθε μία από τις οποίες περιέχει ένα διαφορετικό τμήμα του φάσματος της αρχικής. Η ενέργεια των pixels της κάθε υποεικόνας χρησιμοποιείται ως ουσιώδες χαρακτηριστικό για το διαχωρισμό των pixels περιοχών διαφορετικής υφής της αρχικής Εικόνας. Σε περίπτωση στις οποίες η υφή διαφορετικών περιοχών παρουσιάζουν συμμετρίες η DWT ανάλυση δίνει ίδια χαρακτηριστικά για διαφορετικές περιοχές υφής και ο διαχωρισμός γίνεται προβληματικός! Τότε χρησιμοποιούνται κατευθυντικά φίλτρα, τα οποία αναδεικνύουν τις υπάρχουσες διαφορές. Σε περίπτωση στις οποίες η υφή διαφορετικών περιοχών παρουσιάζουν συμμετρίες η DWT ανάλυση δίνει ίδια χαρακτηριστικά για διαφορετικές περιοχές υφής και ο διαχωρισμός γίνεται προβληματικός! Τότε χρησιμοποιούνται κατευθυντικά φίλτρα, τα οποία αναδεικνύουν τις υπάρχουσες διαφορές. Χρησιμοποιείται ένας Μετασχηματισμός ‘Προσεγγιστικής Πολλαπλής Διάκρισης’ (MDAT) για την ελάττωση των χαρακτηριστικών. Με την τεχνική αυτή μετασχηματίζεται η αρχική σειρά των χαρακτηριστικών σε μία νέα με μικρότερο αριθμό χαρακτηριστικών αλλά με παρόμοια διαχωριστική ικανότητα. Με τον MDAT το πρόβλημα του διαχωρισμού της υφής απλουστεύεται σε απλή κατωφλίωση ή σε διαδικασία συσσωμάτωσης με λίγες μεταβλητές! Μια από τις τεχνικές Ανάλυσης της Εικόνας είναι η κατάτμηση της με βάση την υφή. Για το σκοπό αυτό η αρχική εικόνα z αναλύεται με DWT σε σειρά από ‘υποεικόνες’, y 1, y 2,…,y L κάθε μία από τις οποίες περιέχει ένα διαφορετικό τμήμα του φάσματος της αρχικής. Μια από τις τεχνικές Ανάλυσης της Εικόνας είναι η κατάτμηση της με βάση την υφή. Για το σκοπό αυτό η αρχική εικόνα z αναλύεται με DWT σε σειρά από ‘υποεικόνες’, y 1, y 2,…,y L κάθε μία από τις οποίες περιέχει ένα διαφορετικό τμήμα του φάσματος της αρχικής. Η ενέργεια των pixels της κάθε υποεικόνας χρησιμοποιείται ως ουσιώδες χαρακτηριστικό για το διαχωρισμό των pixels περιοχών διαφορετικής υφής της αρχικής Εικόνας. Σε περίπτωση στις οποίες η υφή διαφορετικών περιοχών παρουσιάζουν συμμετρίες η DWT ανάλυση δίνει ίδια χαρακτηριστικά για διαφορετικές περιοχές υφής και ο διαχωρισμός γίνεται προβληματικός! Τότε χρησιμοποιούνται κατευθυντικά φίλτρα, τα οποία αναδεικνύουν τις υπάρχουσες διαφορές. Σε περίπτωση στις οποίες η υφή διαφορετικών περιοχών παρουσιάζουν συμμετρίες η DWT ανάλυση δίνει ίδια χαρακτηριστικά για διαφορετικές περιοχές υφής και ο διαχωρισμός γίνεται προβληματικός! Τότε χρησιμοποιούνται κατευθυντικά φίλτρα, τα οποία αναδεικνύουν τις υπάρχουσες διαφορές. Χρησιμοποιείται ένας Μετασχηματισμός ‘Προσεγγιστικής Πολλαπλής Διάκρισης’ (MDAT) για την ελάττωση των χαρακτηριστικών. Με την τεχνική αυτή μετασχηματίζεται η αρχική σειρά των χαρακτηριστικών σε μία νέα με μικρότερο αριθμό χαρακτηριστικών αλλά με παρόμοια διαχωριστική ικανότητα. Με τον MDAT το πρόβλημα του διαχωρισμού της υφής απλουστεύεται σε απλή κατωφλίωση ή σε διαδικασία συσσωμάτωσης με λίγες μεταβλητές! •ΣΧΕΤΙΚΑ ΑΡΘΡΑ •J. N. Ellinas, M. S. Sangriotis, “Stereo image compression using wavelet coefficients morphology”, Image and Vision Computing, vol. 22, no. 4, 2004, pp •J. N. Ellinas, M. S. Sangriotis, “Stereo video coding based on interpolated motion and disparity estimation”, EURASIP 3rd International Conference on Image and Signal Processing and. Analysis 2003; •J. N. Ellinas, M. S. Sangriotis, “Stereo video coding based on interpolated motion and disparity estimation”, EURASIP 3rd International Conference on Image and. Signal Processing and...Analysis 2003; •J. N. Ellinas, M. S. Sangriotis, “Stereo image coder based on MRF analysis for disparity estimation and morphological encoding”, 2 nd International Conference on 3D DPVT, Thessaloniki, •J. N. Ellinas, M. S. Sangriotis, “Stereo image coder based on MRF analysis for disparity estimation and morphological encoding”, 2 nd International Conference on 3D. DPVT, Thessaloniki, I. Kontaxakis, M. Sangriotis, D. Martakos, “Directional Analysis of Image Textures for Feature Extraction and Segmentation”, 3rd International Symposium on Image and Signal Processing and Analysis, Rome, September • I. Kontaxakis, M. Sangriotis, D. Martakos, “Directional Analysis of Image Textures for Feature Extraction and Segmentation”, 3rd International Symposium on Image and Signal Processing and Analysis, Rome, September •I. Kontaxakis, E. Sangriotis, D. Martakos, “Descriptor detecting the most nonuniform subimages in multiresolution texture segmentation procedure”, Electronics Letters, 2002, Vol 38, No 4, pp •I. Kontaxakis, E. Sangriotis, D. Martakos, “Descriptor detecting the most nonuniform subimages in multiresolution texture segmentation procedure”, Electronics Letters, 2002, Vol 38, No 4, pp •ΣΧΕΤΙΚΑ ΑΡΘΡΑ •J. N. Ellinas, M. S. Sangriotis, “Stereo image compression using wavelet coefficients morphology”, Image and Vision Computing, vol. 22, no. 4, 2004, pp •J. N. Ellinas, M. S. Sangriotis, “Stereo video coding based on interpolated motion and disparity estimation”, EURASIP 3rd International Conference on Image and Signal Processing and. Analysis 2003; •J. N. Ellinas, M. S. Sangriotis, “Stereo video coding based on interpolated motion and disparity estimation”, EURASIP 3rd International Conference on Image and. Signal Processing and...Analysis 2003; •J. N. Ellinas, M. S. Sangriotis, “Stereo image coder based on MRF analysis for disparity estimation and morphological encoding”, 2 nd International Conference on 3D DPVT, Thessaloniki, •J. N. Ellinas, M. S. Sangriotis, “Stereo image coder based on MRF analysis for disparity estimation and morphological encoding”, 2 nd International Conference on 3D. DPVT, Thessaloniki, I. Kontaxakis, M. Sangriotis, D. Martakos, “Directional Analysis of Image Textures for Feature Extraction and Segmentation”, 3rd International Symposium on Image and Signal Processing and Analysis, Rome, September • I. Kontaxakis, M. Sangriotis, D. Martakos, “Directional Analysis of Image Textures for Feature Extraction and Segmentation”, 3rd International Symposium on Image and Signal Processing and Analysis, Rome, September •I. Kontaxakis, E. Sangriotis, D. Martakos, “Descriptor detecting the most nonuniform subimages in multiresolution texture segmentation procedure”, Electronics Letters, 2002, Vol 38, No 4, pp •I. Kontaxakis, E. Sangriotis, D. Martakos, “Descriptor detecting the most nonuniform subimages in multiresolution texture segmentation procedure”, Electronics Letters, 2002, Vol 38, No 4, pp y2y2 y1y1 y1y1 y2y2 y3y3 y3y3 y4y4 y4y4 rectification smoothing K L T normalization procedure smoothing update K L T threshold segmented image y1y1 y4y4 y4y4 y4y4 y4y4 y2y2 y2y2 y3y3 y3y3 y7y7 y7y7 y7y7 y7y7 y5y5 y5y5 y6y6 y6y6 u v Ο κωδικοποιητής στερεοσκοπικής εικόνας αποτελείται από τη μονάδα εξισορρόπησης ανομοιότητας και τη μονάδα κωδικοποίησης. Η μονάδα εξισορρόπησης ανομοιότητας είναι κλειστού βρόγχου (closed loop) και έχει σαν σκοπό την πρόβλεψη της δεξιάς εικόνας με τη βοήθεια της ανακατασκευασμένης αριστερής εικόνας, η οποία χρησιμοποιείται σαν εικόνα αναφοράς. Έτσι, στον κωδικοποιητή ανακατασκευάζεται η εικόνα αναφοράς παρέχοντας μικρότερο σφάλμα κατά την ανακατασκευή στον αποκωδικοποιητή. Η εικόνα αναφοράς και η υπολειπόμενη εικόνα αναλύονται με DWT, κβαντίζονται και κωδικοποιούνται με το μορφολογικό αλγόριθμο MRWD και τον κωδικοποιητή εντροπίας. Τα διανύσματα ανομοιότητας κωδικοποιούνται με DPCM. Ο κωδικοποιητής στερεοσκοπικής εικόνας αποτελείται από τη μονάδα εξισορρόπησης ανομοιότητας και τη μονάδα κωδικοποίησης. Η μονάδα εξισορρόπησης ανομοιότητας είναι κλειστού βρόγχου (closed loop) και έχει σαν σκοπό την πρόβλεψη της δεξιάς εικόνας με τη βοήθεια της ανακατασκευασμένης αριστερής εικόνας, η οποία χρησιμοποιείται σαν εικόνα αναφοράς. Έτσι, στον κωδικοποιητή ανακατασκευάζεται η εικόνα αναφοράς παρέχοντας μικρότερο σφάλμα κατά την ανακατασκευή στον αποκωδικοποιητή. Η εικόνα αναφοράς και η υπολειπόμενη εικόνα αναλύονται με DWT, κβαντίζονται και κωδικοποιούνται με το μορφολογικό αλγόριθμο MRWD και τον κωδικοποιητή εντροπίας. Τα διανύσματα ανομοιότητας κωδικοποιούνται με DPCM. Τα δύο κανάλια του στερεοσκοπικού βίντεο, το κύριο και το βοηθητικό, έχουν GOP της μορφής IBBPBBPBB. Η πρόβλεψη των πλαισίων Β και Ρ του βοηθητικού καναλιού πραγματοποιείται με τη συνδυασμένη παρεμβολή των γειτονικών πλαισίων του ίδιου καναλιού (temporal) και του αντίστοιχου πλαισίου του κύριου καναλιού (disparity). Τα διανύσματα εκτίμησης της κίνησης και της ανομοιότητας, καθώς επίσης και οι συντελεστές βαρύτητας για τη συμμετοχή των πλαισίων κίνησης και του πλαισίου ανομοιότητας βελτιστοποιούνται, έτσι ώστε η ενέργεια του υπολειπόμενου πλαισίου να είναι η μικρότερη δυνατή. Τα δύο κανάλια του στερεοσκοπικού βίντεο, το κύριο και το βοηθητικό, έχουν GOP της μορφής IBBPBBPBB. Η πρόβλεψη των πλαισίων Β και Ρ του βοηθητικού καναλιού πραγματοποιείται με τη συνδυασμένη παρεμβολή των γειτονικών πλαισίων του ίδιου καναλιού (temporal) και του αντίστοιχου πλαισίου του κύριου καναλιού (disparity). Τα διανύσματα εκτίμησης της κίνησης και της ανομοιότητας, καθώς επίσης και οι συντελεστές βαρύτητας για τη συμμετοχή των πλαισίων κίνησης και του πλαισίου ανομοιότητας βελτιστοποιούνται, έτσι ώστε η ενέργεια του υπολειπόμενου πλαισίου να είναι η μικρότερη δυνατή. Ο κωδικοποιητής στερεοσκοπικής εικόνας αποτελείται από τη μονάδα εξισορρόπησης ανομοιότητας και τη μονάδα κωδικοποίησης. Η μονάδα εξισορρόπησης ανομοιότητας είναι κλειστού βρόγχου (closed loop) και έχει σαν σκοπό την πρόβλεψη της δεξιάς εικόνας με τη βοήθεια της ανακατασκευασμένης αριστερής εικόνας, η οποία χρησιμοποιείται σαν εικόνα αναφοράς. Έτσι, στον κωδικοποιητή ανακατασκευάζεται η εικόνα αναφοράς παρέχοντας μικρότερο σφάλμα κατά την ανακατασκευή στον αποκωδικοποιητή. Η εικόνα αναφοράς και η υπολειπόμενη εικόνα αναλύονται με DWT, κβαντίζονται και κωδικοποιούνται με το μορφολογικό αλγόριθμο MRWD και τον κωδικοποιητή εντροπίας. Τα διανύσματα ανομοιότητας κωδικοποιούνται με DPCM. Ο κωδικοποιητής στερεοσκοπικής εικόνας αποτελείται από τη μονάδα εξισορρόπησης ανομοιότητας και τη μονάδα κωδικοποίησης. Η μονάδα εξισορρόπησης ανομοιότητας είναι κλειστού βρόγχου (closed loop) και έχει σαν σκοπό την πρόβλεψη της δεξιάς εικόνας με τη βοήθεια της ανακατασκευασμένης αριστερής εικόνας, η οποία χρησιμοποιείται σαν εικόνα αναφοράς. Έτσι, στον κωδικοποιητή ανακατασκευάζεται η εικόνα αναφοράς παρέχοντας μικρότερο σφάλμα κατά την ανακατασκευή στον αποκωδικοποιητή. Η εικόνα αναφοράς και η υπολειπόμενη εικόνα αναλύονται με DWT, κβαντίζονται και κωδικοποιούνται με το μορφολογικό αλγόριθμο MRWD και τον κωδικοποιητή εντροπίας. Τα διανύσματα ανομοιότητας κωδικοποιούνται με DPCM. Τα δύο κανάλια του στερεοσκοπικού βίντεο, το κύριο και το βοηθητικό, έχουν GOP της μορφής IBBPBBPBB. Η πρόβλεψη των πλαισίων Β και Ρ του βοηθητικού καναλιού πραγματοποιείται με τη συνδυασμένη παρεμβολή των γειτονικών πλαισίων του ίδιου καναλιού (temporal) και του αντίστοιχου πλαισίου του κύριου καναλιού (disparity). Τα διανύσματα εκτίμησης της κίνησης και της ανομοιότητας, καθώς επίσης και οι συντελεστές βαρύτητας για τη συμμετοχή των πλαισίων κίνησης και του πλαισίου ανομοιότητας βελτιστοποιούνται, έτσι ώστε η ενέργεια του υπολειπόμενου πλαισίου να είναι η μικρότερη δυνατή. Τα δύο κανάλια του στερεοσκοπικού βίντεο, το κύριο και το βοηθητικό, έχουν GOP της μορφής IBBPBBPBB. Η πρόβλεψη των πλαισίων Β και Ρ του βοηθητικού καναλιού πραγματοποιείται με τη συνδυασμένη παρεμβολή των γειτονικών πλαισίων του ίδιου καναλιού (temporal) και του αντίστοιχου πλαισίου του κύριου καναλιού (disparity). Τα διανύσματα εκτίμησης της κίνησης και της ανομοιότητας, καθώς επίσης και οι συντελεστές βαρύτητας για τη συμμετοχή των πλαισίων κίνησης και του πλαισίου ανομοιότητας βελτιστοποιούνται, έτσι ώστε η ενέργεια του υπολειπόμενου πλαισίου να είναι η μικρότερη δυνατή. u v