Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Ψηφιακή Επεξεργασία Εικόνας και Video 2011-2012 1ΔΠΜΣ ΗΕΠ 2011-2012.

Παρόμοιες παρουσιάσεις


Παρουσίαση με θέμα: "Ψηφιακή Επεξεργασία Εικόνας και Video 2011-2012 1ΔΠΜΣ ΗΕΠ 2011-2012."— Μεταγράφημα παρουσίασης:

1 Ψηφιακή Επεξεργασία Εικόνας και Video 2011-2012 1ΔΠΜΣ ΗΕΠ 2011-2012

2 ΤΤι είναι η περίληψη βίντεο; Ένας τρόπος για γρήγορη αποτίμηση του περιεχομένου του βίντεο. ΠΠοιοι τρόποι υπάρχουν; Dynamic video skimming :κινούμενες εικόνες - video trailer Static video summary: στάσιμες εικόνες - storyboard Χαρακτηριστικά καρέ - Key frames 2ΔΠΜΣ ΗΕΠ 2011-2012

3  Που βρίσκει εφαρμογές;  Διαδικασία Browsing (Searching) Απαίτηση για γρήγορη περιήγηση στο περιεχόμενο του video.  Διαδικασία Retrieval Ανάκτηση ενός video, συγκεκριμένου περιεχόμενου, από ένα μεγάλο σύνολο videos.  Διαδικασία Indexing Απαίτηση για γρήγορη μετάβαση σε μια συγκεκριμένη περιοχή του video. 3ΔΠΜΣ ΗΕΠ 2011-2012

4 Ένα παράδειγμα Όλα τα βίντεο έχουν τίτλο ‘New Indians’. Ψάχνω αυτό που απεικονίζει τρένο.. 4ΔΠΜΣ ΗΕΠ 2011-2012

5 Χαρακτηριστικά storyboard  Συνέχεια: πρέπει η περίληψη να μη διακόπτεται  Προτεραιότητα: η περίληψη πρέπει να περιέχει τα αντικείμενα «υψηλής προτεραιότητας»  Επανάληψη: δε χρειάζεται να αναπαριστούμε τα ίδια γεγονότα ή αντικείμενα συνεχώς Δεν αρκεί να βρεθεί μια μέθοδος εξαγωγής χαρακτηριστικών καρέ, αλλά πρέπει να είναι και αποτελεσματική... 5ΔΠΜΣ ΗΕΠ 2011-2012

6  σκηνή (scene) καθορίζεται ως μια συλλογή από σημασιολογικά συσχετισμένα και χρονικά γειτονικά πλάνα, που απεικονίζουν και μεταβιβάζουν μια έννοια υψηλού επιπέδου – οι σκηνές διαχωρίζονται από σημασιολογικά όρια  πλάνο (shot) μια συνεχής ακολουθία από καρέ, καταγεγραμμένα από μία μόνο κάμερα  χαρακτηριστικό καρέ (key frame) είναι το καρέ που αναπαριστά το πιο αξιοπρόσεχτο οπτικό περιεχόμενο ενός πλάνου/βίντεο 6ΔΠΜΣ ΗΕΠ 2011-2012 Ορολογία βίντεο

7 7ΔΠΜΣ ΗΕΠ 2011-2012

8 Τρόποι εναλλαγής πλάνων (1)  Cut Πρόκειται για μετάβαση όπου το τελευταίο frame του προηγούμενου πλάνου ακολουθείται από το πρώτο frame του επόμενου πλάνου.  Fade Είναι η αργή μεταβολή στην φωτεινότητα (αύξηση ή μείωση) σε κάθε frame, με αποτέλεσμα την σταδιακή εμφάνιση (fade-in) ή την εξαφάνιση (fade-out) του πλάνου, από ή προς ένα μαύρο frame. 8ΔΠΜΣ ΗΕΠ 2011-2012

9 Τρόποι εναλλαγής πλάνων (2)  Dissolve Πρόκειται για έναν συνδυασμό fade-out και fade-in σε συνεχόμενα (χρονικά) πλάνα. Η φωτεινότητα του προηγούμενου πλάνου σταδιακά μειώνεται ενώ παράλληλα η φωτεινότητα του επόμενου πλάνου σταδιακά αυξάνει.  Wipe Το frame του προηγούμενου πλάνου με συγκεκριμένο σχήμα και κίνηση δίνει σταδιακά την θέση του στο frame του επόμενου πλάνου. http://www.mediacollege.com/video/editing/transition/types.html 9ΔΠΜΣ ΗΕΠ 2011-2012

10 Βασικές κατηγορίες μεθόδων εξαγωγής χαρακτηριστικών καρέ  Μέθοδοι δειγματοληψίας - Sampling based  Μέθοδοι εφαρμοζόμενες σε πλάνο - Shot based  Μέθοδοι ομαδοποίησης βίντεο – Clustering  Άλλες τεχνικές (π.χ. Xρήση VANTAGE points) • Τυχαία ή ομοιόμορφη δειγματοληψία από όλο το βίντεο • Μειονέκτημα: εξάρτηση απο χρονική διάρκεια πλάνων • Προϋπόθεση:κατάτμηση σε πλάνα • Χαρακτηριστικό καρέ:το 1 ο καρέ από κάθε πλάνο για παράδειγμα 10ΔΠΜΣ ΗΕΠ 2011-2012 • Αναφέρονται σε όλο το βίντεο – χωρίζουν τα καρέ σε ομάδες • Από κάθε ομάδα ένα αντιπροσωπευτικό καρέ

11 Περιγραφή εικόνας με : Ιστόγραμμα στον HSV χώρο  Γιατί επιλέγω αυτό το χαρακτηριστικό? -Χρωματική πληροφορία σημαντική -Σταθερό σε μικρές μεταβολές της κάμερας !  Γιατί εργάζομαι στον HSV χώρο? - Πιστότερη αναπαράσταση ως προς την ανθρώπινη αντίληψη - Πρότυπο MPEG7 Hue  χρώμα Saturation  κορεσμός (ποσότητα λευκού χρώματος) Value  φωτεινότητα ΔΠΜΣ ΗΕΠ 2011-201211

12 Το βίντεό μας... 12ΔΠΜΣ ΗΕΠ 2011-2012

13 Βασικές κατηγορίες μεθόδων εξαγωγής χαρακτηριστικών καρέ  Μέθοδοι δειγματοληψίας - Sampling based  Μέθοδοι εφαρμοζόμενες σε πλάνο - Shot based  Μέθοδοι ομαδοποίησης βίντεο – Clustering  Άλλες τεχνικές (π.χ. Xρήση VANTAGE points) 13ΔΠΜΣ ΗΕΠ 2011-2012

14 Μέθοδοι κατάτμησης του βίντεο σε πλάνα & εξαγωγής χαρακτηριστικών καρέ (Shot based) 1. Διαφορά ιστογραμμάτων μεταξύ διαδοχικών καρέ 2. Αθροιστική διαφορά ιστογραμμάτων 14ΔΠΜΣ ΗΕΠ 2011-2012

15 Διαφορά ιστογραμμάτων (1) Κατάτμηση του βίντεο σε πλάνα  Εικόνα  ιστόγραμμα  Καρέ που ανήκουν σε διαφορετικά πλάνα θα έχουν διαφορετικό περιεχόμενο  αντίστοιχα ιστογράμματα θα παρουσιάζουν διαφορές  Εφαρμογή κατωφλίου  Διαχωρισμός σε πλάνα 15ΔΠΜΣ ΗΕΠ 2011-2012

16 Διαφορά ιστογραμμάτων (2) 16ΔΠΜΣ ΗΕΠ 2011-2012

17 Διαφορά ιστογραμμάτων (3) Προβληματισμοί για την τάξη: 1. Εφαρμογή κατωφλίου ανεξάρτητη από το βίντεο? 2. Τι γίνεται στις μεταβάσεις που δεν είναι τύπου cut? Ερωτήματα για το εργαστήριο: 1. Ιστόγραμμα σε έγχρωμες εικόνες? 2. Bin size? 3. Μετρική απόστασης ιστογραμμάτων? 17ΔΠΜΣ ΗΕΠ 2011-2012

18 Διαφορά ιστογραμμάτων (4) Εξαγωγή χαρακτηριστικών καρέ  Eπιλογή 1 ου καρέ από κάθε πλάνο  Επιλογή ενός τυχαίου καρέ από κάθε πλάνο Το 1 ο καρέ του βίντεο κρατείται πάντα ως χαρακτηριστικό καρέ. 18ΔΠΜΣ ΗΕΠ 2011-2012

19 Διαφορά ιστογραμμάτων (5) Μειονεκτήματα:  Κατωφλιοποίηση  Όλα τα πλάνα θεωρούνται το ίδιο σημαντικά  Μεταβάσεις που δεν είναι τύπου cut και ανιχνευτούν θα δώσουν ‘’προβληματικό’’ χαρακτηριστικό καρέ 19ΔΠΜΣ ΗΕΠ 2011-2012

20 Αυτόματη περίληψη βίντεο – Ένα παράδειγμα 20ΔΠΜΣ ΗΕΠ 2011-2012

21 Αθροιστική διαφορά ιστογραμμάτων (1) Κατάτμηση του βίντεο σε πλάνα  Εικόνα  ιστόγραμμα  διαφορές διαδοχικών ιστογραμμάτων  Αθροιστικές διαφορές  αύξουσα συνάρτηση  Απότομες αλλαγές κλίσης δηλώνουν σημαντικές μεταβολές στο οπτικό περιεχόμενο (οξείες γωνίες)  Εφαρμογή κατωφλίου  Κατάτμηση σε πλάνα 21ΔΠΜΣ ΗΕΠ 2011-2012

22 Αθροιστική διαφορά ιστογραμμάτων (2) 22ΔΠΜΣ ΗΕΠ 2011-2012

23 Αθροιστική διαφορά ιστογραμμάτων (3) θiθi i i+1 i-1 καρέ απόσταση d 23ΔΠΜΣ ΗΕΠ 2011-2012 Καθορισμός γωνίας

24 Αθροιστική διαφορά ιστογραμμάτων (4) 24ΔΠΜΣ ΗΕΠ 2011-2012

25 Αθροιστική διαφορά ιστογραμμάτων (5) Εξαγωγή χαρακτηριστικών καρέ  Επιλογή χαρακτηριστικού καρέ ως το καρέ που βρίσκεται ανάμεσα σε δύο διαδοχικά ακρότατα. Στο 1 ο και στο τελευταίο καρέ του βίντεο θεωρώ ότι εμφανίζεται ακρότατο. 25ΔΠΜΣ ΗΕΠ 2011-2012

26 Αθροιστική διαφορά ιστογραμμάτων (6) Μειονεκτήματα:  Κατωφλιοποίηση – εξάρτηση από βίντεο  Μεταβάσεις τύπου dissolve μπορεί να μην ανιχνευτούν  κίνδυνος επιλογής χαρακτηριστικού καρέ στην μετάβαση 26ΔΠΜΣ ΗΕΠ 2011-2012

27  Shot based μέθοδοι έχουν πρόβλημα σε δυναμικά πλάνα  Εφαρμόζονται σε κάθε πλάνο του βίντεο  απαιτούν την κατάτμησή του σε πλάνα ΔΠΜΣ ΗΕΠ 2011-201227 Αποτίμηση...

28 Βασικές κατηγορίες μεθόδων εξαγωγής χαρακτηριστικών καρέ  Μέθοδοι δειγματοληψίας - Sampling based  Μέθοδοι εφαρμοζόμενες σε πλάνο - Shot based  Μέθοδοι ομαδοποίησης βίντεο – Clustering  Άλλες τεχνικές (π.χ. Xρήση VANTAGE points) 28ΔΠΜΣ ΗΕΠ 2011-2012

29 Ομαδοποίηση - Clustering ΔΠΜΣ ΗΕΠ 2011-201229

30 Ομαδοποίηση - Clustering ΔΠΜΣ ΗΕΠ 2011-201230

31 Μέθοδοι εξαγωγής χαρακτηριστικών καρέ (Clustering) Γενικά:  Για κάθε καρέ εξάγω χαρακτηριστικό.  Ομαδοποιώ -χρησιμοποιώντας κάποια μέθοδο- σε κλάσεις.  Από κάθε κλάση επιλέγω το κέντρο ως χαρακτηριστικό καρέ. ΔΠΜΣ ΗΕΠ 2011-201231

32 Μειονεκτήματα μεθόδων ομαδοποίησης βίντεο:  Καθορισμός αριθμού ομάδων –κλάσεων  Υπολογιστικό κόστος ΛΥΣΗ: VISTO ΔΠΜΣ ΗΕΠ 2011-201232 Μια λύση είναι το pre- sampling, δηλαδή εφαρμογή μεθόδου σε υποσύνολο.

33 Περίληψη βίντεο χρησιμοποιώντας την μέθοδο VΙsual STOryboard ΔΠΜΣ ΗΕΠ 2011-201233  Ο χρόνος υπολογισμού του storyboard καθώς και το μήκος της περίληψης μπορεί να καθοριστεί από το χρήστη!  Δημιουργία περίληψης σε πραγματικό χρόνο!

34 VIsual SΤΟryboard (1) Βήμα 1. εξαγωγή χαρακτηριστικού από την εικόνα Ιστόγραμμα στον HSV χώρο  αναπαράσταση κάθε εικόνας με ένα διάνυσμα Βήμα 2. επιλογή μετρικής απόστασης ανάμεσα σε δύο εικόνες-διανύσματα, έστω s, z Generalized Jaccard Distance : ΔΠΜΣ ΗΕΠ 2011-201234

35 VIsual SΤΟryboard (2) Bήμα 3. ομαδοποίηση – αριθμός κλάσεων Σκοπός είναι να χωριστούν σε ομάδες όλα τα καρέ του βίντεο, δηλαδή τα αντίστοιχα διανύσματα, χρησιμοποιώντας την μετρική απόστασης. Από κάθε κλάση θα επιλεγεί ένα καρέ ως key frame.  Αντιμετώπιση υπολογιστικού κόστους?  Καθορισμός αριθμού κλάσεων? ΔΠΜΣ ΗΕΠ 2011-201235

36 VIsual SΤΟryboard (3) Αντιμετώπιση υπολογιστικού κόστους: αλγόριθμος ομαδοποίησης γρήγορος. Βασική ιδέα Furthest Point First αλγόριθμου: -Αρχικό κέντρο = τυχαίο καρέ -Σε κάθε επανάληψη ο αλγόριθμος ‘γνωρίζει’ α) τα κέντρα που έχουν επιλεγεί β)την απόσταση κάθε καρέ από το κοντινότερο κέντρο ΔΠΜΣ ΗΕΠ 2011-201236 Υποδειγματοληψία..

37 VIsual SΤΟryboard (4) Βήματα αλγορίθμου σε κάθε επανάληψη:  Βρες το καρέ που έχει την μεγαλύτερη απόσταση από το κοντινότερό του κέντρο.  Θεώρησε αυτό το καρέ ως νέο κέντρο.  Επανυπολόγισε τις αποστάσεις των καρέ από τα νέα κέντρα πλέον.  Επανάλαβε μέχρις ότου βρεις όλα τα κέντρα. Πόσα κέντρα?? ΔΠΜΣ ΗΕΠ 2011-201237

38 VIsual SΤΟryboard (5) Καθορισμός αριθμού κλάσεων: -κράτησε 1 καρέ κάθε 10 -βρες αποστάσεις μεταξυ διαδοχικών καρέ -μεγάλη απόσταση  μεγάλη ανομοιότητα -αριθμός ‘κορυφών’ = αριθμός κλάσεων  αριθμός key frame ΔΠΜΣ ΗΕΠ 2011-201238 Εφόσον ο χρήστης δε θέλει να επιλέξει τον αριθμό των key frames Χρόνος εξαγωγής storyboard εξαρτάται από αριθμό κλάσεων

39 VIsual SΤΟryboard (5) Βήμα 4. Μετα-επεξεργασία storyboard - Post Processing - Αφαίρεση key frames που δεν έχουν νόημα, π.χ. μαύρα καρέ σε μεταβάσεις τύπου fade Βήμα 5. Αξιολόγηση storyboard - Mean Opinion Score 20 άτομα, βαθμολογία 1(bad) – 5 (excellent) ΔΠΜΣ ΗΕΠ 2011-201239

40 Βασικές κατηγορίες μεθόδων εξαγωγής χαρακτηριστικών καρέ  Μέθοδοι δειγματοληψίας - Sampling based  Μέθοδοι εφαρμοζόμενες σε πλάνο - Shot based  Μέθοδοι ομαδοποίησης βίντεο – Clustering  Άλλες τεχνικές - Xρήση VANTAGE points 40ΔΠΜΣ ΗΕΠ 2011-2012

41 Περίληψη βίντεο με χρήση Vantage Points  Εξαγωγή χαρακτηριστικών καρέ χωρίς να απαιτείται κατάτμηση του βίντεο σε πλάνα D.Besiris, N.Laskaris, F.Fotopoulou and G.Economou, ‘’Key frame extraction in video sequences: a vantage points approach’’, 2007 International Workshop on Multimedia Signal, pp. 434-437, Crete 2007 41ΔΠΜΣ ΗΕΠ 2011-2012

42 Vantage points (1)  Τα χαρακτηριστικά καρέ εξάγονται σύμφωνα με την αρχή της μεγαλύτερης ‘εξάπλωσης’ στο χώρο.  Eπιλογή χαρακτηριστικών καρέ, που είναι ομοιόμορφα κατανεμημένα στο χώρο.  Τα χαρακτηριστικά καρέ είναι αυτά που έχουν τη μέγιστη δυνατή απόσταση μεταξύ τους. 42ΔΠΜΣ ΗΕΠ 2011-2012

43 Vantage points (2) 43ΔΠΜΣ ΗΕΠ 2011-2012

44 Vantage points (3) Η μέθοδος: Εικόνα  εξαγωγή ιστογράμματος 1 ο key frame είναι ο vector median (διανυσματικός διάμεσος) 2 ο key frame είναι αυτό που απέχει περισσότερο από τον vector median Επόμενο key frame είναι αυτό που έχει την μεγαλύτερη απόσταση ΚΑΙ από τα 2 key frames … Ν οστο key frame είναι αυτό που έχει τη μεγαλύτερη απόσταση από όλα τα προηγούμενα Ν-1 key frames Κεντρικό σημείο: έχει το μικρότερο άθροισμα αποστάσεων από όλα τα υπόλοιπα 44ΔΠΜΣ ΗΕΠ 2011-2012

45 Vantage points (4)  Πότε σταματά ο αλγόριθμος? Όταν η απόσταση των χαρακτηριστικών καρέ γίνει μικρή  γειτονικά καρέ  όμοια... Όχι μειονέκτημα κατωφλιοποίησης! Συγκρίνω με την απόσταση που έχουν τα 2 πρώτα key frames ! 45ΔΠΜΣ ΗΕΠ 2011-2012

46 Αξιοπιστία αναπαράστασης (1) 1. Ανθρωποκεντρική προσέγγιση π.χ. Mean Opinion Score 2.Αντικειμενικές προσεγγίσεις 2.1 Πιστότητα (Fidelity) 2.2 Λόγος συμπίεσης (Compression Ratio) 46ΔΠΜΣ ΗΕΠ 2011-2012

47 Αξιοπιστία αναπαράστασης (2)  Πιστότητα (Fidelity) j : key-frame i≠j : frame d ij :απόσταση μεταξύ κάθε καρέ i και του χαρακτηριστικού καρέ j Επιθυμώ υψηλές τιμές του δείκτη! 47ΔΠΜΣ ΗΕΠ 2011-2012

48 Αξιοπιστία αναπαράστασης (3)  Λόγος συμπίεσης (Compression Ratio) NKF : αριθμός των key frames NF : ο αριθμός των frames Επιθυμώ υψηλές τιμές του δείκτη! 48ΔΠΜΣ ΗΕΠ 2011-2012

49 Θεωρία τέλος! Συνέχεια με την εργαστηριακή άσκηση! ΔΠΜΣ ΗΕΠ 2011-201249


Κατέβασμα ppt "Ψηφιακή Επεξεργασία Εικόνας και Video 2011-2012 1ΔΠΜΣ ΗΕΠ 2011-2012."

Παρόμοιες παρουσιάσεις


Διαφημίσεις Google