ΒΙΝΤΕΟ ΚΑΙ ΚΙΝΟΥΜΕΝΑ ΓΡΑΦΙΚΑ

Αντικείμενο μαθήματος Εισαγωγή Αναπαράσταση Βίντεο Ψηφιακό βίντεο Σύλληψη και Συμπίεση Πρότυπα βίντεο Επεξεργασία

Βίντεο και Κινούμενα Γραφικά “ … Since multimedia gives you the ability to present information in a variety of ways, let the content drive the selection of media for each chunk of information to be presented. Use traditional text and graphics where appropriate; add animation when “still life” won’t get your message across; add audio when further explanation is required; resort to video only when all other methods pale by comparison …” [David Ludwig, Interactive Learning Designs]

Τι είναι βίντεο??? Η ‘ψευδαίσθηση’ της κινούμενης εικόνας που προκαλείται από την ταχεία προβολή μιας σειράς ανεξάρτητων εικόνων. Οι (μικρές) διαφορές ανάμεσα στις εικόνες γίνονται αντιληπτές σαν κίνηση των στοιχείων της εικόνας. Η ταχύτητα προβολής πρέπει να ξεπερνά τις 40 εικόνες το δευτερόλεπτο Μικρότερη ταχύτητα προκαλεί την αίσθηση τρέμουλου (flickering)

Που χρησιμοποιείται το βίντεο?? Εκπαίδευση Κατάρτιση με Η/Υ (Αναπαράσταση εργασιακών πρακτικών ) Διαφήμιση & Προώθηση Προϊόντων Διασκέδαση Τηλεδιάσκεψη ΜΕΓΑΛΥΤΕΡΗ ΕΠΙΔΡΑΣΗ ΣΤΟ ΑΚΡΟΑΤΗΡΙΟ ΑΠΟ ΑΛΛΑ ΜΕΣΑ

Αναπαράσταση σήματος βίντεο - Ι Βασικές έννοιες Πλαίσια και γραμμές σάρωσης Αίσθηση του «βάθους» Φωτεινότητα (luminance) και Χρωματότητα (chrominance) Η διάσταση του χρόνου (διακοπή φωτός ανάμεσα σε frames) Συνέχεια της κίνησης «Τρεμόσβημα» (flicker)

Αναπαράσταση σήματος βίντεο - ΙI Αναλογικό Βίντεο Δομή σήματος Αποτελείται από πλαίσια Κάθε πλαίσιο αποτελείται από έναν αριθμό οριζόντιων γραμμών σάρωσης Υπάρχουν διαφορετικοί τρόποι αναπαράστασης χρωμάτων Ρυθμός πλαισίων Ο αριθμός των πλαισίων που παράγονται από ένα σήμα βίντεο ανά sec Τυπικές τιμές: 25-75 πλαίσια/sec Όχι τρεμόσβημα όταν > 40 πλαίσια/sec Ελάχιστο όριο για ανθρώπινο μάτι: 15 πλαίσια/sec Πλήθος γραμμών σάρωσης Σταθερό γιά όλα τα πλαίσια. Ρυθμός σάρωσης (scan rate): (# γραμμών σάρωσης) * (ρυθμός πλαισίων)

Αναπαράσταση σήματος βίντεο - ΙII Aspect ratio Πλάτος προς ύψος οθόνης  τυπικές τιμές 4:3 (TV), 2:1 (movies) Σύμπλεξη Τεχνική για μείωση των προβλημάτων που προκύπτουν από χαμηλό ρυθμό πλαισίων Τα πλαίσια χωρίζονται σε αυτά που αποτελούνται από τις «μονές» γραμμές σάρωσης και σε αυτά που αποτελούνται από τις «ζυγές» Κατά την παρουσίαση, πρώτα παρουσιάζεται στην οθόνη η πρώτη ομάδα, ακολουθούμενη από τη δεύτερη. Αυτό δίνει την εντύπωση ότι η ανανέωση (refresh) της οθόνης γίνεται σε διπλάσιο από τον πραγματικό ρυθμό. Ο παραπάνω ρυθμός σύμπλεξης λέγεται 2:1 (λόγω των δύο μερών στα οποία χωρίζεται ένα πλαίσιο) και είναι ο πιο συνηθισμένος

Κωδικοποίηση Χρωμάτων - Μοντέλα Κωδικοποίηση χρώματος σε ένα σήμα βίντεο Διάφορα μοντέλα (βλέπε γραφικά) Component Vs. Composite signal Περιπτώσεις μετάδοσης Ένα σήμα φωτεινότητας - luminance: brightness of pixel Δύο σήματα χρωματότητας - chrominance: color (hue) and depth of color (saturation) for a pixel Βασικά μοντέλα RGB (Red-Green-Blue) σήμα CRT displays YUV σήμα Το ανθρώπινο μάτι είναι πιό ευαίσθητο στην φωτεινότητα παρά στη χρωματότητα. Αντί να διαχωρίζουμε χρώματα (βλ. RGB), διαχωρίζουμε πληροφορία σχετική με τη φωτεινότητα (luminance channel Y) από εκείνη που σχετίζεται με τη χρωματότητα (chrominance channels U and V) YIQ σήμα Παρόμοια, luminance channel Y & chrominance channels I and Q

Τύποι σήματος αναλογικού βίντεο NTSC (National Television Systems Committee) Αμερικάνικο πρότυπο 525 γραμμές σάρωσης, 30 πλαίσια/sec Κάθε πλαίσιο χωρίζεται σε 2 πεδία (σύμπλεξη) από 262,5 γραμμές, από τις οποίες 20 χρησιμοποιούνται για πληροφορίες ελέγχου Επομένως, το οπτικό πεδίο αποτελείται από μόνο 485 γραμμές σάρωσης PAL (Phase Alternation Line) Ευρωπαϊκό πρότυπο 625 γραμμές σάρωσης (576 εικόνα), 25 πλαίσια/sec Κάθε πλαίσιο χωρίζεται σε 2 πεδία (σύμπλεξη) από 312,5 γραμμές 20% περισσότερες γραμμές σάρωσης σε σχέση με το NTSC SECAM (Sequential Couleur Avec Memoire) Γαλλικό πρότυπο Όπως το PAL, αλλά βασισμένο σε frequency (και όχι amplitude) modulation

Ψηφιακό Βίντεο - Ι Συνήθης αρχιτεκτονική (για raster display) CPU Peripheral Devices Surface Memory Video Controller Monitor System Bus Frame Buffer O video controller παρουσιάζει την εικόνα που υπάρχει στον frame buffer κάνοτας χρήση της μνήμης. Για επιτυχημένο refresh rate o VC σαρώνει τις γραμμές των frames (1 γραμμή ανά μονάδα χρόνου, τυπικά: 60 times/sec).

Ψηφιακό Βίντεο - ΙΙ Ρυθμός δεδομένων Υψηλός (επαγγελματική επεξεργασία, σχεδόν καθόλου συμπίεση) Χαμηλός (εφαρμογές με διάδραση ή/και μετάδοση σε μεγάλες αποστάσεις, χρήση τεχνικών συμπίεσης) Τύποι βίντεο χαμηλών ρυθμών δεδομένων DVI (Digital Video Interactive) Από την Intel, υιοθετημένο από την IBM MPEG (Moving Pictures Expert Group) ISO standard Κωδικοποίηση όχι μόνο βίντεο αλλά και ήχου JPEG (Joint Photographic Experts Group) Motion JPEG

Video Controller Standards CGA (Color Graphics Adapter) Ανάλυση 320 * 200 pixels, ταυτόχρονη παρουσία 4 χρωμάτων Storage capacity per image: (320*200 pixels) * (2 bits/pixel) / (8 bit/byte) = 16 Kbytes EGA (Enhanced Graphics Adapter) Ανάλυση 640 * 350 pixels, ταυτόχρονη παρουσία 16 χρωμάτων (640*350 pixels) * (4 bits/pixel) / (8 bit/byte) = 112 Kbytes VGA (Video Graphics Array) Ανάλυση 640 * 480 pixels, ταυτόχρονη παρουσία 256 χρωμάτων (640*480 pixels) * (8 bits/pixel) / (8 bit/byte) = 307,2 Kbytes SVGA (Super VGA) Ανάλυση 1024 * 768 pixels, 24 bits/pixel για χρώμα (1024*768 pixels) * (24 bits/pixel) / (8 bit/byte) = 2,36 Mbytes

Σύλληψη Βίντεο άμεσα από κάμερα έμμεσα από συσκευή εγγραφής video (Video Tape Recorder, VTR) από σταθμό εκπομπής

Συμπίεση Βίντεο 1 λεπτό true color video (3 bytes) με πλαίσιο 640480 και ρυθμό μετάδοσης 30fps απαιτεί χώρο αποθήκευσης: 640  480  3  30  60 = 1,65 Gbyte !!! Codecs (compressor – decompressors) συσκευές που χρησιμοποιούνται για την συμπίεση / αποσυμπίεση ψηφιακού βίντεο Hardware codecs Σύλληψη βίντεο και αποθήκευση στον Η/Υ Αναπαραγωγή (παίξιμο) στην οθόνη Software codecs Δεν απαιτούν την ύπαρξη ειδικού hardware Είναι συνήθως βραδύτεροι από τα hardware codecs Απαιτούν αποσυμπίεση και επανασυμπίεση του βίντεο

MPEG – Μoving Pictures Expert Group Χρησιμοποιείται για βίντεο και ήχο Διάφορα MPEG πρότυπα (MPEG-1, MPEG-2, MPEG-4, MPEG-7, …) Το MPEG-1 επιτυγχάνει ρυθμούς της τάξης των 1.2 Mbits/sec (τυπικός ρυθμός δεδομένων για CD-ROMs), ενώ το MPEG-2 ρυθμούς της τάξης των 40 Mbits/sec (τυπικός ρυθμός δεδομένων για HDTV) Στηρίζεται στην απωλεστική χωρική και χρονική συμπίεση Είναι κατάλληλο τόσο για συμμετρική όσο και ασύμμετρη συμπίεση

MPEG - Κωδικοποίηση εικόνας Πλαίσια-Ι (Intracoded frames), τα οποία είναι ακίνητες εικόνες Πλαίσια-P (Predictive-coded frames), τα οποία περιέχουν τις διαφορές (λόγω κίνησης) από τα αμέσως προηγούμενα I ή P στην ακολουθία των εικόνων. Πλαίσια-B (Bi-directionally predictive-coded frames), τα οποία κωδικοποιούνται σε συνάρτηση με πληροφορίες από προηγούμενα αλλά και επόμενα Πλαίσια-Ι ή/και Πλαίσια-Ρ (πρόκειται για παρεμβολές μεταξύ των Ι και P πλαισίων) Πλαίσια-D (DC-coded frames), στα οποία είναι κωδικοποιημένοι (intraframe-encoded) μέσω της μεθόδου DCT μόνο οι συντελεστές DC μιας εικόνας (οι συντελεστές AC παραλείπονται) και χρησιμοποιούνται για “fast forward” και “rewind” του βίντεο Στην ακολουθία των εικόνων τα I πλαίσια παρεμβάλλονται κάθε 10 ή 12 καρέ, ενώ τα Β δημιουργούνται (από το προηγούμενο και το επόμενο στην ακολουθία πλαίσια) σε τυχαία χρονικά διαστήματα

Πλαίσια I, P, B

Υβριδικές τεχνικές: ΜPEG - ΙΙΙ Κωδικοποίηση εικόνας (συν.) Η σειρά με την οποία τα διάφορα πλαίσια προβάλλονται δεν είναι κατ’ ανάγκη η ίδια με αυτή που αποκωδικοποιούνται Π.χ., αν ένα Πλαίσιο-Ρ πρέπει να προβληθεί μετά από ένα Πλαίσιο-Β και το πρώτο χρησιμοποιείται για την κωδικοποίηση του δευτέρου, τότε η σειρά αποκωδικοποίησης είναι αντίστροφη από αυτή της προβολής Σειρά προβολής B I P # 1 2 3 4 5 6 7 8 9 10 11 Σειρά αποκωδικοποίησης

Άσκηση Ένα σύστημα κωδικοποίησης βίντεο MPEG, χρησιμοποιεί την ακολουθία πλαισίων: Ι Β Β P B B P B B P B B I α) πόσο είναι το prediction span και το GOP; β)ποια είναι η σωστή σειρά αποκωδικοποίησης;

Digital Video File Formats Quicktime Quicktime Movie Video for Windows Avi MPEG Movie Picture Experts Group DV Firewire IEEE1349 Open DML OMF (Open Media File Format)

Επεξεργασία ψηφιακού βίντεο Μοντάζ Επεξεργασία πλάνων (κόψιμο, ράψιμο) Μεταβάσεις (transitions) Επικαλύψεις Μίξη ήχου Adobe Premiere, Ulead Media Studio Pro Post-Production Αλλαγές και διορθώσεις στο μονταρισμένο υλικό

Προετοιμασία για multimedia Μείωση του μεγέθους των πλαισίων Η εικόνα δεν καταλαμβάνει ολόκληρη την οθόνη Μείωση του ρυθμού μετάδοσης πλαισίων Από 30 fps σε 15 fps Μείωση του βάθους χρώματος Από 24 στα 8 bits Μείωση της ποιότητας της εικόνας Μεγαλύτερη συμπίεση

Κινούμενα Γραφικά Απεικόνιση κάποιων αντικειμένων καθώς μεταβάλλονται με το χρόνο Δημιουργία διαφορετικών μορφών για κάθε τέτοιο αντικείμενο Με φυσικό τρόπο (π.χ. συνεχής φωτογράφηση του) Με τεχνητό τρόπο (μέσω του κατάλληλου λογισμικού)

Μοντέλα Κινούμενων Γραφικών Cel Animation Βασίζονται στην παλιά τεχνική όπου η δημιουργία κινουμένων σχεδίων γινόταν μέσω της απεικόνισης ενός αντικειμένου σε πολλά ξεχωριστά κομμάτια χαρτί (συνήθως, ειδικές ζελατίνες – celluloid sheets) - Η μορφή του αντικειμένου διαφέρει λίγο από χαρτί σε χαρτί, και το γρήγορο «ξεφύλλισμά» τους δίνει την αίσθηση της κίνησης Μοντέλα με βάση τη σκηνή Τα κινούμενα γραφικά αποτελούνται από διαφορετικές σκηνές, που η μία αποτελεί (χρονική) συνέχεια της άλλης - Σχεδίαση γραφικών με βάση συγκεκριμένα χρονικά σημεία, και όχι με βάση κάποια γεγονότα Μοντέλα με βάση τα γεγονότα Η κάθε σκηνή δεν σχεδιάζεται από την αρχή, αλλά σαν διαφορά από την προηγούμενη Π.χ. αναπήδημα μιας μπάλας σε ένα δωμάτιο: «με βάση τη σκηνή», ένας αριθμός από διαφορετικά πλαίσια – «με βάση τα γεγονότα», ένα πλαίσιο μαζί με μια σειρά από αλλαγές σε αυτό

Μοντέλα Κινούμενων Γραφικών (συν.) Μοντέλα Πλαισίων – Κλειδιά Ορίζονται δύο ή περισσότερα πλαίσια-κλειδιά (π.χ., για την αρχική και τελική θέση της κίνησης ενός αντικειμένου), και το λογισμικό κατασκευάζει αυτόματα τα υπόλοιπα πλαίσια που απαιτούνται Μέθοδος παρεμβολής (interpolation) Ιεραρχικά Μοντέλα Επέκταση του προηγούμενου τύπου γραφικών. Εδώ, γίνεται επιπλέον ιεράρχηση των αντικειμένων που βρίσκονται στα πλαίσια-κλειδιά, καθορίζοντας ποια αποτελούν μέρη ποιών, και εισαγωγή περιορισμών που αφορούν την κίνηση ενός αντικειμένου σε σχέση με κάποιο άλλο Π.χ., ρολόι: οι δείκτες αποτελούν μέρος του, δεξιόστροφη κίνηση, κλπ.

Μοντέλα Κινούμενων Γραφικών (συν.) Διαδικαστικά Μοντέλα Το περιβάλλον δημιουργίας κινουμένων γραφικών είναι εφοδιασμένο με μια πλήρης γλώσσα προγραμματισμού (π.χ., ASAS, βασισμένη στη LISP) Εντολές εκλογής υπό συνθήκη, επανάληψης κλπ. αλλά και ειδικές εντολές του τύπου «κλείσε/άνοιξε πόρτα», «πέτα μπάλα», κλπ. (αυτόματη δημιουργία των σχετικών κινήσεων, τροχιών κλπ.) Εμπειρικά και Φυσικά Μοντέλα Για απεικόνιση φυσικών αντικειμένων (π.χ., σύννεφα, κύματα, κλπ.) Η κίνησή τους υπολογίζεται από τα αντίστοιχα φυσικά μοντέλα

Επεξεργασία Κινούμενων Γραφικών Έλεγχος κίνησης και παραμέτρων Αντίθετα με τις εικόνες και τα (ακίνητα) γραφικά, εδώ έχουμε μεταβολή πλαισίων με την πάροδο του χρόνου Καθορισμός της διαφοροποίησης της κίνησης ενός αντικειμένου ή κάποιας άλλης ιδιότητάς του (π.χ., η σκιά ενός αντικειμένου καθώς αυτό κινείται σε σχέση με μια πηγή φωτός) Μετατροπή σε βίντεο Με τη γνωστή μέθοδο της δειγματοληψίας, επιτυγχάνεται μετατροπή των κινούμενων γραφικών σε βίντεο Για ικανοποιητική ποιότητα, χρειάζονται τουλάχιστον 10-15 πλαίσια/sec Παραγωγή βίντεο σε πραγματικό (καθώς προβάλλονται τα πλαίσια) ή μη πραγματικό χρόνο (όπου δίνεται παραπάνω χρόνος σε μεμονωμένα πλαίσια) Αναπαραγωγή Κατά την αναπαραγωγή («παίξιμο») των κινουμένων γραφικών, είναι δυνατόν να υποβληθούν τα πλαίσια σε περαιτέρω επεξεργασία Περισσότερος ή λιγότερος φωτισμός, εξαφάνιση ή εμφάνιση κάποιων αντικειμένων, κλπ.