Ψηφιακές Τεχνολογίες Συνθετικής Εικόνας Δρ. Γεώργιος Παπαϊωάννου Τμήμα Εικονικής Πραγματικότητας Ίδρυμα Μείζονος Ελληνισμού Εργαστήριο Τρισδιάστατων Γραφικών Τμήμα Πληροφορικής & Τηλεπικοινωνιών Πανεπιστημίου Αθηνών 3 Μαρτίου 2003

Τεχνολογικές Περιοχές 2Δ / 3Δ Γραφικά Εισαγωγή Τεχνολογικές Περιοχές 2Δ / 3Δ Γραφικά … Η δημιουργία, ο χρωματισμός, η κίνηση, η αλληλεπίδραση και τελικά η απεικόνιση συνθετικών κόσμων και παραστάσεων σε μορφή ψηφιακής εικόνας

Τεχνολογικές Περιοχές VR Εισαγωγή Τεχνολογικές Περιοχές VR … είναι η αίσθηση του να βρίσκεσαι «εκεί», μέσα στον ψηφιακό κόσμο που έχεις δημιουργήσει

Τεχνολογικές Περιοχές ΑR Εισαγωγή Τεχνολογικές Περιοχές ΑR … είναι η συμβίωση και αλληλεπίδραση του πραγματικού κόσμου που αντιλαμβανόμαστε με τον εικονικό

Κατηγορίες Τεχνολογιών Εισαγωγή Δεδομένων Εικόνα, συντεταγμένες, κίνηση Μοντελοποίηση Δημιουργία ενός συνθετικού κόσμου Κίνηση Απεικόνιση Γραφικά πραγματικού χρόνου Φωτορεαλισμός Αλληλεπίδραση Εικονική Πραγματικότητα

Η Συνεισφορά των Δημιουργών Εισαγωγή Η Συνεισφορά των Δημιουργών Οι περισσότερες εξελίξεις στο χώρο των Γραφικών προέκυψαν από τις ανάγκες Της κινηματογραφικής βιομηχανίας Των στρατιωτικών εφαρμογών Των εφαρμογών ευρείας κατανάλωσης (κυρίως παιχνίδια) Σε όλες τις παραπάνω περιπτώσεις, η τεχνολογία αναπτύχθηκε από τους ανθρώπους που τη χρησιμοποίησαν

Ψηφιοποίηση Εισαγωγή Δεδομένων Η ψηφιοποίηση πραγματικών αντικειμένων, χώρων και εικόνων, είναι πολλές φορές ο μόνος τρόπος να αποδοθούν τα απεικονιζόμενα θέματα με πιστότητα

Πανοράματα με πληροφορία βάθους (layered depth images, Lumigraph) Ψηφιοποίηση Φωτογραφικές Μέθοδοι Με κατάλληλες τεχνικές από το χώρο της τεχνητής όρασης και των τριδιάστατων γραφικών μπορούν με βάση φωτογραφικό υλικό να δημιουργηθούν: Πανοράματα με πληροφορία βάθους (layered depth images, Lumigraph) Αδρά μοντέλα πραγματικών αντικειμένων με πλήρη και λεπτομερή πληροφορία χρώματος Χρήσιμες τεχνικές για εφαρμογές VR/AR διότι: Μικρό κόστος εξοπλισμού Δεν απαιτούν οι εφαρμογές μεγάλη ακρίβεια Πιστικό αποτέλεσμα

Ψηφιοποίηση Φωτογραφικές Μέθοδοι REALVIZ Image modeller

Ψηφιοποίηση 3D Scanning Όταν η ακρίβεια αναπαράστασης των μορφών είναι σημαντικό θέμα (π.χ. στην ψηφιοποίηση μακετών), τότε συνήθως χρησιμοποιείται η τεχνολογία της τρισδιάστατης σάρωσης για καταγραφή 3Δ συντεταγμένων Η επικρατέστερη τεχνολογία είναι η σάρωση με προβολή δομημένων οπτικών μορφών (light-striping, structured light scanners) Υπάρχει η δυνατότητα καταγραφής και της χρωματικής πληροφορίας του θέματος εκτός από τις συντεταγμένες

3D Scanning – Light striping & structured light Ψηφιοποίηση 3D Scanning – Light striping & structured light

3D Ψηφιοποιητές (3D digitisers) Ψηφιοποίηση 3D Ψηφιοποιητές (3D digitisers) Σε περιπτώσεις όπου η οπτική ψηφιοποίηση δε δουλεύει (γυαλί, κοίλα αντικείμενα) ή δε συμφέρει, μπορεί να χρησιμοποιηθεί και μηχανικός ψηφιοποιητής (touch probe)

3D Ψηφιοποίηση - Λογισμικό Σε όλες τις κατηγορίες συσκευών και τεχνικών εισόδου τρισδιάστατης πληροφορίας, απαιτείται ειδικό λογισμικό για: Τη συγχώνευση δεδομένων Δημιουργία επιφανειών από σύνολο σημείων Συνδυασμό εικόνας και συντεταγμένων Βελτιστοποίηση και καθαρισμό επιφανειών Εξαγωγή τρισδιάστατων σχημάτων σε αρχεία

Ψηφιακή Μοντελοποίηση Αποτελεί το βασικό μέσο εικαστικής δημιουργίας για συνθετικές ταινίες, εικόνες και διαδραστικές εφαρμογές (π.χ. παιχνίδια) Οι τεχνικές και η τεχνοτροπία σχεδίασης και απεικόνισης των 3D δεδομένων διαφέρουν ανάλογα με την εφαρμογή: Κινηματογραφική Βιομηχανία: Φωτορεαλισμός και εντυπωσιακά εφέ, υψηλή ανάλυση γεωμετρικών μοντέλων Διαδραστικές εφαρμογές και παιχνίδια: υπερβολικές μορφές, ελκυστικές απλές εικόνες και έμφαση στην απεικόνιση σε πραγματικό χρόνο

Ψηφιακή Μοντελοποίηση 70’s: Τα 3D γραφικά βρίσκουν εφαρμογή στον κινηματογράφο 80’s: Διαμορφώνονται οι τις τάσεις για τα εργαλεία γεωμετρικής μοντελοποίησης Εμπορικές εφαρμογές γενικής χρήσης Ολοκληρωμένα περιβάλλοντα μοντελοποίησης και κίνησης 90’s: Στροφή προς την αλληλεπίδραση και τα 3D γραφικά πραγματικού χρόνου σε μαζικό επίπεδο

Να ελαχιστοποιήσουν τους υπολογισμούς (=χρόνος) σχεδίασης Μοντελοποίηση Σημερινές Τάσεις Για τη μοντελοποίηση στατικών και κινούμενων αντικειμένων που προορίζονται για εικόνα χαμηλής ευκρίνειας, τα βασικά δομικά στοιχεία εξακολουθούν να είναι τα πολυγωνικά μοντέλα και οι παραμετρικές επιφάνειες Ειδικές τεχνικές δυναμικής διαμόρφωσης των τρισδιάστατων αντικειμένων έχουν επινοηθεί για: Να ελαχιστοποιήσουν τους υπολογισμούς (=χρόνος) σχεδίασης Να μην επηρεάζεται η ποιότητα της απεικονιζόμενης πληροφορίας

Μοντέλα Πολλαπλών Αναλύσεων Μοντελοποίηση Μοντέλα Πολλαπλών Αναλύσεων Για να παραστήσουμε με ρεαλισμό πολύπλοκους χώρους, όπως πόλεις με ανθρώπους, δάση κλπ, απαιτείται να ενσωματώσουμε σε αυτούς λεπτομερή μοντέλα Γίνεται μεγάλη σπατάλη πόρων, διότι πολλά από αυτά τα μοντέλα φαίνονται από μακριά ή από συγκεκριμένες οπτικές γωνίες και δεν είναι αισθητή η λεπτομέρειά τους Άρα, γιατί να απεικονίζουμε λεπτομέρεια που δεν φαίνεται; Λύση Μοντέλα πολλαπλών αναλύσεων Αντικατάσταση γεωμετρικής πληροφορίας από απλή εικόνα / φωτογραφία

Μοντελοποίηση επιλεκτική απεικόνιση διαδοχικά απλούστερων εκδόσεων του ίδιου αντικειμένου όσο αυτό απομακρύνεται από τον παρατηρητή Μικρότερη κάλυψη της εικόνας από το προβαλλόμενο αντικείμενο  μικρότερη ανάλυση μοντέλου

Δυναμικά Μοντέλα Πολλαπλών Αναλύσεων Μοντελοποίηση Δυναμικά Μοντέλα Πολλαπλών Αναλύσεων Ειδικά υπολογιστικά μοντέλα έχουν αναπτυχθεί για τον αυτόματο υποβιβασμό της ανάλυσης (ακόμα και τμημάτων) ενός μοντέλου Κύρια εφαρμογή η απεικόνιση γεωγραφικών περιοχών

Sprites και Billboards Μοντελοποίηση Sprites και Billboards Για επαναλαμβανόμενα πολύπλοκα αντικείμενα, πολλές φορές συμφέρει η αντικατάστασή τους από 2D εικόνες αυτών (billboards)

Υποδιαιρούμενες Επιφάνειες (Subdivision Surfaces) Μοντελοποίηση Υποδιαιρούμενες Επιφάνειες (Subdivision Surfaces) Επιτρέπουν τη μοντελοποίηση και κίνηση σύνθετων επιφανειών μεγάλης ακριβείας επιδρόντας σε χαμηλότερης ανάλυσης εκδόσεις αυτών

Μοντελοποίηση με Υφή (Fake Volumetric Textures) Χρήση πολλαπλών στρωμάτων από χρωματισμένες ημιδιαφανείς απλές επιφάνειες για προσομοίωση τυρβωδών επιφανειών (π.χ. γούνας)

Κίνηση – Κλασικές Τεχνικές Παραδοσιακά, η κίνηση των χαρακτήρων στο 3D animation δανειζόταν την τεχνική της σταδιακής παραμόρφωσης (key-framed warping) που προέρχεται από την stop frame τεχνική για μινιατούρες του σινεμά: Παράγονται διάφορες πόζες των μοντέλων και Η κίνηση παρεμβάλλεται μεταξύ αυτών των καρέ-κλειδιών για ολόκληρα τα μοντέλα Εναλλακτικά, μπορούσε να οριστεί κίνηση με παραμετρικό – μαθηματικό τρόπο Οι παραπάνω τεχνικές χρησιμοποιούνται ευρύτατα και έχουν καθιερωθεί

Κίνηση – Σκελετική Κίνηση Αντί σε κάθε καρέ κλειδί να κινούμε όλο το μοντέλο, το συνθέτουμε και το κινούμε σαν έναν οργανισμό: Εμφυτεύουμε μια ιεραρχία από «οστά» μέσα στο μοντέλο Συνδέουμε το μοντέλο με αυτά Κινούμε μόνο τα οστά Η κίνηση μεταδίδεται (με ανάλογα βάρη) στο κέλυφος των οστών, δηλαδή τη γεωμετρία του μοντέλου

Κίνηση – Σκελετική Κίνηση Κερδίζουμε σε Απλότητα και ελευθερία κίνησης Όγκο δεδομένων Έχουμε δυνατότητα να καταγράψουμε την κίνηση των οστών (motion capture) από πραγματική κίνηση ανθρώπων και ζώων με κατάλληλους αισθητήρες Διαδεδομένη τεχνική για φυσική κίνηση ανθρωπόμορφων μοντέλων

Ανίχνευση και διαχείριση συγκρούσεων Κίνηση Προσομοίωση Μεγάλο μέρος των μεθόδων κίνησης αφορούν στη σωστή προσομοίωση της κινητικής συμπεριφοράς αντικειμένων, χαρακτήρων και πληθυσμών: Ανίχνευση και διαχείριση συγκρούσεων Πλαστικές/ελαστικές παραμορφώσεις συστημάτων Μυϊκή προσομοίωση και προσαρμογή μοντέλων Προσομοίωση κινούμενου πλήθους Προσαρμογή και κίνηση ρούχων Μοντελοποίηση μαλλιών Ο κινηματογράφος και πάλι είναι αυτός που οδηγεί στις εξελίξεις και σε αυτό τον τομέα

Κίνηση Προσομοίωση Dreamworks Ice Age Dreamworks Antz

Σύγχρονες Τεχνολογίες Απεικόνισης RT Rendering Σύγχρονες Τεχνολογίες Απεικόνισης Απεικόνιση σε Πραγματικό Χρόνο: Τεχνάσματα και υλοποιήσεις ειδικών αλγορίθμων σε hardware Φωτορεαλιστική Απόδοση: Πιστή προσομοίωση μοντέλων φωτισμού και κίνησης με υψηλό υπολογιστικό κόστος

RT Rendering Real-time Rendering Η πρόοδος του hardware γραφικών επιτρέπει σήμερα την εκτέλεση δαπανηρών υπολογισμών φωτισμού και χρωματισμού πολύπλοκων επιφανειών σε πολύ γρήγορους ρυθμούς Ως αποτέλεσμα, η ποιότητα των απεικονιζόμενων γραφικών που την προηγούμενη δεκαετία θεωρούνταν κινηματογραφική, να μπορεί να απεικονιστεί σε πραγματικό χρόνο σε έναν τυπικό προσωπικό υπολογιστή πια!

RT Rendering Real-time Rendering

Real-time Rendering – Τεχνολογία Hardware RT Rendering Real-time Rendering – Τεχνολογία Hardware Η ολοένα αυξανόμενη λίστα από δυνατότητες των σημερινών επιταχυντών γραφικών περιλαμβάνει: Υπολογισμούς σκίασης σε κάθε pixel που σχεδιάζεται Hardware γεωμετρικούς μετασχηματισμούς Morphing Σκελετική κίνηση χαρακτήρων Πολλαπλά περάσματα χρώματος (lightmaps, detail textures) Μεγάλο δυναμικό εύρος παλέτας (48-128bits χρώμα) Απεικόνιση αναγλύφου Εξομάλυνση επιφανειών και γραμμών Έξυπνη απόκρυψη περιττών επιφανειών Προγραμματιζόμενα εφέ

Real-time Rendering – Τεχνολογία Software RT Rendering Real-time Rendering – Τεχνολογία Software Παράλληλα με την εξέλιξη του υλικού, το λογισμικό απεικόνισης (κυρίως game engines) έχει εξελιχθεί ώστε να παρέχει εργαλεία για: Σκιές σε πραγματικό χρόνο Δυναμικό φωτισμό Ιεραρχική δόμηση και κίνηση σκηνικών (κόσμων) Απλοποίηση σκηνικών Εφέ φωτισμού Απλοποιημένη οντολογική διαχείριση των αντικειμένων Προγραμματιζόμενη σκίαση (D3D 9, OpenGL2)

Real-time Rendering – Τεχνολογία Software RT Rendering Real-time Rendering – Τεχνολογία Software ID software Doom III screenshots

Φωτορεαλισμός: Η γέφυρα με την πραγματικότητα Έρευνα και νέες τεχνικές για: Ακριβή απόδοση φυσικού φωτισμού (skylight models, photon maps) Προσαρμογή θέσης κάμερας συνθετικού κόσμου στην πραγματική σκηνή του φιλμ (camera tracking) Προσαρμογή δυναμικού εύρους και εξισορρόπηση χρωμάτων συνθετικής εικόνας σε πραγματική φωτογραφία Επίδραση του φωτισμού του πραγματικού σκηνικού στο τεχνητό (δυναμικά light maps & environment maps)

Φωτορεαλισμός Mattes Colour calibration Camera tracking Photon maps Deep shadows Layered textures The Mummy

Επίλογος: Η Ελληνική Πραγματικότητα Καλό επίπεδο τεχνογνωσίας από πλευράς πληροφορικής Δε συναντάμε συχνά το πάντρεμα της τέχνης και της τεχνολογίας: Καλλιτέχνες και επιστήμονες δε συνεργάζονται Περιορισμένο κοινό => Κινηματογραφική «βιοτεχνία» μικρού προϋπολογισμού => φτωχές παραγωγές Κακής ποιότητας, ρηχή εκπαίδευση για τις μάζες Ουσιαστική συνεισφορά μόνο σε παραγωγές μικρού μήκους, κυρίως από το χώρο της διαφήμισης