Ανάκτηση 3Δ Μοντέλων βάσει Περιεχομένου: Μια Υβριδική Προσέγγιση Παπαδάκης Παναγιώτης
Δομή Παρουσίασης Εισαγωγή Περιγραφή της Υβριδικής προσέγγισης Κανονικοποίηση θέσης Υπολογισμός 2Δ χαρακτηριστικών Υπολογισμός 3Δ χαρακτηριστικών Συμπίεση χαρακτηριστικών Σύγκριση χαρακτηριστικών Αξιολόγηση - Αποτελέσματα Επίδειξη μεθόδου
Εισαγωγή Εξελιγμένα εργαλεία λογισμικού Εξάπλωση του διαδικτύου Πρόοδος τεχνολογίας 3Δ σάρωσης Αριθμός 3Δ μοντέλων Αναζήτηση με χρήση λέξεων κλειδιών => ανεπαρκής. «Μια εικόνα είναι 1000 λέξεις» Ένα 3Δ σχήμα; Ανάγκη ανάπτυξης μεθόδων ανάκτησης 3Δ μοντέλων βάσει περιεχομένου
Εισαγωγή Μέθοδοι ανάκτησης 3Δ μοντέλων βάσει περιεχομένου Βήματα: Υποβολή παραδείγματος – query 3Δ μοντέλου από το χρήστη. Εξαγωγή χαρακτηριστικών που περιγράφουν το σχήμα του query και ενσωμάτωση της πληροφορίας σε ένα περιγραφέα 3Δ σχήματος. Μέτρηση ομοιότητας των μοντέλων χρησιμοποιώντας τους αντίστοιχους περιγραφείς σχήματος. Προβολή αποτελεσμάτων αναζήτησης.
Περιγραφή της Υβριδικής Προσέγγισης Κανονικοποίηση θέσης (1) Κατά τη σύγκριση 3Δ μοντέλων, θεωρούμε ότι το μέτρο ομοιότητας είναι ανεξάρτητο από το μέγεθος, τη μετατόπιση και τον προσανατολισμό του μοντέλου. Κάθε μοντέλο κανονικοποιείται ως προς τη θέση του πριν την εξαγωγή των χαρακτηριστικών.
Περιγραφή της Υβριδικής Προσέγγισης Κανονικοποίηση θέσης (2) Κανονικοποίηση ως προς τον προσανατολισμό: Βήμα (b)-(c). Δεν υπάρχει βέλτιση μέθοδος για κάθε πιθανή κατηγορία 3Δ μοντέλων. Η πιο διαδεδομένη μέθοδος είναι ο Continuous Principal Component Analysis (CPCA) => υπολογίζει τις πρωτεύουσες διευθύνσεις της επιφάνειας του μοντέλου και τις ευθυγραμμίζει με τους άξονες συντεταγμένων (D.V. Vranic).
Περιγραφή της Υβριδικής Προσέγγισης Κανονικοποίηση θέσης (3) Ανάπτυξη νέας μεθόδου - Normals PCA (NPCA): Χρησιμοποιεί τον PCA αλγόριθμο πάνω στα κανονικά διανύσματα (normals) των τριγώνων του πολυγωνικού μοντέλου.
Περιγραφή της Υβριδικής Προσέγγισης Κανονικοποίηση θέσης (4) NPCA - CPCACPCA - NPCA Χρήση NPCA και CPCA και εξαγωγή χαρακτηριστικών 2 φορές.
Υπολογισμός 2Δ Χαρακτηριστικών (1) Γενικό σχήμα
Υπολογισμός 2Δ Χαρακτηριστικών (2) Προβολή του μοντέλου στις πλευρές του κύβου Υπολογισμός 6 depth buffers Front buffer Back buffer
Υπολογισμός 2Δ Χαρακτηριστικών (3) Έστω D f i ο μπροστινός και D b i o πίσω depth buffer, για τον i άξονα, i=x,y,z. Αντί να χρησιμοποιήσουμε απευθείας τους καταχωρητές βάθους για κάθε άξονα, υπολογίζουμε το D dif i = D f i - D b i και το D sum i = D f i + D b i. Το D dif i αντιπροσωπεύει το πάχος του μοντέλου στον i άξονα, ενώ το D sum i δεν έχει φυσική σημασία, αλλά το χρησιμοποιούμε για να μην έχουμε απώλεια πληροφορίας.
Υπολογισμός 2Δ Χαρακτηριστικών (4) Για κάθε D dif i και D sum i, υπολογίζουμε το 2Δ μετασχηματισμό Fourier: FFT of a depth buffer Επιπλέον, αρθρίζουμε τις απόλυτες τιμές των συνιστωσών Fourier από τις 4ις άκρες, έτσι ώστε να έχουμε reflection invariance. m n
Υπολογισμός 2Δ Χαρακτηριστικών (5) Κανονικοποίηση των συνιστωστών Fourier στην μοναδιαία L 1 νόρμα. Στάθμιση – weighting των συνιστωσών που αντιστοιχούν σε κάθε ζέυγος depth- buffers ανάλογα με τα principal directions που κωδικοποιούν, όπως αυτές υπολογίζονται από την κανονικοποίηση του προσανατολισμού. 1 st 2 nd 3 rd 2 nd 3 rd 1 st
Υπολογισμός 3Δ Χαρακτηριστικών (1)
Υπολογισμός 3Δ Χαρακτηριστικών (2) Δημιουργία ομόκεντρων κελυφών Υπολογισμός τομών της επιφάνειαςτου μοντέλου με τα κελύφη
Υπολογισμός 3Δ Χαρακτηριστικών (3) Για κάθε σημείο τομής της επιφάνειας, συμπεριλαμβάνουμε όλες τα σημεία των κελύφων που εχουν ακτίνα μικρότερη από την απόσταση της τομής από το κέντρο.
Υπολογισμός 3Δ Χαρακτηριστικών (4) Εφαρμογή του μετασχηματισμού σφαιρικών αρμονικών σε κάθε κέλυφος. σύνολο από σφαιρικές αρμονικές συνιστώσες για κάθε κέλυφος
Υπολογισμός 3Δ Χαρακτηριστικών (5) Σφαιρική συνάρτηση f(θ,φ)Σφαιρική αρμονική συνάρτηση βαθμού l και τάξης m Συνιστώσα σφαιρικής αρμονικής (συνεχές πεδίο) Συνιστώσα σφαιρικής αρμονικής (διακριτό πεδίο)
Υπολογισμός 3Δ Χαρακτηριστικών (5) Κανονικοποίηση στην L 1 νόρμα. Στάθμιση σφαιρικών αρμονικών συνιστωσών αντιστρόφως ανάλογα προς το βαθμό l.
Βαθμωτή κβάντιση (scalar quantization) Κβάντιση του διαστήματος [0,1] σε 2 16 ίσα διαστήματα. Χρήση μόνο των 2 10 πρώτων διαστημάτων όπου κβαντίζεται στατιστικά το 99,9% των χαρακτηριστικών. Συμπίεση Χαρακτηριστικών (1)
Κωδικοποίηση Ηuffman των επιλεγμένων συμβόλων. Τελικό ποσοστό συμπίεσης 92.6% (11.8 Kbyte ανά περιγραφέα σχήματος), χωρίς απώλεια διακριτικής ικανότητας της μεθόδου. Συμπίεση Χαρακτηριστικών (2)
Περιγραφέας σχήματος μοντέλου i: Σύγκριση μεταξύ των περιγραφέων σχήματος δύο μοντέλων 1, 2: Σύγκριση Χαρακτηριστικών
Αξιολόγηση της απόδοσης της προτεινόμενης μεθόδου (Hybrid) στις παρακάτω βάσεις 3Δ μοντέλων: MPEG-7 dataset (1300 models). Princeton Shape Benchmark (PSB) test dataset (907 models). National Taiwan’s University (NTU) classified dataset (549 models). D.V. Vranic’s (CCCC) classified dataset (472 models, University of Konstanz). Engineering Shape Benchmark (ESB) dataset (866 models, Purdue University). Shape Retrieval Contest 2006 (SHREC 2006). Αξιολόγηση – Αποτελέσματα (1) Generic
Σύγκριση με τις state-of-the-art μεθόδους: Light Field (LF) (Chen, National Taiwan University). Spherical harmonic representation of the Gaussian Euclidean Distance Transform (SH-GEDT, Kazhdan, University of Princeton). DSR472 (Hybrid method, Vranic, University of Konstanz). Αξιολόγηση – Αποτελέσματα (2)
Χρήση διαγραμμάτων ακρίβειας – ανάκτησης. Ακρίβεια – Precision: Το ποσοστό των σχετικών-relevant μοντέλων που ανακτώνται ως προς τον αριθμό των ανακτώμενων μοντέλων (σχετικών και μή σχετικών). Ανάκτηση – Recall: Το ποσοστό των σχετικών-relevant μοντέλων που ανακτώνται ως προς τον συνολικό αριθμό των σχετικών μοντέλων. Αξιολόγηση – Αποτελέσματα (3)
Αξιολόγηση – Αποτελέσματα (4)
Αξιολόγηση – Αποτελέσματα (5)
Αξιολόγηση – Αποτελέσματα (6) SHREC 2006: Χρησιμοποιήθηκε το PSB test dataset. Αξιολόγηση χρησιμοποιώντας 30 query μοντέλα εκτός της βάσης, αλλά σχετικών με τις κατηγορίες μοντέλων της βάσης.
Αξιολόγηση – Αποτελέσματα (7) Παραδείγματα ανάκτησης στο SHREC 2006, χρησιμοποιώντας την προτεινόμενη μέθοδο Hybrid:
Επίδειξη Hybrid μεθόδου