Αναγνώριση Αντικειμένων για τo Internet των «Πραγμάτων» Object Recognition for the Internet of Things (Quack, Bay, and Van Gool, 2008) Εργασία της φοιτήτριας Αφροδίτη Φράγκου στο πλαίσιο του μαθήματος: Ηλεκτρονική δημοσίευση Υπεύθυνοι καθηγητές: κ. Σαράντος Καπιδάκης κ. Μανόλης Γεργατσούλης Αθήνα 2008

2 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

3 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

4 Εισαγωγή (1)  Αναζήτηση φυσικών αντικειμένων  2 διαφορετικές εφαρμογές Διαφάνειες σε αίθουσες συνεδριάσεων Οδηγός πόλης: αξιοθέατα  Εφαρμογές για κινητά τηλέφωνα Δεν χρειάζονται tags Οι χρήστες αλληλεπιδρούν με τα αντικείμενα

5 Εισαγωγή (2)  Διαδίκτυο των φυσικών αντικειμένων Δικτύωση των αντικειμένων Σύνδεση αντικειμένων με σχετικές πληροφορίες RFID tags Bluetooth beacons Οπτικοί δείκτες Barcodes (1D ή 2D)  Σύγχρονες συσκευές κινητής τηλεφωνίας Προηγμένοι υπολογιστές πολυμέσων Ενσωματωμένη φωτογραφική μηχανή και βίντεο Κανάλια επικοινωνίας Bluetooth WLAN Internet access Άλλες τεχνολογίες Αναγνώστες Barcode Αναγνώστες RFID

6 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

7 Σχετικές εργασίες  Αντικείμενα επιδείξεων [ Ballagas, Rohs και Sheridan (2005)] Ballagas, Rohs και Sheridan 2D-barcodes  Αναγνώριση εικόνων σε εκθετήρια [Boring [et.al] (2007)]Boring [et.al]  Διαφάνειες προβολής σε αίθουσες συνεδριάσεων [Vinciarelli και Odobez (2006) ]Vinciarelli και Odobez OCR  SlideFinder [Niblack (1999)]Niblack Σφαιρικά ιστογράμματα χρωμάτων  Οδηγός μουσείων σε tablet PC [Bay, Fasel, και Van Gool (2006)]Bay, Fasel, και Van Gool Αναγνώριση αντικειμένων με βάση αμετάβλητης κλίμακας τοπικά χαρακτηριστικά  Σύστημα αναγνώρισης αντικειμένων για κινητά τηλέφωνα [Fockler [κ.ά.] (2005)]Fockler [κ.ά.] Ιστογράμματα απλών χρωμάτων  Οδηγός πόλης για κινητό τηλέφωνο [Fockler [κ.ά.] (2005)]Fockler [κ.ά.] Τοπικά χαρακτηριστικά

8 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

9 Διαδραστικές Αίθουσες Συνεδριάσεων (1)  Καταγραφή συνεδριάσεων Καταγραφή βίντεο Φωτογράφηση των διαφανειών προβολής Ηχογραφήσεις  2 στόχοι: Διευκόλυνση ανάκτησης εκτός σύνδεσης Ξεφύλλισμα στο σώμα καταγεγραμμένων συναντήσεων Μετατροπή των αιθουσών συνεδριάσεων σε έξυπνα διαδραστικά περιβάλλοντα

10 Διαδραστικές Αίθουσες Συνεδριάσεων (2)  Διαφάνειες Περιέχουν τα κύρια σημεία της παρουσίασης Μπορούν να είναι ο συνδετικός κρίκος για πρόσβαση στις άλλες μορφές των σχετικών πληροφοριών Φυσικό σημείο εισόδου

11 Διαδραστικές Αίθουσες Συνεδριάσεων (3)  Πρακτική εφαρμογή Φωτογράφηση της διαφάνειας που ενδιαφέρει Διαβίβασή της στον server Εναλλακτικά μπορεί να γίνει και: Με αποστολή απλού MMS Με χρήση μιας εφαρμογής που σχεδιάστηκε στον client Εξαγωγή των σημείων αντιστοίχισης στη βάση δεδομένων που περιέχει της διαφάνειες Προσθήκη της διαφάνειας στους σελιδοδείκτες του WAP browser

12 Διαδραστικές Αίθουσες Συνεδριάσεων (4)  Συνοψίζοντας τα παραπάνω: Η βασική λειτουργία του προτεινόμενου συστήματος αναγνώρισης διαφανειών στον κεντρικό υπολογιστή είναι η ακόλουθη: για τα εισερχόμενα ερωτήματα, εξάγονται τοπικά χαρακτηριστικά που δεν μεταβάλλονται κλιμακωτά. Για κάθε χαρακτηριστικό εκτελείται μια αναζήτηση του κοντινότερου «γείτονα» στην αναφορική βάση δεδομένων των διαφανειών. Οι προκύπτουσες υποθετικές αντιστοιχίες ελέγχονται χρησιμοποιώντας όρια στην προβολική γεωμετρία. Οι επόμενες δύο υποενότητες περιγράφουν αυτά τα βήματα λεπτομερέστερα.

13 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

14 Σύστημα Αναγνώρισης Διαφανειών (1)  2 στάδια Ταύτιση των χαρακτηριστικών Σύγκριση των διανυσμάτων του χαρακτηριστικού της εικόνας στο ερώτημα και της εικόνας στη ΒΔ Υπολογισμός της Ευκλείδειας απόστασης για κάθε ερώτημα σε 64D-matrix Αποδοχή του αποτελέσματος αν έχει πολύ μικρή απόκλιση Γεωμετρική επαλήθευση του αποτελέσματος Η ταύτιση φέρνει σωστές «αντιστοιχίες ως προς τα χαρακτηριστικά. Σημασιολογικά όμως;  πιθανή ανακρίβεια αν δεν γίνει λέξη προς λέξη  Προβολική Γεωμετρία 2D ομογραφική χαρτογράφηση όπουη εικόνα του ερωτήματος η εικόνα της ΒΔ

15 Σύστημα Αναγνώρισης Διαφανειών (2) Εικόνα του ερωτήματος και η αντίστοιχη εικόνα της ΒΔ Η ίδια εικόνα του ερωτήματος και η αντιστοίχιση με λάθος εικόνα στη ΒΔ

16 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

17 Πειραματική διαδικασία (1)  Για τα πειράματα χρησιμοποιήθηκαν στοιχεία από την ΒΔ AMI meeting room corpus  Προβλήθηκαν διαφάνειες με ρυθμίσεις που όρισαν οι ερευνητές και πήραν φωτογραφίες με ενσωματωμένη camera 2 μοντέλων κινητών: Nokia N70 (προηγμένης τεχνολογίας camera 2Mpixel) Nokia 6230 (χαμηλής ποιότητας camera VGA)  Τα χαρακτηριστικά των διαφανειών εξήχθησαν σε 2 αναλύσεις: 800x600 pixels 640x480pixels

18 Πειραματική διαδικασία (2) Παραδείγματα εικόνων ερωτημάτων, από αριστερά προς τα δεξιά:  Συνθέσεις κειμένου και εικόνας,  Λήψη από τις ποικίλες οπτικές γωνίες,  Διαφορετικά επίπεδα εστίασης ή μικτό περιεχόμενο,  Παράδειγμα όπου επιλέγεται μια συγκεκριμένη περιοχή μιας διαφάνειας ή περιέχει μεγάλη ποσότητα κειμένου.

19 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

20 Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης σε κινητό τηλέφωνο  Υπερσύνδεση κτιρίων με ψηφιακό περιεχόμενο μέσω κινητού τηλεφώνου Απεριόριστα αντικείμενα Παγκόσμια βάση  Παρόμοια διαδικασία, λογισμικό και διεπαφή για τους χρήστες με αυτή της εφαρμογής στις αίθουσες συνεδριάσεων Διαφορά: γεωγραφικός περιορισμός στην αναζήτηση από: GPS (ενσωματωμένη ή Bluetooth συσκευή) CGI (Cell Global Identity) Συνδυασμός των δύο  ταχύτητα και ακρίβεια

21 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

22 Σχεδιασμός του συστήματος  Λογισμικό για τον server. mySQL Η αναγνώριση εικόνων υλοποιείται ως ένας εξυπηρετητής σε C++ που μπορεί να είναι προσβάσιμος μέσω HTTP  Λογισμικό για τον client Symbian C++ και Java Εξαγωγή χαρακτηριστικών του ερωτήματος στον server

23 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

24 Μέθοδος αναγνώρισης αντικειμένων  Μετάδοση των δεδομένων από τον client στο server  Οπτική αναζήτηση με περιορισμός της θέσης (GPS ή cell-ids)  Αναγνώριση των αντικειμένων Αντιστοιχίσεις μεταξύ ζευγών της εικόνας του ερωτήματος και της ΒΔ Αναζήτηση του κοντινότερου γείτονα για τους περιγραφείς SURF Επικύρωση με γεωμετρικό φίλτρο

25 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Οπτικά Στοιχεία και Γεωγραφική Θέση Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

26 Πειραματική διαδικασία (1)  3 πειραματικές εκδοχές Γραμμική αναζήτηση στο σύνολο της ΒΔ χωρίς τοπικό προσδιορισμό Περιορισμό κατά GPS με διαφορετική αναζήτηση ακτίνας Περιορισμό κατά cell-id

27 Πειραματική διαδικασία (2) α β

28 Πειραματική διαδικασία (3) γ δ

29 Περιεχόμενα  Εισαγωγή  Σχετικές εργασίες  Διαδραστικές Αίθουσες Συνεδριάσεων: Υπερσυνδεδεμένες Διαφάνειες Σύστημα Αναγνώρισης Διαφανειών Πειραματική διαδικασία  Υπερσυνδεδεμένα Κτίρια: Οδηγός πόλης για κινητό τηλέφωνο Σχεδιασμός του συστήματος Μέθοδος αναγνώρισης αντικειμένων Πειραματική διαδικασία  Συμπεράσματα - Προβληματισμοί

30 Συμπεράσματα – Προβληματισμοί (1)  Αναζήτηση πληροφοριών για αντικείμενο φωτογραφίζοντάς τα. Εξαγωγή τοπικών χαρακτηριστικών της εισερχόμενης εικόνας Αντιστοίχιση με τα χαρακτηριστικά εικόνων στη βάση δεδομένων Ταύτιση και επικύρωση με γεωμετρικό φίλτρο. Μετάδοση της εικόνας και των μεταδεδομένων.  Πλεονεκτήματα Ταχύτητα και ακρίβεια Ευελιξία Εύκολο να υιοθετηθεί από προμηθευτές και χρήστες

31 Συμπεράσματα – Προβληματισμοί (2)  Το Ίντερνετ των «Πραγμάτων» είναι εδώ Μηχανή οπτικής αναζήτησης Βασίζεται στην απλή αποστολή εικόνων μέσω κινητού τηλεφώνου  Προοπτικές Εξέλιξη οπτικών μεθόδων των υπολογιστών  πρόσθετες ιδιότητες Χρήση κατά της εγκληματικότητας Χρήση σε μουσεία, αρχαιολογικούς χώρους κλπ. … Οτιδήποτε άλλο που θα αποκαλυφθεί στο μέλλον

32