ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Σύστημα Αναγνώρισης Προτύπων Αναπαράσταση προτύπων με συλλογή δεδομένων. πρότυπα στο χρόνο (χρονοσειρές) Δειγματοληψία σήματος Ν χρονικές στιγμές πρότυπα στο χώρο (γεωμετρικά αντικείμενα) Τιμές έντασης των pixels από ψηφιακή εικόνα Χαρακτηριστικό Διάνυσμα

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Σύστημα Αναγνώρισης Προτύπων Ακατέργαστο χαρακτηριστικό διάνυσμα Χ. Ορίζει ένα πρότυπο στον Ν-διάστατο χώρο. Τα στοιχεία του είναι τυχαίες μεταβλητές Γενική μορφή: Ομάδες: πρότυπα που ανήκουν στην ίδια κατηγορία, γειτονικά σημεία στον Ν-διάστατο χώρο Στοχαστικά μοντέλα: να βρεθούν στατιστικές ιδιότητες ομάδων

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Σύστημα Αναγνώρισης Προτύπων Δύο κατηγορίες προτύπων. C1: μανταρίνια C2: καρπούζια Δύο μετρήσεις: X1: Διάμετρος X2: Βάρος Ακατέργαστο χαρακτηριστικό διάνυσμα Χ=[X1,X2]T Δημιουργούν 2 διαχωρίσιμες ομάδες

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Σύστημα Αναγνώρισης Προτύπων Δύο κατηγορίες προτύπων. C1: μανταρίνια C3: πορτοκάλια Δύο μετρήσεις: X1: Διάμετρος X2: Βάρος Μη διαχωρίσιμες ομάδες (υπάρχει αλληλοεπικάλυψη)

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Σύστημα Αναγνώρισης Προτύπων Διαχωρίσιμες κατηγορίες στον τρισδιάστατο χώρο (Ν=3) Ν>3: δεν είναι εύκολη η απεικόνιση Εξαγωγή χαρακτηριστικών γνωρισμάτων: ελάττωση της διάστασης των προτύπων Είδη χαρακτηριστικών γνωρισμάτων: Ενδοσυνολικά (intraset): Κοινές ιδιότητες Διασυνολικά (interset): Διαφορές Ενδοσυνολικά για όλες τις ομάδες δεν είναι χρήσιμα

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Σύστημα Αναγνώρισης Προτύπων Παράδειγμα: Πορτοκάλια – Ενδοσυνολικά: βάρος, διάμετρος, χρώμα Μανταρίνια – Ενδοσυνολικά: βάρος, διάμετρος, χρώμα Μανταρίνια - Πορτοκάλια – Ενδοσυνολικό: χρώμα Μανταρίνια - Πορτοκάλια – διασυνολικά: βάρος, διάμετρος Σκοπός: Να βρεθούν διασυνολικά (διαχωριστικά) γνωρίσματα μεταξύ κατηγοριών Δύσκολο από ακατέργαστο διάνυσμα εισόδου X Λύση: εξαγωγή διαχωριστικών χαρακτηριστικών από X Παράδειγμα: Αναγνώριση τυπωμένων χαρακτήρων. X = [X1,X2, …,XN]T Χαρακτηριστικά γνωρίσματα: x1: εμβαδόν δεξιού τμήματος χαρακτήρα x2: εμβαδόν αριστερού τμήματος χαρακτήρα x3: περίμετρος χαρακτήρα z1: λόγος ολικού εμβαδού με τετράγωνο περιμέτρου (x1+x2)/x32 z2: βαθμός συμμετρίας (x1/x2) x1,x2,x3: ανεξάρτητες μεταβλητές, z1,z2: εξαρτημένες

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Σύστημα Αναγνώρισης Προτύπων Καθορισμός βέλτιστων διαδικασιών απόφασης για αναγνώριση και ταξινόμηση Σύστημα: Απόφαση σε ποια κατηγορία ανήκει ένα πρότυπο Ταξινόμηση προτύπων σε Μ κατηγορίες: C1,C2,…CM Δημιουργία ορίων απόφασης για διαχωρισμό Μ περιοχών από διανύσματα χαρακτηριστικών γνωρισμάτων προτύπων Καμπύλες: Συναρτήσεις πυκνότητας πιθανοτήτων (probability density functions) περικλείουν 50% και 90% των διανυσμάτων

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Σύστημα Αναγνώρισης Προτύπων Όριο απόφασης d(x1,x2)=0 Δύο περιοχές d(x1,x2)>0 κατηγορία C2 d(x1,x2)<0 κατηγορία C1 Σύστημα: Απόφαση σε ποια κατηγορία ανήκει ένα πρότυπο Συνάρτηση πυκνότητας πιθανοτήτων κάθε κατηγορίας

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Εφαρμογή: Βιομηχανικό Robot Προδιαγραφές: Κυλιόμενος διάδρομος: μεταφέρει εξαρτήματα Robot: θα παίρνει ένα εξάρτημα από το διάδρομο, θα εξετάζει εξάρτημα εάν έχει ελάττωμα, θα συναρμολογεί μη ελαττωματικά εξαρτήματα. Robot: θα δέχεται προφορικές εντολές από επιστάτη και θα του δίνει βοήθεια σε περίπτωση προβλήματος.

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Εφαρμογή: Βιομηχανικό Robot Ανάλυση εφαρμογής - προβλήματα αναγνώρισης προτύπων: Αναγνώριση είδους εξαρτήματος (ανεξάρτητα από γωνία παρατήρησης). Έλεγχος εξαρτήματος για κατασκευαστικά ελαττώματα. Κατανόηση προφορικών εντολών του επιστάτη. Αναγνώριση ταυτότητας επιστάτη (από φωνή). Αναγνώριση σωστής λειτουργίας του robot. Αναγνώριση του είδους του εξαρτήματος

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Εφαρμογή: Βιομηχανικό Robot Μετατροπή σε ψηφιακή μορφή Πάνω από διάδρομο τοποθετείται ένας οπτικός αισθητήρας μια σειρά από φωτοαισθητήρες (απλή περίπτωση) μια κάμερα (συνηθισμένη περίπτωση) συνδυασμός από δύο κάμερες για στερεοσκοπική όραση και τρισδιάστατη ανάλυση (σύνθετες περιπτώσεις) λύση απλής κάμερας: frame grabber μετατρέπει εικόνα σε ψηφιακή μορφή Δεδομένα εισόδου - ψηφιακή εικόνα του εξαρτήματος. Ταίριασμα με υποδείγματα (template matching) ; σε ορισμένες χαμηλού κόστους εφαρμογές (οπτική αναγνώριση προτύπων) δεν είναι κατάλληλη στη συγκεκριμένη εφαρμογή Εικόνα εξαρτήματος αλλοιωμένη από θόρυβο προσανατολισμός εξαρτήματος πάνω στην μεταφορική ταινία δεν είναι προκαθορισμένος. αποθήκευση μεγάλου αριθμού υποδειγμάτων για κάθε εξάρτημα (όλες οι οπτικές γωνίες). ψηφιακής εικόνα: 128x128 x 8 (χρώμα) = 16 Kbytes

Εξαγωγή χαρακτηριστικών γνωρισμάτων ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Εφαρμογή: Βιομηχανικό Robot Εξαγωγή χαρακτηριστικών γνωρισμάτων Αρχικά στη ψηφιακή εικόνα θα εφαρμοστούν μετασχηματισμοί εικόνας: διαδικασίες βελτίωσης για ευκρινέστερη εικόνα αφαίρεση του περιθωρίου του εξαρτήματος, βελτίωση του χρωματισμού της εικόνας, εντοπισμό ακμών εξαρτήματος (edge detection), αφαίρεση μη αναγκαίων πληροφοριών τελικό αποτέλεσμα: δυαδική αναπαράσταση ακμών εξαρτήματος. Τμηματοποίηση: διαχωρισμός εικόνας σε περιοχές Mετασχηματισμοί εικόνας, Τμηματοποίηση: ανήκουν στην επεξεργασία εικόναs (image processing)

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Εφαρμογή: Βιομηχανικό Robot από ακμές και τμήματα εξαρτήματος υπολογίζονται χαρακτηριστικά γνωρίσματα. π.χ. Αναγνώριση εξαρτήματος: Μετά από εξαγωγή χαρακτηριστικών γνωρισμάτων, τυποποιημένοι αλγόριθμοι αναγνώρισης προτύπων

Ερευνητικά Θέματα Αναγνώρισης Προτύπων ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ερευνητικά Θέματα Αναγνώρισης Προτύπων Ερευνητικά Θέματα Αναγνώρισης Προτύπων Εξαγωγή χαρακτηριστικών γνωρισμάτων Το ιδεατό όριο μεταξύ εξαγωγής χαρακτηριστικών και ταξινόμησης είναι κάπως αυθαίρετο. ιδανικός εξαγωγέας χαρακτηριστικών κάνει ταξινόμηση απλή διαδικασία. ιδανικός ταξινομητής δεν έχει ανάγκη εξειδικευμένο εξαγωγέα χαρακτηριστικών γνωρισμάτων. Η διάκριση είναι περισσότερο θεωρητική παρά πρακτική. εξαγωγή χαρακτηριστικών εξαρτάται από εφαρμογή διαδικασία ταξινόμησης είναι πιο γενική. Θόρυβος Θόρυβος: διαδικασία μέτρησης, δεν σχετίζεται με πραγματικό μοντέλο, αλλά με την τυχαιότητα στον κόσμο ή στο περιθώριο λάθους των αισθητήρων. Όλες οι πρακτικές εφαρμογές σχετίζονται με κάποια μορφή θορύβου στις μετρήσεις δεδομένων. ενσωμάτωση γνώσης πηγής θορύβου στο σύστημα α.π. εξακρίβωση εάν διαφοροποίηση σε κάποια μέτρηση σχετίζεται με θόρυβο ή άλλους παράγοντες.

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ερευνητικά Θέματα Αναγνώρισης Προτύπων Πολυπλοκότητα μοντέλου Είναι δυνατή η κατασκευή ενός πολύπλοκου συστήματος αναγνώρισης προτύπων, πραγματοποιεί τέλεια ταξινόμηση στα πρότυπα εκπαίδευσης, αλλά αποτυγχάνει στην ταξινόμηση πραγματικών δεδομένων; Ναι: μπορεί πολύπλοκο σύστημα αναγνώρισης προτύπων να εξαρτάται από ιδιομορφίες των προτύπων εκπαίδευσης και όχι από ιδιότητες πραγματικών δεδομένων. Πολύ σημαντικό - καθορισμός πολυπλοκότητας μοντέλου: μοντέλο όχι τόσο απλό ώστε να μην μπορεί να ξεχωρίσει διαφορές μεταξύ κατηγοριών και ταυτόχρονα όχι τόσο πολύπλοκο ώστε να αποτυγχάνει ταξινόμηση πραγματικών δεδομένων. Επιλογή μοντέλου ταξινομητή Πως επιλέγεται το πλέον κατάλληλο μοντέλο για μία συγκεκριμένη εφαρμογή; Πως αποφασίζεται η απόρριψη ενός μοντέλου; Εκτός από την γνωστή μέθοδο δοκιμής και απόρριψης, υπάρχει πιο συστηματική μέθοδος επιλογής μοντέλου;

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ερευνητικά Θέματα Αναγνώρισης Προτύπων Μερική έλλειψη τιμών χαρακτηριστικών γνωρισμάτων Συχνά, δεν είναι διαθέσιμες όλες οι τιμές Πως μπορεί ο ταξινομητής μόνο με υπάρχοντα δεδομένα; Η απλοϊκή μέθοδος να θεωρούνται μηδέν οι τιμές των ανύπαρκτων δεδομένων ή μέσος όρος των υπόλοιπων τιμών, πιθανά δεν είναι ο βέλτιστος τρόπος Παρόμοια, μπορεί να υπάρχει έλλειψη τιμών στα πρότυπα εκπαίδευσης (δημιουργία συστήματος αναγνώρισης). Πως μπορεί να εκπαιδευτεί ο ταξινομητής; Τμηματοποίηση Εφαρμογή βιομηχανικού robot, εξαρτήματα για αναγνώριση είναι μη επικαλυπτόμενα στην ταινία μεταφοράς. Εάν είναι; Τα πρότυπα πρέπει να τμηματοποιηθούν και να αναγνωριστούν από χαρακτηριστικά των τμημάτων τους. Τμηματοποίηση είναι δύσκολη σε ορισμένους κλάδους παράδειγμα: αναγνώριση ομιλίας.

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ερευνητικά Θέματα Αναγνώρισης Προτύπων Αμετάβλητοι μετασχηματισμοί Βιομηχανικό robot: θέση εξαρτημάτων στην δεν είναι σταθερή στην ταινία ταξινομητής πρέπει να αναγνωρίζει εξαρτήματα ανεξάρτητα θέσης του και προσανατολισμού. ταξινομητής πρέπει να είναι αμετάβλητος μεταφορά, περιστροφή, κλιμάκωση. Χρησιμοποιούνται πολύπλοκοι μετασχηματισμοί οι οποίοι σχετίζονται με συγκεκριμένες εφαρμογές. Οπτική αναγνώριση χειρόγραφων χαρακτήρων: ταξινομητής όχι ευαίσθητος στο πάχος γραμμής Αναγνώριση εικόνας: αλλαγές φωτισμού, σκιές. Αμεταβλητότητα υπάρχουν τα εξής θέματα: Πως προκαθορίζεται η παρουσίαση αμεταβλητότητας; Πως ενσωματώνεται τέτοια γνώση στο σύστημα; Έστω ότι δεν είναι γνωστή εκ των προτέρων η παρουσίαση μίας συγκεκριμένης αμεταβλητότητας. Πως θα γίνει εκμάθηση στο σύστημα της αμεταβλητότητας;

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ερευνητικά Θέματα Αναγνώρισης Προτύπων Κόστος και ρίσκο Ταξινομητής αποτελεί μέρος ενός συστήματος, συμβουλευτικό όργανο. Βιομηχανικό robot: αναγνώριση ταυτότητας εξαρτήματος, εξέταση κατασκευαστικών ελαττωμάτων Ρίσκο; λάθος ταξινόμηση εξαρτήματος. μη αναγνώριση κατασκευαστικού ελαττώματος ποσοστό εξαρτημάτων που δεν αναγνωρίζονται σωστά; ποσοστό των εξαρτημάτων με κατασκευαστικά ελαττώματα που δεν αναγνωρίστηκάν; Συμβουλευτικές ενέργειες ταξινομητή έχουν κόστος και ρίσκο. Σκοπός: ελαχιστοποίηση ολικού κόστους ή ρίσκου. Πως ενσωματώνονται σε ένα ταξινομητή; Πως μπορεί να εκτιμηθεί το ολικό ρίσκο, για να είναι αποδεκτός ο ταξινομητής;