Αναγνώριση Προτύπων

Σημερινό Μάθημα Βασικό σύστημα αναγνώρισης προτύπων Προβλήματα Πρόβλεψης Χαρακτηριστικά και Πρότυπα Ταξινομητές Classifiers Προσεγγίσεις Αναγνώρισης Προτύπων Κύκλος σχεδίασης Συστήματος Αναγνώρισης Προτύπων Πιθανότητες και Στατιστικά

Ένα βασικό σύστημα αναγνώρισης προτύπων συμπεριλαμβάνει: Έναν αισθητήρα Μια διαδικασία προεπεξεργασίας Ένα μηχανισμό Εξαγωγής Χαρακτηριστικών Έναν αλγόριθμο Ταξινόμησης Ένα σετ εκπαίδευσης συσκευές μετρήσεων προ-επεξεργασία μείωση διαστάσεων επιλογή μοντέλου πρόβλεψη αποτελέσματα πραγματικός κόσμος Ερωτήσεις 1) Περιγράψτε τις βασικές διαδικασίες ενός πλήρους συστήματος αναγνώρισης προτύπων. Cross-validation Επιλογή χαρ. Προβολή χαρ. Κάμερες Βάσεις δεδομένων Αφαίρεση θορύβου Εξαγωγή χαρακτηριστικών Classification Clustering

Αισθητήρες Η είσοδος σε ένα ΣΑΠ (Σύστημα Αναγνώρισης Προτύπων) είναι αρκετά συχνά κάποιος αναμεταδότης, όπως μια κάμερα ή μια συστοιχία μικροφώνων Η δυσκολία του προβλήματος εξαρτάται από τα χαρακτηριστικά αυτών των αισθητήρων π.χ. το εύρος συχνοτήτων, η ανάλυση της εικόνας, η ευαισθησία, η παραμόρφωση, η αναλογία σήματος προς θόρυβο, η καθυστέρηση του σήματος κ.ά. Ερωτήσεις 1) Τι είναι οι αισθητήρες σε ένα ΣΑΠ; Τι προβλήματα μπορεί να προκαλέσουν; Δώστε παράδειγμα.

Προβλήματα πρόβλεψης Ταξινόμηση (Classification) Η έξοδος του ΣΑΠ είναι μία ετικέτα (label) π.χ. «καλό» ή «κακό» σε έλεγχο ποιότητας Παλινδρόμηση (Regression) Γενίκευση της ταξινόμησης Η έξοδος του ΣΑΠ είναι πραγματική τιμή π.χ. πρόβλεψη της τιμής μετοχής μιας εταιρείας Ερωτήσεις 1) Ποια είναι η διαφορά της ταξινόμησης από την Παλινδρόμηση;

Προβλήματα πρόβλεψης Ομαδοποίηση (clustering) Περιγραφή (description) Η οργάνωση αντικειμένων σε ομάδες με νόημα Το σύστημα επιστρέφει ομάδες αντικειμένων π.χ. ταξινόμηση ειδών Περιγραφή (description) Η αναπαράσταση αντικειμένου με πρωταρχικά στοιχεία Το σύστημα παρέχει δομημένη η λεκτική περιγραφή π.χ. περιγραφή ενός σήματος με πλάτος και συχνότητα Ερωτήσεις Ποια είναι η διαφορά μεταξύ clustering (ομαδοποίηση) και classification (ταξινόμηση); 2) Σε τι αναφερόμαστε όταν μιλάμε για περιγραφή αντικειμένου;

Χαρακτηριστικά (features) Τα χαρακτηριστικά μπορεί να είναι συμβολικά (π.χ. χρώμα) ή αριθμητικά (π.χ. ύψος) Ο συνδυασμός κάποιων χαρακτηριστικών αποτελεί το διάνυσμα χαρακτηριστικών (feature vector) Ο ν-διάστατος χώρος που ορίζεται από το feature vector ονομάζεται χώρος χαρακτηριστικών (feature space) Ερωτήσεις 1) Ορίστε μου τι είναι feature vector και feature space.

Πρότυπα Πρότυπο είναι μία σύνθεση χαρακτηριστικών Κατά την ταξινόμηση το πρότυπο είναι ένα ζεύγος μεταβλητών {x,ω} όπου x είναι μια συλλογή χαρακτηριστικών (feature vector) ω είναι η έννοια της παρατήρησης (label) Ερωτήσεις 1) Πως ορίζεται το πρότυπο κατά την ταξινόμηση.

Χαρακτηριστικά (feature) Τι κάνει ένα διάνυσμα χαρακτηριστικών «καλό»; Η ποιότητα του σχετίζεται με την ικανότητα του να διακρίνει παραδείγματα διαφορετικών κλάσεων Παραδείγματα της ίδιας κλάσης πρέπει να έχουν παρόμοιες τιμές Διαφορετικών κλάσεων διαφορετικές τιμές Ερωτήσεις 1) Ορίστε την έννοια του καλού χαρακτηριστικού.

Διαχωρισμός Χαρακτηριστικών Γραμμικός διαχωρισμός Μη-γραμμικός διαχωρισμός Ερωτήσεις 1) Αναφέρετε διαχωρισμό χαρακτηριστικών Υψηλός συσχετισμός Πολυτροπικός

Ταξινομητές Classifiers Το έργο ενός classifier είναι να χωρίσει το χώρο των χαρακτηριστικών σε συγκεκριμένες περιοχές απόφασης (classes) Οι classes χωρίζονται με όρια απόφασης. Ερωτήσεις 1) Τι ονομάζουμε classifiers (ταξινομητές) και πως χωρίζονται οι κλάσεις;

Ταξινομητές Classifiers Ένα διάνυσμα χαρακτηριστικών x καταχωρείται σε μια κλάση ωi αν gi(x)>gj(x) χαρακτηριστικά συναρτήσεις κλάση Ερωτήσεις 1)Σχεδιάστε ένα απλό ταξινομητή.

Προσεγγίσεις Αναγνώρισης Προτύπων Στατιστική Αναγνώριση Προτύπων Συντακτική Αναγνώριση Προτύπων Αναγνώριση Προτύπων με Νευρωνικά Δίκτυα Ερωτήσεις 1) Πόσες διαφορετικές προσεγγίσεις αναγνώρισης προτύπων γνωρίζεται;

Στατιστική Αναγνώριση Προτύπων Τα πρότυπα ταξινομούνται βάσει ενός στατιστικού μοντέλου των χαρακτηριστικών Το στατιστικό μοντέλο ορίζεται από μία οικογένεια υπό συνθήκη συναρτήσεων Pr(x/ci) Ερωτήσεις 1)Πως ορίζεται η στατιστική αναγνώριση προτύπων; 2) Τι συμπεριλαμβάνει το στατιστικό μοντέλο;

Αναγνώριση Προτύπων με Νευρωνικά Δίκτυα Η ταξινόμηση βασίζεται στην ανταπόκριση ενός δικτύου νευρώνων στην εισαγωγή ενός προτύπου Η γνώση αποθηκεύεται στα βάρη των συνάψεων Τα νευρωνικά δίκτυα εκπαιδεύονται Με αρκετά επίπεδα και νευρώνες μπορεί να δημιουργηθεί περιοχή κάθε πολυπλοκότητας Ερωτήσεις 1)Πως λειτουργεί η αναγνώριση προτύπων με νευρωνικά δίκτυα; 2)Πως καταχωρείται η γνώση; 3) Τι συμπεριλαμβάνει ένα Νευρωνικό δίκτυο;

Συντακτική Αναγνώριση Προτύπων Η ταξινόμηση βασίζεται σε μέτρα συντακτικής ομοιότητας Χρησιμοποιείται για ταξινόμηση (classification) και περιγραφή (description) Ερωτήσεις Πως λειτουργεί η συντακτική αναγνώριση προτύπων;

Ερωτήσεις 1) Για τι είδος προσέγγισης μιλάμε στην κάθε περίπτωση;

Ένα απλό πρόβλημα αναγνώρισης Θεωρήστε το πρόβλημα αναγνώρισης των χαρακτήρων L,P,O,E,Q Ορίζουμε κατάλληλο σετ χαρακτηριστικών Σχεδιάζουμε classifier δομημένου δέντρου Ερωτήσεις 1) Σχεδιάστε ένα απλό ταξινομητή δομημένου δέντρου για το πρόβλημα

Κύκλος σχεδίασης Συστήματος Αναγνώρισης Προτύπων Κύκλος σχεδίασης Συστήματος Αναγνώρισης Προτύπων Συλλογή Δεδομένων Πόσα παραδείγματα απαιτούνται; Επιλογή Χαρακτηριστικών Κρίσιμο, απαιτεί προηγούμενη γνώση Επιλογή Μοντέλου Στατιστικό, νευρωνικό ή συντακτικό Εκπαίδευση Επιβλεπόμενη, μη-επιβλεπόμενη, ενισχυμένη Αξιολόγηση Εκτίμηση απόδοσης - Overfitting - Γενίκευση Ερωτήσεις 1) Δώστε τα βήματα ενός κύκλου σχεδίασης ενός συστήματος ΣΑΠ

Πιθανότητες και Στατιστικά Ορισμός Αξιώματα και ιδιότητες Πιθανότητα υπό συνθήκη Θεώρημα Bayes

Πιθανότητες - Ορισμός Οι πιθανότητες είναι νούμερα που σχετίζονται με κάποιο γεγονός και δείχνουν «πόσο πιθανό» είναι να συμβεί Ένας πιθανοτικός κανόνας αποδίδει πιθανότητες στα γεγονότα ενός πειράματος Ο χώρος δειγμάτων S για ένα πείραμα είναι το σύνολο όλων των πιθανών αποτελεσμάτων

Πιθανότητες – Αξιώματα Αξίωμα I: 0≤P[Ai] Aξίωμα ΙΙ: P[S]=1 Αξίωμα ΙΙΙ: if Ai Aj=ø, then P[Ai Aj]=P[Ai]+P[Aj]

Πιθανότητες - Ιδιότητες Ιδιότητα 1 Ιδιότητα 2 Ιδιότητα 3 Ιδιότητα 4 Ιδιότητα 5 Ιδιότητα 6 Ιδιότητα 7

Πιθανότητα υπό συνθήκη Αν Α και Β είναι δύο γεγονότα, η πιθανότητα του Α όταν ξέρουμε ότι το Β έχει ήδη συμβεί είναι:

Πιθανότητα υπό συνθήκη-ερμηνεία Το στοιχείο «το Β έχει συμβεί» σημαίνει: Ο αρχικός χώρος δειγμάτων S γίνεται Β Το Α γίνεται ΑΒ Το P[B] κανονικοποιεί την πιθανότητα έχει συμβεί το Β

Θεώρημα ολικής πιθανότητας Έστω Β1,Β2,…,ΒΝ γεγονότα, χωρίς κοινά στοιχεία που η ένωση τους συμπίπτει με το χώρο δειγματοληψίας S, ονομάζονται διαμερισμός του S. Ένα γεγονός Α μπορεί να εκφραστεί ως:

Θεώρημα ολικής πιθανότητας Αφού τα Β1,Β2,…,ΒΝ είναι αλληλοαποκλειώμενα: Για αυτό Ερωτήσεις 1) Τι λέει το θεώρημα ολικής πιθανότητας;