Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Μεταπτυχιακή Διατριβή Θέμα: “Γρήγορες τεχνικές αναγνώρισης αντικειμένων με νευρωνικά δίκτυα και εφαρμογές τους σε συστήματα ελέγχου και παραγωγής” Επιβλέπων:

Παρόμοιες παρουσιάσεις


Παρουσίαση με θέμα: "Μεταπτυχιακή Διατριβή Θέμα: “Γρήγορες τεχνικές αναγνώρισης αντικειμένων με νευρωνικά δίκτυα και εφαρμογές τους σε συστήματα ελέγχου και παραγωγής” Επιβλέπων:"— Μεταγράφημα παρουσίασης:

1

2 Μεταπτυχιακή Διατριβή Θέμα: “Γρήγορες τεχνικές αναγνώρισης αντικειμένων με νευρωνικά δίκτυα και εφαρμογές τους σε συστήματα ελέγχου και παραγωγής” Επιβλέπων: Καθηγητής Β. Μέρτζιος Βουτριαρίδης Χριστόδουλος

3 2 1.Γενικές πληροφορίες για τα νευρωνικά δίκτυα και τους αλγορίθμους εκπαίδευσης αυτών 2.Παρουσίαση των νευρωνικών δικτύων Πι – σίγμα και R.P.N. (Ridge Polynomial Networks) 3.Επεξεργασία εικόνας, αναπαράσταση με ομάδες (Image Block Representation IBR) 4.Υλοποίηση, εφαρμογή και παρουσίαση των αποτελεσμάτων.

4 3 Γνωστό Γνωστό για την εκπαίδευση Άγνωστο Συνάρτηση Ενεργοποίησης Έξοδος Νευρώνα Σκοπός: Εύρεση των κατάλληλων βαρών

5 4 Αλγόριθμος μέσου τετραγωνικού σφάλματος Δημιουργία του σήματος σφάλματος Συνάρτηση κόστους Καθορίστε το βέλτιστο σύνολο βαρών για το οποίο το μέσο τετραγωνικό σφάλμα J είναι ελάχιστο Κόμβος εξόδου Κρυμμένος νευρώνας Back Propagation

6 5 Προσαρμόσιμα βάρη Προσαρμόσιμα βάρη Ισχυρή απεικόνιση Μαθαίνουν πιο εύκολα σταθερές γεωμετρικές ιδιότητες Γρήγορη εκμάθηση Γρήγορα αυξανόμενος αριθμός προσαρμόσιμων βαρών. Μόνο δίκτυα πρώτου βαθμού χρησιμοποιούνται Αριθμός βαρών

7 6 Βασικό κίνητρο: Να βρεθεί ένα δίκτυο που να διατηρεί την ιδιότητα της γρήγορης μάθησης και της ικανότητας της αποτελεσματικής απεικόνισης των δικτύων ανωτέρου βαθμού με ένα επίπεδο, αποφεύγοντας ταυτόχρονα την συνδυαστική αύξηση του αριθμού των βαρών και των μονάδων επεξεργασίας που απαιτούνται. Ο όρος πι – σίγμα προέρχεται από το γεγονός ότι αυτά τα δίκτυα χρησιμοποιούν το γινόμενο των αθροισμάτων των στοιχείων εισόδου (Product of sums) Έχουν αυστηρά κανονική δομή Πολύ μικρότερο αριθμό βαρών

8 7 Αριθμός βαρών

9 8 Για τα PSN χρησιμοποιούνται δύο τροποποιημένες μορφές του Back Propagation Κανόνας τυχαίας επιλογής (Randomized rule): σε κάθε βήμα ανανέωσης, επιλέγουμε τυχαία μία αθροιστική μονάδα και ανανεώνουμε μόνο το σύνολο των Ν + 1 βαρών που σχετίζονται με τις εισόδους αυτής Ασύγχρονος κανόνας (Asynchronous rule): σε κάθε βήμα ανανέωσης, όλα τα Κ σύνολα των βαρών ανανεώνονται, αλλά με ένα ασύγχρονο τρόπο.

10 9 Το τίμημα που έχουμε να πληρώσουμε για τη χρήση μικρότερου αριθμού βαρών σε ένα PSN είναι ότι δεν είναι ένας καθολικός προσεγγιστής (universal approximator). Eμπειρικές μελέτες έδειξαν ότι είναι ένα πολύ καλό μοντέλο για ομαλές συναρτήσεις και δίνει καλά αποτελέσματα σε διάφορες εφαρμογές RPN Είναι αποδοτικό γιατί εκμεταλλεύεται πολυώνυμα μιας μεταβλητής, αντίθετα από τα συνήθη δίκτυα ανωτέρου βαθμού Οδηγεί σε δομημένη κατασκευή Διατηρεί την ιδιότητα της γρήγορης εκπαίδευσης Είναι καθολικός προσεγγιστής.

11 10 Ένα ridge πολυώνυμο είναι μία ridge συνάρτηση η οποία μπορεί να εκφραστεί ως: Θεώρημα από τους Chui και Li αποδεικνύει ότι κάθε πολυώνυμο στο μπορεί να εκφραστεί με όρους ενός ridge πολυώνυμου.

12 11 Ένα Ridge Polynomial Network (RPN) ορίζεται ως το πρώσο τροφοδότησης δίκτυο το οποίο βασίζεται στην εξίσωση Μία άγνωστη συνάρτηση f σε ένα συμπαγές σύνολο μπορεί να προσεγγιστεί από το RPN ως: Ας σημειωθεί ότι κάθε όρος γινομένου μπορεί να αποκτηθεί από την έξοδο ενός πι – σίγμα δικτύου (PSN) με γραμμικές μονάδες εξόδου

13 12 Γραμμική έξοδος Συνάρτηση ενεργοποίησης

14 13 Αφού κάθε P i στην παρακάτω εξίσωση μπορεί να αποκτηθεί σαν την έξοδο ενός PSN βαθμού i με γραμμικές μονάδες εξόδου, ο αλγόριθμος εκπαίδευσης που αναπτύχθηκε για τα PSN μπορεί να χρησιμοποιηθεί και για τα RPN. Επιλέγουμε τα PSN που αποτελούν το RPN και να ανανεώσουμε τα βάρη τους χρησιμοποιώντας τους αντίστοιχους αλγορίθμους εκπαίδευσης. Κανόνας τυχαίας επιλογής (Randomized rule) Ασύγχρονος κανόνας ανανέωσης (Asynchronous Rule)

15 14 Μία άγνωστη συνάρτηση f προσεγγίζεται επιτυχώς από τον κατασκευαστικό αλγόριθμο μάθησης ως: Σε κάθε epoch μεταβάλλονται μόνο οι παράμετροι του τελευταία προστιθέμενου PSN.

16 15

17 16 Ομάδα καλείται μια ορθογώνια περιοχή της εικόνας με ακμές παράλληλες προς τους άξονες που περιέχει εικονοστοιχεία της ίδιας φωτεινότητας. Μια δυαδική εικόνα καλείται αναπαριστώμενη με ομάδες, αν αναπαριστάται από ένα σύνολο ομάδων με τη φωτεινότητα των αντικειμένων και κάθε στοιχείο της εικόνας ανήκει σε μία και μόνο μία ομάδα. Κάθε ομάδα b παριστάνεται από τις συντεταγμένες δύο απέναντι γωνιών της. Εφαρμογή του αλγορίθμου σε μια δυαδική εικόνα. Εικόνα του χαρακτήρα d και οι ομάδες που έχουν εξαχθεί.

18 17 Δημιουργία ενός γρήγορου και αποδοτικού νευρωνικού δικτύου. Εξαγωγή χαρακτηριστικών από μία εικόνα και εφαρμογή τους στο νευρωνικό δίκτυο για ακόμα μικρότερους χρόνους εκπαίδευσης και αναγνώρισης. Pi – sigma network (PSN), Ridge Polynomial Network (RPN) Image Block Representation (IBR)

19 18 Το RPN είναι ένα πολυπαραμέτρικό σύστημα, γεγονός που κάνει την μελέτη του πολύπλοκη και χρονοβόρα Κατώφλι μέσου τετραγωνικού σφάλματος Κατώφλι μέσου τετραγωνικού σφάλματος προηγούμενου epoch Κατώφλι για νέο PSN Ρυθμός μάθησης Συντελεστής μείωσης κατωφλίου για νέο PSN Συντελεστής μείωσης ρυθμού μάθησης Αριθμός epoch. Epoch: μία παρουσίαση όλων των δειγμάτων εκπαίδευσης επιλεγμένα με τυχαία σειρά Εμφάνιση MSE Βαθμός εκκίνησης

20 19 Μέσο τετραγωνικό σφάλμα Πραγματική και επιθυμητή έξοδος για ένα epoch Κατώφλι μέσου τετραγωνικού σφάλματος Μπάρα αναμονής για κάθε epoch

21 20 Προσέγγιση συναρτήσεων

22 21

23 22

24 23

25 24 Δυαδικές εικόνες (b&w) 16x16 εικονοστοιχείων. Εξαγωγή των ομάδων τους Τροφοδότηση του νευρωνικού δικτύου με τις συντεταγμένες των ομάδων για εκπαίδευση. Στο διπλανό σχήμα φαίνονται οι επιθυμητές έξοδοι. Αλλοίωση των χαρακτήρων, χρησιμοποιώντας την imnoise με παραμέτρους “salt & pepper” και 0,05.

26 25 Έξόδος 1 η, 2 η.

27 26 ‘Εξοδος 3 η

28 27 Έξοδος 4 η

29 28 Έξοδος 5 η

30 29 Τα αποτελέσματα και οι γραφικές παραστάσεις έδειξαν ότι τα RPN έδωσαν πολύ καλά αποτελέσματα και στην προσέγγιση συναρτήσεων, αλλά και στην αναγνώριση προτύπων. Οι εξαγωγή των δεδομένων εισόδου με την αναπαράσταση των εικόνων με ομάδες, είναι προγραμματιστικά χρονοβόρα και επίπονη διαδικασία, μειώνει όμως αισθητά τον αριθμό των εισόδων του νευρωνικού δικτύου

31 30 Να γίνει ένα ολοκληρωμένο σύνολο προτύπων εκπαίδευσης με όλα τα γράμματα μικρά και κεφαλαία και πολλές τροποποιήσεις αυτών, ώστε να γίνει μία πλήρης εκπαίδευση. Χρησιμοποίηση των ζωτικών σημείων μιας εικόνας ως είσοδο στο νευρωνικό δίκτυο Άλλη μέθοδο εξαγωγής χαρακτηριστικών μιας εικόνας, με πιο σημαντικό σημαντικό χαρακτηριστικό την εξαγωγή σταθερού αριθμού χαρακτηριστικών από μία εικόνα. Δημιουργία γραφικού περιβάλλοντος (GUI) για την διευκόλυνση του χρήστη


Κατέβασμα ppt "Μεταπτυχιακή Διατριβή Θέμα: “Γρήγορες τεχνικές αναγνώρισης αντικειμένων με νευρωνικά δίκτυα και εφαρμογές τους σε συστήματα ελέγχου και παραγωγής” Επιβλέπων:"

Παρόμοιες παρουσιάσεις


Διαφημίσεις Google