ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ Παραδείγματα BP.

Παρουσίαση με θέμα: "ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ Παραδείγματα BP."— Μεταγράφημα παρουσίασης:

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ Παραδείγματα BP

2 Θέμα 1: Πολύ-επίπεδα Perceptrons Συνάρτηση ενεργοποίησης Όπου:

3 Θέμα 1: Πολύ-επίπεδα Perceptrons x1x1 x2x2 y1y1 y2y2 y3y3 00 01 10 11 Θέμα 1α. Συμπλήρωση Πίνακα Δείξτε ότι το παραπάνω δίκτυο επιλύει το πρόβλημα XOR συμπληρώνοντας τον παρακάτω πίνακα, όπου x1 και x2 είναι οι είσοδοι του δικτύου Θέμα 1.β Περιοχές Απόφασης Δείξτε ότι το παραπάνω δίκτυο επιλύει το πρόβλημα XOR κατασκευάζοντας τις περιοχές απόφασης κάθε νευρώνα του δικτύου.

4 Συμπλήρωση Πίνακα -1α Νευρώνας 3: Είσοδος (0, 0): Είσοδος (0, 1): Είσοδος (1, 0): Είσοδος (1, 1):

5 Συμπλήρωση Πίνακα -1α Νευρώνας 4: Είσοδος (0, 0): Είσοδος (0, 1): Είσοδος (1, 0): Είσοδος (1, 1):

6 Συμπλήρωση Πίνακα -1α Νευρώνας 5: Είσοδος (0, 0): Είσοδος (0, 1): Είσοδος (1, 1):

7 Συμπλήρωση Πίνακα -1α x1x1 x2x2 y3y3 y4y4 y5y5 00000 01011 10011 11110

8 Περιοχές Απόφασης -1β Όπως ξέρουμε κάθε νευρώνας του παραπάνω δικτύου κάνει γραμμικό διαχωρισμό των δειγμάτων στην είσοδο του σε δύο κατηγορίες. Η εξίσωση της γραμμής που διαχωρίζει το χώρο που σχηματίζουν οι είσοδοί του δίνεται από την εξίσωση: Για το νευρώνα 3: Για το νευρώνα 4: Ο νευρώνας 5 κάνει γραμμικό συνδυασμό των περιοχών απόφασης των νευρώνων 3 και 4.

9 Περιοχές Απόφασης -1β Περιοχή απόφασης που δημιουργεί ο νευρώνας 3

10 Περιοχές Απόφασης -1β Περιοχή απόφασης που δημιουργεί ο νευρώνας 4

11 Περιοχές Απόφασης -1β Περιοχή απόφασης που δημιουργεί ο νευρώνας 5

12 Θέμα 2: Ο Αλγόριθμος Πίσω Διάδοσης του Λάθους για MLP Συνάρτηση ενεργοποίησης

13 Θέμα 2: Ο Αλγόριθμος Πίσω Διάδοσης του Λάθους για MLP Σε κάποια στιγμή εκπαίδευσής του τα βάρη των συνδέσεων μεταξύ των κόμβων έχουν πάρει τις παρακάτω τιμές: w 13 =0.1, w 14 =0.2, w 23 =0.2, w 24 =0.1, w 35 =-0.1 και w 45 = -0.1. 1.Να υπολογιστεί η έξοδος του ΤΝΔ για το πρότυπο [0.0,1.0]. 2.Να βρεθούν οι νέες τιμές των βαρών w για το αμέσως επόμενο κύκλο εκπαίδευσης βάσει της μεθόδου οπισθοδιάδοσης του λάθους. 3.Με τις νέες τιμές των βαρών να υπολογίσετε εκ νέου την έξοδο του ΤΝΔ για το πρότυπο [0.0,1.0]. Τι παρατηρείτε; Ακρίβεια: 3 δεκαδικά ψηφία.

14 Υπολογισμός εξόδου δικτύου – 2α Άθροισμα στο κόμβο 3: (w 13 *0.0)+ (w 23 *1.0)=0.1*0.0+0.2*1.0=0.2 Ενεργοποίηση στον κόμβο 3: Άθροισμα στο κόμβο 4: (w 14 *0.0)+ (w 24 *1.0)=0.2*0.0+0.1*1.0=0.1 Ενεργοποίηση στον κόμβο 4: S(0.1)=0.525 Άθροισμα στο κόμβο 5: (w 35 *0.550)+ (w 45 *0.525)=-0.1*0.550-0.1*0.525= -0.108 Ενεργοποίηση στον κόμβο 5: S(-0.108)=0.473 Άρα η έξοδος του ΤΝΔ με τα δοθέντα βάρη είναι 0.473

15 Υπολογισμός βαρών – 2β Ανανέωση των συνδέσεων w 45 και w 35 Η έξοδος του ΤΝΔ έπρεπε να ήταν 1.0 για το πρότυπο εισόδου [0.0,1.0]. Άρα το σφάλμα στην έξοδο είναι (1.0-0.473)=0.527 Υπολογισμός βαρών: Για το νευρώνα στο επίπεδο εξόδου ισχύει: Για το πρόβλημά μας όπου έχουμε ένα μόνο πρότυπο έχουμε: όπου t = target =1.0 και o=output=0.473. Συνεπώς δ o =0.131

16 Υπολογισμός βαρών – 2β Υπολογισμός νέων τιμών w 45 και w 35 Όπου: n=1.0 είναι ο ρυθμός εκμάθησης ο 3 είναι η ενεργοποίηση της S στον κόμβο 3 και ο 4 είναι η ενεργοποίηση της S στον κόμβο 4. Άρα: w 35_new = – 0.028 w 45_new = – 0.031

17 Υπολογισμός βαρών – 2β Ανανέωση συνδέσεων w 13, w 14, w 23 και w 24 Για τους νευρώνες στο κρυφό επίπεδο ισχύει: Επειδή εδώ έχουμε ένα κόμβο εξόδου, σε κάθε νευρώνα του κρυφού επιπέδου έχουμε μόνο μια σύνδεση με την έξοδο. Άρα η παραπάνω σχέση απλοποιείται (δεν έχουμε το άθροισμα) και γίνεται: Οπότε: δ 3 =ο 3 *(1-ο 3 )*(δ ο )*w 35 =0.550*(1-0.550)* 0.131 *(-0. 1) = – 0.003 και δ 4 =ο 4 *(1-ο 4 )*(δ ο )*w 45 =0.525*(1-0.525)* 0.131 *(-0. 1)= – 0.003.

18 Υπολογισμός βαρών – 2β Υπολογισμός νέων τιμών w 13, w 14, w 23 και w 24 Όπου: n =1.0 είναι ο ρυθμός εκμάθησης, i 1 =0.0 και i 2 =1.0 είναι οι είσοδοι του ΤΝΔ. Άρα: w 13_new =0.1 w 14_new =0.2 w 23_new =0.197 w 24_new =0.097

19 Υπολογισμός νέας εξόδου δικτύου – 2γ Άθροισμα στο κόμβο 3: (w 13_new *0.0)+ (w 23_new *1.0)=0.1*0.0+0.197*1.0=0.197 Ενεργοποίηση στον κόμβο 3: Άθροισμα στο κόμβο 4: (w 14_new *0.0)+ (w 24_new *1.0)=0.2*0.0+0.097*1.0=0.097 Ενεργοποίηση στον κόμβο 4: S(0.097)=0.524

20 Υπολογισμός νέας εξόδου δικτύου – 2γ Άθροισμα στο κόμβο 5: (w 35_new *0.549)+ (w 45_new *0.525)=-0.028*0.549-0.031*0.524 = – 0.031 Ενεργοποίηση στον κόμβο 5: S(-0.031)=0.492 Άρα η έξοδος του ΤΝΔ με τα νέα βάρη είναι 0.492 Παρατηρούμε ότι με τον ένα κύκλο εκπαίδευσης που υπολογίσαμε το ΤΝΔ αρχίζει να μαθαίνει το πρόβλημα XOR για το πρότυπο [0.0,0.1] αφού η έξοδός του «πλησιάζει» την επιθυμητή τιμή που είναι το 1.0. Πράγματι το νέο σφάλμα είναι (1-0.492) που είναι μικρότερο από το σφάλμα (1-0.473) που προέκυψε πριν από το κύκλο εκπαίδευσης του νευρωνικού μας δικτύου.