Αριθμητικές Μέθοδοι Βελτιστοποίησης Θεωρία & Λογισμικό Τμήμα Πληροφορικής - Πανεπιστήμιο Ιωαννίνων Ι. Η. Λαγαρής

Προβλήματα προς αντιμετώπιση Συστήματα μη γραμμικών εξισώσεωνΣυστήματα μη γραμμικών εξισώσεων Βελτιστοποίηση χωρίς περιορισμούςΒελτιστοποίηση χωρίς περιορισμούς Μη-γραμμικά Ελάχιστα ΤετράγωναΜη-γραμμικά Ελάχιστα Τετράγωνα ΕΙΣΑΓΩΓΗ

Συστήματα μη γραμμικών εξισώσεων Επίλυση προβλημάτων F(x 1,x 2,…,x n )=0, όπου F διάνυσμα στο n-διάστατο χώρο. Πχ, εάν n=2, ένα τέτοιο πρόβλημα θα μπορούσε να αντιστοιχούσε στο διάνυσμα: Εισαγωγή: Προβλήματα προς αντιμετώπιση

Βελτιστοποίηση χωρίς περιορισμούς Εύρεση ενός x *  R n τέτοιου ώστε: Για οποιοδήποτε x στην περιοχή του x * Εισαγωγή: Προβλήματα προς αντιμετώπιση

Μη-γραμμικά Ελάχιστα Τετράγωνα Εμφανίζονται συνήθως σε προβλήματα Προσαρμογής Δεδομένων και στην εκπαίδευση Νευρωνικών Δικτύων. Ελαχιστοποιείται μια συνάρτηση της μορφής: και όπου M > n. Εισαγωγή: Προβλήματα προς αντιμετώπιση

Αριθμητικά "σφάλματα" Η πεπερασμένη ακρίβεια των αριθμητικών πράξεων σε ένα Η/Υ έχει σαν αποτέλεσμα την δημιουργία "σφαλμάτων". Η πεπερασμένη ακρίβεια των αριθμητικών πράξεων σε ένα Η/Υ έχει σαν αποτέλεσμα την δημιουργία "σφαλμάτων". Εάν y είναι μια προσέγγιση του x, τότε ορίζουμε ως απόλυτο σφάλμα της προσέγγισης την ποσότητα |x-y|, ως δε σχετικό σφάλμα το λόγο|x-y|/|x| (εφόσον x  0). Εάν y είναι μια προσέγγιση του x, τότε ορίζουμε ως απόλυτο σφάλμα της προσέγγισης την ποσότητα |x-y|, ως δε σχετικό σφάλμα το λόγο|x-y|/|x| (εφόσον x  0). Εισαγωγή: Αριθμητικά "σφάλματα"

Ακρίβεια ‘‘μηχανής’’ Η ποσότητα αυτή συνήθως συμβολίζεται με  και ορίζεται ως ο μικρότερος θετικός αριθμός που αναπαρίσταται στον Η/Υ για τον οποίο ισχύει: 1 +  > 1Η ποσότητα αυτή συνήθως συμβολίζεται με  και ορίζεται ως ο μικρότερος θετικός αριθμός που αναπαρίσταται στον Η/Υ για τον οποίο ισχύει: 1 +  > 1 Ένα ισχύει τότε οι αριθμοί χΈνα ισχύει τότε οι αριθμοί χ και y έχουν τα πρώτα μισά σημαντικά ψηφία τους ίδια. και y έχουν τα πρώτα μισά σημαντικά ψηφία τους ίδια. Εισαγωγή: Ακρίβεια "μηχανής"

Σύγκλιση ακολουθιών Η ακολουθία {x n, n=0,1,2,…} συγκλίνει στην τιμή x * εάν: lim n  | x n - x * |=0Η ακολουθία {x n, n=0,1,2,…} συγκλίνει στην τιμή x * εάν: lim n  | x n - x * |=0 Eάν επιπλέον ισχύει: | x k+1 - x * |  c| x k - x * | με c  [0,1) και k>k min >0 τότε λέγεται ότι η ακολουθία συγκλίνει q-γραμμικά.Eάν επιπλέον ισχύει: | x k+1 - x * |  c| x k - x * | με c  [0,1) και k>k min >0 τότε λέγεται ότι η ακολουθία συγκλίνει q-γραμμικά. Αντίστοιχα εάν | x k+1 - x * |  c| x k - x * | p με p>1 η ακολουθία έχει q-σύγκλιση p-τάξεως.Αντίστοιχα εάν | x k+1 - x * |  c| x k - x * | p με p>1 η ακολουθία έχει q-σύγκλιση p-τάξεως. Εισαγωγή: Σύγκλιση ακολουθιών

Η μέθοδος του Newton (Newton-Raphson) Επιλύει το πρόβλημα: f(x) =0 Δεδομένης μιας προσέγγισης x 0 για την ρίζα, δοκιμάζονται διαδοχικά οι τιμές: Η παραπάνω ακολουθία συγκλίνει κάτω από ορισμένες προυποθέσεις σε μιά ρίζα της f(x). Μη γραμμικές εξισώσεις μιας μεταβλητής Εισαγωγή: Μη γραμμικές εξισώσεις μιας μεταβλητής

Σύντομη Ανάλυση Υποθέσεις για την συνάρτηση. |f '(x) - f '(y)|  γ |x - y|, γ>0 σταθερά, x,y  D |f '(x) - f '(y)|  γ |x - y|, γ>0 σταθερά, x,y  D |f '(x)|  ρ, ρ>0 σταθερά, x  D |f '(x)|  ρ, ρ>0 σταθερά, x  D Εάν x *  D, είναι ρίζα της f, τότε υπάρχει η>0 τέτοιο ώστε εάν |x 0 -x * | 0 τέτοιο ώστε εάν |x 0 -x * |<η, η ακολουθία συγκλίνει στην ρίζα x *. Επιπλέον δε ισχύει ότι: Εισαγωγή: Μη γραμμικές εξισώσεις μιας μεταβλητής

Παράδειγμα Σημειώστε ότιf 2 '(x) = 0γιαx=1 Σημειώστε ότι f 2 '(x) = 0 για x=1 Εισαγωγή: Μη γραμμικές εξισώσεις μιας μεταβλητής

Μειονεκτήματα Δεν ισχύουν πάντα οι προϋποθέσεις που αναφέρθηκαν προηγουμένως. Δεν ισχύουν πάντα οι προϋποθέσεις που αναφέρθηκαν προηγουμένως. Παρατηρείστε στο παράδειγμα την αργή σύγκλιση στην δεύτερη περίπτωση, όπου η παράγωγος μηδενίζεται και δεν ισχύει η συνθήκη |f '(x)|  ρ > 0 στο σημείο x=1.Παρατηρείστε στο παράδειγμα την αργή σύγκλιση στην δεύτερη περίπτωση, όπου η παράγωγος μηδενίζεται και δεν ισχύει η συνθήκη |f '(x)|  ρ > 0 στο σημείο x=1. Η σύγκλιση εξαρτάται από την αρχική προσέγγιση, και ως εκ τούτου ο αλγόριθμος μπορεί να αποτύχει.Η σύγκλιση εξαρτάται από την αρχική προσέγγιση, και ως εκ τούτου ο αλγόριθμος μπορεί να αποτύχει. Εισαγωγή: Μη γραμμικές εξισώσεις μιας μεταβλητής

Τροποποιήσεις Τα επιθυμητά χαρακτηριστικά των αλγορίθμων επίλυσης είναι:Τα επιθυμητά χαρακτηριστικά των αλγορίθμων επίλυσης είναι:   Ταχύτητα   Αποτελεσματικότητα  Η μέθοδος Newton είναι μεν ταχεία αλλά αποτυγχάνει σε αρκετές περιπτώσεις.  Οι τροποποιήσεις έχουν σκοπό την βελτίωση της αποτελεσματικότητας. Εισαγωγή: Μη γραμμικές εξισώσεις μιας μεταβλητής

Μέθοδος Newton με οπισθοχώρηση Αλγόριθμος Αλγόριθμος Εάν Θέτουμε: Αλλιώς: Εισαγωγή: Μη γραμμικές εξισώσεις μιας μεταβλητής

Προσεγγίσεις στην παράγωγο Αντικατάσταση του f '(x) με προσέγγιση πεπερασμένων διαφορών: f '(x n )  [ f(x n +h) - f(x n ) ]/h με κατάλληλα επιλεγμένο βήμα h. Αντικατάσταση του f '(x) με προσέγγιση πεπερασμένων διαφορών: f '(x n )  [ f(x n +h) - f(x n ) ]/h με κατάλληλα επιλεγμένο βήμα h. Αντικατάσταση του f '(x) με την ποσότητα: f '(x n )  [ f(x n ) - f(x n-1 ) ]/( x n - x n-1 )Αντικατάσταση του f '(x) με την ποσότητα: f '(x n )  [ f(x n ) - f(x n-1 ) ]/( x n - x n-1 ) Αποδεικνύεται ότι και τα δύο σχήματα έχουν παρόμοιες ιδιότητες σύγκλισης με την μέθοδο Newton. Εισαγωγή: Μη γραμμικές εξισώσεις μιας μεταβλητής

Βελτιστοποίηση σε μια διάσταση Επίλυση του προβλήματος: f '(x * ) = 0 υπό τον περιορισμό f "(x * ) > 0Επίλυση του προβλήματος: f '(x * ) = 0 υπό τον περιορισμό f "(x * ) > 0 Eφαρμογή της μεθόδου Newton στην f '(x)Eφαρμογή της μεθόδου Newton στην f '(x) Και αυτός ο αλγόριθμος μπορεί να τροποποιηθεί για να βελτιωθεί η αποτελεσματικότητά του.Και αυτός ο αλγόριθμος μπορεί να τροποποιηθεί για να βελτιωθεί η αποτελεσματικότητά του. Εισαγωγή: Βελτιστοποίηση σε μια διάσταση

Άλλες τεχνικές Τεχνικές χωρίς παραγώγουςΤεχνικές χωρίς παραγώγους –Fibonacci –Χρυσής τομής –Παραβολικής παρεμβολής Τεχνικές με παραγώγουςΤεχνικές με παραγώγους –Διχοτόμηση –Κυβικής παρεμβολής Εισαγωγή: Βελτιστοποίηση σε μια διάσταση

Χρήσιμες έννοιες και τεχνικές από την Γραμμική Άλγεβρα Διανυσματικά μέτραΔιανυσματικά μέτρα Διάνυσμα στον R n L  μέτρο L 1 μέτρο L 2 μέτρο Εισαγωγή: Χρήσιμες Τεχνικές Γραμμικής Άλγεβρας

Στοιχεία Πινάκων Μέτρα Πινάκων Ορισμός μέτρουΜέτρα Πινάκων Ορισμός μέτρου Μέτρο Frobenious α. j Η j-στήλη του Α α i. Η i-γραμμή του A Εισαγωγή: Χρήσιμες Τεχνικές Γραμμικής Άλγεβρας

Ιδιότητες ||ΑΒ||  ||Α||.||Β|| (Για όλα τα παραπάνω μέτρα)||ΑΒ||  ||Α||.||Β|| (Για όλα τα παραπάνω μέτρα) ||(I-E) -1 ||  1/(1-||E||) (Εάν ||Ε||<1 και ||Ι||=1)||(I-E) -1 ||  1/(1-||E||) (Εάν ||Ε||<1 και ||Ι||=1) ||Α -1 || = 1/min v  0 (||Av||/||v||)||Α -1 || = 1/min v  0 (||Av||/||v||) ||B -1 ||  || Α -1 || /{ 1- ||Α -1 (B-A)|| } (Εάν ο πίνακας Α είναι αντιστρέψιμος και ||Α -1 (B-A)||<1||B -1 ||  || Α -1 || /{ 1- ||Α -1 (B-A)|| } (Εάν ο πίνακας Α είναι αντιστρέψιμος και ||Α -1 (B-A)||<1 Εισαγωγή: Χρήσιμες Τεχνικές Γραμμικής Άλγεβρας

Γραμμικά Συστήματα  Η επίλυση Γραμμικών Συστημάτων είναι μέρος όλων σχεδόν των μεθόδων βελτιστοποίησης.  Ορισμένα συστήματα επιλύονται "εύκολα". Πχ τα διαγώνια: Ax=b (A διαγώνιος).  Επίσης όταν ο πίνακας Α είναι τριγωνικός ή ορθογώνιος, το σύστημα επιλύεται εύκολα. Εισαγωγή: Χρήσιμες Τεχνικές Γραμμικής Άλγεβρας

Παραγοντοποίηση Πινάκων Το σύστημα Ax=b επιλύεται εύκολα εάν είναι δυνατόν ο πίνακας Α να γραφεί ως: A=LU όπου L κάτω-τριγωνικός και U πάνω-τριγωνικός.Το σύστημα Ax=b επιλύεται εύκολα εάν είναι δυνατόν ο πίνακας Α να γραφεί ως: A=LU όπου L κάτω-τριγωνικός και U πάνω-τριγωνικός. (LU Παραγοντοποίηση) Η λύση βρίσκεται επιλύοντας διαδοχικά τα συστήματα Ly=b και Ux=yΗ λύση βρίσκεται επιλύοντας διαδοχικά τα συστήματα Ly=b και Ux=y Εισαγωγή: Χρήσιμες Τεχνικές Γραμμικής Άλγεβρας

Επίλυση τριγωνικών συστημάτων Το σύστημα:Το σύστημα: Επιλύεται ως εξής: Εισαγωγή: Χρήσιμες Τεχνικές Γραμμικής Άλγεβρας

Doolittle LU παραγοντοποίηση Ο αλγόριθμος Doolittle για την παραγοντοποίηση A=LU, θέτει τα διαγώνια στοιχεία του L ίσα προς την μονάδα. Εισαγωγή: Χρήσιμες Τεχνικές Γραμμικής Άλγεβρας H παραγοντοποίηση A=LU είναι δυνατή, εφόσον όλοι οι κυρίως ελλάσωνες του Α είναι αντιστρέψιμοι.

Παραγοντοποίηση Choleski Είναι δυνατή για συμμετρικούς και θετικά ορισμένους πίνακες Α. Εισαγωγή: Χρήσιμες Τεχνικές Γραμμικής Άλγεβρας

Μονοδιάστατη Ελαχιστοποίηση Είναι επιμέρους πρόβλημα της πολυδιάστατης περίπτωσης, όπως φαίνεται παρακάτω. ΓΕΝΙΚΗ ΔΟΜΗ ΜΕΘΟΔΟΥ ΠΟΛΥΔΙΑΣΤΑΤΗΣ ΕΛΑΧΙΣΤΟΠΟΙΗΣΗΣ Έστω f(x) μια πολυδιάστατη συνάρτηση και x (0) ένα αρχικό σημείο.  Υπολογίζεται μιά διεύθυνση s (k) =(s 1,s 2,…,s n )  Ελαχιστοποιείται ως προς λ η f(x (k) +λ s (k) ) (έστω δια λ=λ * )  Tίθεται x (k+1) = x (k) +λ * s (k)  Ελεγχος για τερματισμό ή επανάληψη απο το βήμα  Μονοδιάστατη Ελαχιστοποίηση

Διάστημα αβεβαιότητας Εάν a  x *  b, το διάστημα [a,b] λέγεται "Διάστημα Αβεβαιότητας", εύρους d=b-a.Εάν a  x *  b, το διάστημα [a,b] λέγεται "Διάστημα Αβεβαιότητας", εύρους d=b-a. Μια πρώτη εκτίμηση: x * = ½(a+b)±½dΜια πρώτη εκτίμηση: x * = ½(a+b)±½d Υπάρχουν μέθοδοι που στηρίζονται στην αλλεπάλληλη αναγωγή του εύρους του διαστήματος αβεβαιότητας, έτσι ώστε η παραπάνω εκτίμηση να γίνεται ολοένα και ακριβέστερη.Υπάρχουν μέθοδοι που στηρίζονται στην αλλεπάλληλη αναγωγή του εύρους του διαστήματος αβεβαιότητας, έτσι ώστε η παραπάνω εκτίμηση να γίνεται ολοένα και ακριβέστερη. Μονοδιάστατη Ελαχιστοποίηση

Μέθοδοι χωρίς παραγώγους Υπόθεση: Εντός του αρχικού διαστήματος [a,b] η συνάρτηση είναι μονότροπη.Υπόθεση: Εντός του αρχικού διαστήματος [a,b] η συνάρτηση είναι μονότροπη. Για την αναγωγή του διαστήματος χρειάζεται να υπολογιστεί η συνάρτηση σε δύο εσωτερικά σημεία a 1 και b 1 με a<a 1 <b 1 <bΓια την αναγωγή του διαστήματος χρειάζεται να υπολογιστεί η συνάρτηση σε δύο εσωτερικά σημεία a 1 και b 1 με a<a 1 <b 1 <b Εάν f(a 1 ) f(b 1 ) το νέο διάστημα είναι [a 1, b] Εάν f(a 1 )=f(b 1 ) το νέο διάστημα είναι [a 1, b 1 ]Εάν f(a 1 ) f(b 1 ) το νέο διάστημα είναι [a 1, b] Εάν f(a 1 )=f(b 1 ) το νέο διάστημα είναι [a 1, b 1 ] Μονοδιάστατη Ελαχιστοποίηση

Γενικά χαρακτηριστικά Ειναι επιθυμητό τα διαστήματα [a, b 1 ] και [a 1, b] να έχουν το ίδιο εύρος.Ειναι επιθυμητό τα διαστήματα [a, b 1 ] και [a 1, b] να έχουν το ίδιο εύρος. Εάν d 0,d 1,d 2 είναι εύρη διαδοχικών διαστημάτων και επιπλέον απαιτηθεί να ισχύει d 0 =d 1 +d 2, τότε τα a 1, b 1 πρέπει να διαλεχθούν έτσι ώστε η διαφορά x=a 1 -a (=b-b 1 ) να ικανοποιεί την ανισότητα:Εάν d 0,d 1,d 2 είναι εύρη διαδοχικών διαστημάτων και επιπλέον απαιτηθεί να ισχύει d 0 =d 1 +d 2, τότε τα a 1, b 1 πρέπει να διαλεχθούν έτσι ώστε η διαφορά x=a 1 -a (=b-b 1 ) να ικανοποιεί την ανισότητα: Μονοδιάστατη Ελαχιστοποίηση

Γραφική αναπαράσταση Μονοδιάστατη Ελαχιστοποίηση a a 1 b 1 b x x d 0 -2x x d 1 =d 0 -x x= d 2

Χρυσή Τομή Εάν απαιτηθεί να ανάγεται το διάστημα κάθε φορά με ένα παράγοντα t, τότε θα ισχύει λόγω του ότι d 0 =d 1 +d 2, 1=t+t 2 που οδηγεί στην τιμή του λόγου της χρυσής τομής:Εάν απαιτηθεί να ανάγεται το διάστημα κάθε φορά με ένα παράγοντα t, τότε θα ισχύει λόγω του ότι d 0 =d 1 +d 2, 1=t+t 2 που οδηγεί στην τιμή του λόγου της χρυσής τομής: Μονοδιάστατη Ελαχιστοποίηση

Fibonacci Εάν το προτελευταίο διάστημα (d n-1 ) διχοτομηθεί (οπότε d n-1 =2d n ) τότε η ιδιότητα d n-2 =d n-1 +d n παράγει διαστήματα ευρών 1d n, 2d n, 3d n, 5d n,...Εάν το προτελευταίο διάστημα (d n-1 ) διχοτομηθεί (οπότε d n-1 =2d n ) τότε η ιδιότητα d n-2 =d n-1 +d n παράγει διαστήματα ευρών 1d n, 2d n, 3d n, 5d n,... Η ακολουθία 1,2,3,5,8,13,... ονομάζεται ακολουθία του Fibonacci.Η ακολουθία 1,2,3,5,8,13,... ονομάζεται ακολουθία του Fibonacci. Μονοδιάστατη Ελαχιστοποίηση

Τετραγωνική Παρεμβολή Εντός του διαστήματος [a,b] διαλέγουμε ένα τρίτο σημείο c, τέτοιο ώστε να ισχύει: f(c)< f(a) και f(c)< f(b).Εντός του διαστήματος [a,b] διαλέγουμε ένα τρίτο σημείο c, τέτοιο ώστε να ισχύει: f(c)< f(a) και f(c)< f(b). Από τα σημεία {a,f(a)}, {c,f(c)}, {b,f(b)} διέρχεται ένα μοναδικό πολυώνυμο δευτέρου βαθμού.Από τα σημεία {a,f(a)}, {c,f(c)}, {b,f(b)} διέρχεται ένα μοναδικό πολυώνυμο δευτέρου βαθμού. Το τέταρτο σημείο διαλέγεται έτσι ώστε να ελαχιστοποιεί το παραπάνω πολυώνυμο.Το τέταρτο σημείο διαλέγεται έτσι ώστε να ελαχιστοποιεί το παραπάνω πολυώνυμο. Γνωστή ως μέθοδος του Powell Μονοδιάστατη Ελαχιστοποίηση

Μέθοδοι με παραγώγους Μέθοδος διχοτόμησης. Διαλέγεται το ενδιάμεσο σημείο c=a+(b- a)/2.Μέθοδος διχοτόμησης. Διαλέγεται το ενδιάμεσο σημείο c=a+(b- a)/2. Εάν η παράγωγος στο σημείο αυτό είναι θετική, το νέο διάστημα είναι το [α,c], ενώ εάν είναι αρνητική είναι το [c,b].Εάν η παράγωγος στο σημείο αυτό είναι θετική, το νέο διάστημα είναι το [α,c], ενώ εάν είναι αρνητική είναι το [c,b]. Αρχικά υποθέτουμε ότι: f '(a) 0 λόγω του ότι η συνάρτηση είναι μονότροπη.Αρχικά υποθέτουμε ότι: f '(a) 0 λόγω του ότι η συνάρτηση είναι μονότροπη. Μονοδιάστατη Ελαχιστοποίηση

Κυβική παρεμβολή Από τα σημεία {a,f(a)} και {b,f(b)} διέρχεται ένα μοναδικό πολυώνυμο p(x) τρίτου βαθμού που ικανοποιεί επιπλέον τις συνθήκες: p '(a)=f '(a), p '(b)=f '(b).Από τα σημεία {a,f(a)} και {b,f(b)} διέρχεται ένα μοναδικό πολυώνυμο p(x) τρίτου βαθμού που ικανοποιεί επιπλέον τις συνθήκες: p '(a)=f '(a), p '(b)=f '(b). Εντοπίζεται η θέση του ελαχίστου του παραπάνω πολυωνύμου, που αντικαθιστά ένα εκ των δύο άκρων.Εντοπίζεται η θέση του ελαχίστου του παραπάνω πολυωνύμου, που αντικαθιστά ένα εκ των δύο άκρων. Γνωστή ως μέθοδος του Davidon Μονοδιάστατη Ελαχιστοποίηση

Πολυδιάστατοι μέθοδοι Μέθοδοι χωρίς παραγώγουςΜέθοδοι χωρίς παραγώγους Μέθοδοι με χρήση πρώτων παραγώγωνΜέθοδοι με χρήση πρώτων παραγώγων –Χωρίς προσέγγιση δευτέρων παραγώγων –Με προσεγγίσεις για τον πίνακα των δευτέρων παραγώγων Μέθοδοι με χρήση πρώτων και δεύτερων παραγώγωνΜέθοδοι με χρήση πρώτων και δεύτερων παραγώγων Πολυδιάστατη Ελαχιστοποίηση

Μέθοδοι χωρίς παραγώγους  Η μέθοδος των "Εναλλασσομένων διευθύνσεων" και παραλλαγές της  Στοχαστικές μέθοδοι  Η μέθοδος SIMPLEX Πολυδιάστατη Ελαχιστοποίηση

Μέθοδος των Εναλλασσομένων Διευθύνσεων Εφαρμόζεται μονοδιάστατη αναζήτηση ως προς κάθε μία από τις μεταβλητές διαδοχικά. Η διαδικασία μετά το τέλος του κύκλου επαναλαμβάνεται. Πολυδιάστατη Ελαχιστοποίηση ΟΧΙ ΤΕΛΟΣ Πρόοδος ? Δεν είναι αποτελεσματική μέθοδος και παραβλέπει την αλληλοσυσχέτιση των μεταβλητών.

Παραλλαγές: Ιχνοαναζήτηση Η μέθοδος ROLLΗ μέθοδος ROLL Pattern Search Για κάθε διεύθυνση x i υπάρχει ένα βήμα s i και ακολουθείται η παρακάτω διαδικασία. Εάν η συνάρτηση έχει μικρότερη τιμή στο x i +s i, το σημείο γίνεται αποδεκτό και το βήμα μεγαλώνει με ένα συντελεστή s i =αs i με α>1 Αλλιώς δοκιμάζεται το σημείο x i -s i, και Εάν η συνάρτηση έχει μικρότερη τιμή, το σημείο γίνεται αποδεκτό και το βήμα αλλάζει ως s i = -αs i Αλλιώς το σημείο παραμένει ως είχε (x i ) και το βήμα παίρνει την τιμή όπου f ± =f(x 1,…, x i ±s i,…,x N ) και f 0 =f(x 1,…, x i,…,x N ) Μετά την συμπλήρωση του κύκλου εκτελείται μια γραμμική αναζήτηση στην κατεύθυνση (s 1,s 2,…,s N ) Πολυδιάστατη Ελαχιστοποίηση

Στοχαστικές Μέθοδοι Χρησιμοποιούν τυχαίους αριθμούς για να καλύψουν τον χώρο αναζήτησης. Δεν είναι αποτελεσματικές μέθοδοι και δεν βασίζονται σε κάποιο θεωρητικό μοντέλο. Εάν: ξ=(ξ 1,ξ 2,…,ξ Ν ) και ξ i τυχαίοι στο διάστημα [-1,1], ο βασικός αλγόριθμος έχει ως εξής:  Εάν: f(x+aξ )< f(x), το σημείο x+aξ γίνεται αποδεκτό.  Διαλέγεται ένα νέο ξ και επαναλαμβάνεται η διαδικασία. Εάν μετά από αρκετές επαναλήψεις δεν υπάρχει πρόοδος, η τιμή του a μειώνεται και η διαδικασία ξαναρχίζει. Υπάρχουν πολλές παραλλαγές Πολυδιάστατη Ελαχιστοποίηση

Η μέθοδος SIMPLEX Το Πολύτοπο (ή SIMPLEX ) στον R N, είναι ένα κατασκεύασμα Ν+1 σημείων.Το Πολύτοπο (ή SIMPLEX ) στον R N, είναι ένα κατασκεύασμα Ν+1 σημείων. Στο χώρο των δύο διαστάσεων είναι ένα τρίγωνο, στον δε χώρο των τριών διαστάσεων είναι ένα τετράεδρο, κοκ.Στο χώρο των δύο διαστάσεων είναι ένα τρίγωνο, στον δε χώρο των τριών διαστάσεων είναι ένα τετράεδρο, κοκ. Οι κορυφές του πολύτοπου αντιστοιχούν σε ανύσματα του R N και συμβολίζονται ώς W 0,W 1,…,W N.Οι κορυφές του πολύτοπου αντιστοιχούν σε ανύσματα του R N και συμβολίζονται ώς W 0,W 1,…,W N. Επίσης γνωστή ως η μέθοδος του Πολυτόπου Πολυδιάστατη Ελαχιστοποίηση

Διαδικασίες και πράξεις Δεικτιοδότηση: Αρίθμηση των κορυφών W i έτσι ώστε για i<jΔεικτιοδότηση: Αρίθμηση των κορυφών W i έτσι ώστε f i  f(W i )  f(W j )  f j για i<j Αντιστροφή: Το σημείο είναι το αντίστροφο του ως προς.Αντιστροφή: r = c+(c - w). Το σημείο r είναι το αντίστροφο του w ως προς c. Διάταση: Το σημείο προκύπτει από την διάταση του ως προς.Διάταση: e = c +2(r - c). Το σημείο e προκύπτει από την διάταση του r ως προς c. Συρρίκνωση: k = c +(r-c)/2 Το σημείο k προ- κύπτει από την συρρίκνωση του r ως προς.Συρρίκνωση: k = c +(r-c)/2. Το σημείο k προ- κύπτει από την συρρίκνωση του r ως προς c. Συστολή: =(+ )/2 για i=1,2,…,N Το πολύτοπο συστέλεται πέριξ τουΣυστολή: W i =(W 0 + W i )/2 για i=1,2,…,N Το πολύτοπο συστέλεται πέριξ του W 0 Πολυδιάστατη Ελαχιστοποίηση

 Δεικτιοδότηση των W i, i=0,1,…,N  Υπολογισμός του κεντροειδούς των Ν κορυφών  Αντιστροφή της "υψηλότερης" κορυφής W Ν ως προς c και δημιουργία του σημείου r.  Εάν f 0  f(r)  f N-1, θέσε W Ν =r, f N =f(r) και επιστροφή στο   Εάν f(r)< f 0 υπολόγισε το e με διάταση του r ως προς c  Εάν f(e)<f(r), θέσε W Ν =e, f N =f(e) και επιστροφή στο  Αλλιώς θέσε W Ν =r, f N =f(r) και επιστροφή στο   Εάν f(r)  f N-1 και f(r)  f N υπολόγισε το k με συρρίκνωση του W Ν ως προς c εάν όμως f(r) < f N υπολόγισε το k με συρρίκνωση του r ως προς c  Εάν f(k)<min{f(r), f N }, θέσε W Ν =k, f N =f(k) Αλλιώς το πολύτοπο συστέλλεται πέριξ του W 0. Επιστροφή στο  Πολυδιάστατη Ελαχιστοποίηση Περιγραφή του αλγορίθμου

Μέθοδοι με παραγώγους Η μέθοδος του Newton για συστήματα μη γραμμικών εξισώσεων.Η μέθοδος του Newton για συστήματα μη γραμμικών εξισώσεων. Η μέθοδος του Newton για προβλήματα βελτιστοποίησης.Η μέθοδος του Newton για προβλήματα βελτιστοποίησης. Παραλλαγές της μεθόδου Newton.Παραλλαγές της μεθόδου Newton. Πολυδιάστατη Ελαχιστοποίηση

Μη γραμμικά συστήματα Προβλήματα της μορφής:Προβλήματα της μορφής: Εάν το σημείο x είναι πλησίον της λύσης x*, δηλαδή εάν h=x*-x με |h|<<1, τότε η ανάπτυξη Taylor έχει ως: Πολυδιάστατη Ελαχιστοποίηση

Η Μέθοδος του Newton για συστήματα εξισώσεων Το προηγούμενο σύστημα γράφεται ως:Το προηγούμενο σύστημα γράφεται ως: Σ k J ik (x (n) )h k = -f i (x (n) ), η Ιακωβιανή του συστήματος., η Ιακωβιανή του συστήματος. x (n+1) = x (n) +h = x (n) -J -1 f x (n+1) = x (n) +h = x (n) -J -1 f Η παραπάνω σχέση αποτελεί την βασική επανάληψη της πολυδιάστατης μεθόδου του Newton για συστήματα εξισώσεων. Πολυδιάστατη Ελαχιστοποίηση

Η Μέθοδος του Newton για Ελαχιστοποίηση Η προσέγγιση στην αντικειμενική συνάρτηση είναι τετραγωνική:Η προσέγγιση στην αντικειμενική συνάρτηση είναι τετραγωνική: Το ελάχιστο επιτυγχάνεται όταν:Το ελάχιστο επιτυγχάνεται όταν: Πολυδιάστατη Ελαχιστοποίηση

Προβλήματα Εάν η αρχική προσέγγιση είναι πλησίον της λύσης, τότε η μέθοδος του Newton έχει ταχεία τετραγωνική σύγκλιση.Εάν η αρχική προσέγγιση είναι πλησίον της λύσης, τότε η μέθοδος του Newton έχει ταχεία τετραγωνική σύγκλιση. Πολλές φορές όμως το γραμμικό σύστημα δεν έχει λύση ή παράγει λανθασμένα βήματα όταν πχ ο πίνακας έχει κάποια ιδιοτιμή κοντά στο μηδέν.Πολλές φορές όμως το γραμμικό σύστημα δεν έχει λύση ή παράγει λανθασμένα βήματα όταν πχ ο πίνακας έχει κάποια ιδιοτιμή κοντά στο μηδέν. Ο βασικός αλγόριθμος χρειάζεται τροποποίηση για να είναι αποτελεσματικός.Ο βασικός αλγόριθμος χρειάζεται τροποποίηση για να είναι αποτελεσματικός. Πολυδιάστατη Ελαχιστοποίηση

Φθίνουσες κατευθύνσεις Εάν κατα μήκος μιας κατεύθυνσης p, η συνάρτηση αρχικά είναι φθίνουσα, τότε η κατεύθυνση p, καλείται φθίνουσα.Εάν κατα μήκος μιας κατεύθυνσης p, η συνάρτηση αρχικά είναι φθίνουσα, τότε η κατεύθυνση p, καλείται φθίνουσα. Η παραπάνω συνθήκη εκφράζεται και ως: Πολυδιάστατη Ελαχιστοποίηση

Η κατεύθυνση είναι φθίνουσα εάν δηλαδή όταν ο πινακας Β είναι θετικά ορισμένος.Η κατεύθυνση είναι φθίνουσα εάν δηλαδή όταν ο πινακας Β είναι θετικά ορισμένος. Ο αλγόριθμος του Newton χωρίς τροποποιήσεις δεν εγγυάται ότι η κατεύθυνση p είναι φθίνουσα διότι ο Εσσιανός πίνακας δεν είναι πάντα θετικά ορισμένος.Ο αλγόριθμος του Newton χωρίς τροποποιήσεις δεν εγγυάται ότι η κατεύθυνση p είναι φθίνουσα διότι ο Εσσιανός πίνακας δεν είναι πάντα θετικά ορισμένος. Πολυδιάστατη Ελαχιστοποίηση

Τροποποιήσεις της βασικής μεθόδου ελαχιστοποίησης Υπολογισμός της κλίσηςΥπολογισμός της κλίσης Υπολογισμός του Εσσιανού ή κάποιας προσέγγισηςΥπολογισμός του Εσσιανού ή κάποιας προσέγγισης Παραγοντοποίηση του Β και διόρθωση έτσι ώστε να είναι θετικά ορισμένος.Παραγοντοποίηση του Β και διόρθωση έτσι ώστε να είναι θετικά ορισμένος. Επίλυση τουΕπίλυση του Στρατηγική για την επιλογή του νέου σημείου ως ή αλλοιώς.Στρατηγική για την επιλογή του νέου σημείου ως ή αλλοιώς.

Τροποποιήσεις της βασικής μεθόδου γιά συστήματα εξισώσεων Ο αλγόριθμος είναι ο ίδιος με τον προηγούμενο με τις εξής αντικαταστάσεις: Πολυδιάστατη Ελαχιστοποίηση

Μεθοδοι επιλογής του βήματος Γραμμική αναζήτηση στην κατεύθυνση του βήματος Newton, δηλαδή καιΓραμμική αναζήτηση στην κατεύθυνση του βήματος Newton, δηλαδή και Χρησιμοποίηση τεχνικών περιοχής εμπιστοσύνης (Trust Region), δηλαδή ελαχιστοποίηση (ως προς h ) του μοντέλουΧρησιμοποίηση τεχνικών περιοχής εμπιστοσύνης (Trust Region), δηλαδή ελαχιστοποίηση (ως προς h ) του μοντέλου Υπο τον περιορισμό: Υπο τον περιορισμό:

Περιοχή εμπιστοσύνης Πρόβλημα τετραγωνικού προγραμματισμού με ανισοτικό περιορισμό. Πρόβλημα τετραγωνικού προγραμματισμού με ανισοτικό περιορισμό. H αντιμετώπιση με την τεχνική των πολλαπλα- σιαστών του Lagrange οδηγεί στην επίλυση ενός συστήματος λίγο διαφορετικό από το αρχικό σύστημα του Newton.H αντιμετώπιση με την τεχνική των πολλαπλα- σιαστών του Lagrange οδηγεί στην επίλυση ενός συστήματος λίγο διαφορετικό από το αρχικό σύστημα του Newton. Πολυδιάστατη Ελαχιστοποίηση

Eπίλυση Levenberg Υπολογίζεται το βήμα Newton (που αντιστοιχεί στην περίπτωση μ=0 )Υπολογίζεται το βήμα Newton (που αντιστοιχεί στην περίπτωση μ=0 ) Εάν ικανοποιείται ο περιορισμός, τότεΕάν ικανοποιείται ο περιορισμός, τότε –εάν μεν μειώνεται η τιμή της συνάρτησης, διαλέγεται το σημείο Newton ως το νέο σημείο –άλλως παραμένει το παλαιό σημείο και ελαττώνεται η ακτίνα της περιοχής εμπιστοσύνης Εάν δεν ικανοποιείται ο περιορισμός υπολογίζεται ένα μ>0 τέτοιο ώστε |h(μ)|=RΕάν δεν ικανοποιείται ο περιορισμός υπολογίζεται ένα μ>0 τέτοιο ώστε |h(μ)|=R –και εάν μεν μειώνεται η τιμή της συνάρτησης, διαλέγεται το σημείο x+h ως το νέο σημείο –άλλως παραμένει το παλαιό σημείο και ελαττώνεται η ακτίνα της περιοχής εμπιστοσύνης Πολυδιάστατη Ελαχιστοποίηση

Eπίλυση Powell "Dog-leg" Πολυδιάστατη Ελαχιστοποίηση Επιλύεται το πρόβλημα προσεγγιστικά. Εάν το σημείο Newton είναι εκτός της σφαίρας (x (k),R), τότε η ευθεία που ενώνει τα σημεία Cauchy και Newton καθορίζει το σημείο Dogleg, εκεί που τέμνει την σφαίρα. Εάν και το σημείο Cauchy είναι εκτός της σφαίρας, διαλέγεται ως νέο δόκιμο σημείο εκεί που η κατεύθυνση Cauchy τέμνει την σφαίρα. Eάν το σημείο Newton είναι εντός της σφαίρας διαλέγεται με προτεραιότητα. Cauchy Newton Powell Dog-leg R x (k)

Μέθοδοι μεταβλητής μετρικής, ή Quasi-Newton Καθορίζουν πως υπολογίζεται η προσέγγιση του Εσσιανού πίνακα χρησιμοποιώντας μόνο πρώτες παραγώγους.Καθορίζουν πως υπολογίζεται η προσέγγιση του Εσσιανού πίνακα χρησιμοποιώντας μόνο πρώτες παραγώγους. Υπάρχουν διάφορες οικογένειες αλγορίθμων. Οι πιό σημαντικοί είναι οι αλγόριθμοι DFP (Davidon, Fletcher, Powell) και BFGS (Broyden,Fletcher, Goldfarb, Shanno)Υπάρχουν διάφορες οικογένειες αλγορίθμων. Οι πιό σημαντικοί είναι οι αλγόριθμοι DFP (Davidon, Fletcher, Powell) και BFGS (Broyden,Fletcher, Goldfarb, Shanno) Πολυδιάστατη Ελαχιστοποίηση

Η DFP Quasi-Newton Εάν Β (k) είναι η προσέγγιση για τον Εσσιανό πίνακα στο σημείο x (k), και g (k) η κλίση, τότε εάν το νέο σημείο είναι το x (k+1) και g (k+1) η αντίστοιχη κλίση, η προσέγγιση για τον Β (k+1) δίδεται από την σχέση:Εάν Β (k) είναι η προσέγγιση για τον Εσσιανό πίνακα στο σημείο x (k), και g (k) η κλίση, τότε εάν το νέο σημείο είναι το x (k+1) και g (k+1) η αντίστοιχη κλίση, η προσέγγιση για τον Β (k+1) δίδεται από την σχέση: Πολυδιάστατη Ελαχιστοποίηση

DFP συνέχεια... Αντίστοιχη έκφραση υπάρχει και για τον αντίστροφο του Εσσιανού πίνακα και παρατίθεται.Αντίστοιχη έκφραση υπάρχει και για τον αντίστροφο του Εσσιανού πίνακα και παρατίθεται. Πολυδιάστατη Ελαχιστοποίηση

Η BFGS Quasi-Newton H μέθοδος αυτή θεωρείται ως η καλύτερη γενικής χρήσης μέθοδος βελτιστοποίησης.H μέθοδος αυτή θεωρείται ως η καλύτερη γενικής χρήσης μέθοδος βελτιστοποίησης. H αντίστοιχη έκφραση για τον αντίστροφο πίνακα έχει ως εξής: Πολυδιάστατη Ελαχιστοποίηση

Μέθοδοι συζυγών κλίσεων Έχουν το πλεονέκτημα ότι δεν αποθηκεύουν τον Εσσιανό πίνακα που απαιτεί Ο(n 2 ) θέσεις μνήμης.Έχουν το πλεονέκτημα ότι δεν αποθηκεύουν τον Εσσιανό πίνακα που απαιτεί Ο(n 2 ) θέσεις μνήμης. Eίναι λιγότερο αποδοτικές από τις Quasi- Newton και η χρήση τους ενδείκνυται για προβλήματα με πολλές μεταβλητές.Eίναι λιγότερο αποδοτικές από τις Quasi- Newton και η χρήση τους ενδείκνυται για προβλήματα με πολλές μεταβλητές. Πολυδιάστατη Ελαχιστοποίηση

Ο αλγόριθμος έχει ως εξής:Ο αλγόριθμος έχει ως εξής: Αρχικά θέτουμε s (1) =-g (1) [=g(x (1) ) ]Αρχικά θέτουμε s (1) =-g (1) [=g(x (1) ) ] Yπολογίζεται το x (k+1) με γραμμική αναζήτηση επι της s (k) ξεκινώντας από το x (k)Yπολογίζεται το x (k+1) με γραμμική αναζήτηση επι της s (k) ξεκινώντας από το x (k) Υπολογίζεται η νέα κατεύθυνση αναζήτησης ως: s (k+1) = -g (k+1) + max{0,β (k) }s (k)Υπολογίζεται η νέα κατεύθυνση αναζήτησης ως: s (k+1) = -g (k+1) + max{0,β (k) }s (k) όπου όπου Πολυδιάστατη Ελαχιστοποίηση Fletcher-Reeves Polak-Ribiere