ΕΝΝΟΙΕΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ, διαλ. 7 ΕΝΝΟΙΕΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ, διαλ. 7 Ανωτάτη Σχολή Παιδαγωγικής και Τεχνολογικής Εκπαίδευσης 10/6/2017

Πολλές μεταβλητές Τοπική προσέγγιση του ελαχίστου με σειρά Taylor Κλίση Συνθήκη ελαχίστου

Για το ελάχιστο, θεωρούμε την προσέγγιση δευτέρας τάξεως: Hessian

Προσέγγιση δευτέρας τάξεως: Συνθήκες βελτιστότητας για πρόβλημα χωρίς περιορισμούς. Τοπικό ελάχιστο: Συνθήκη αναγκαιότητας πρώτης τάξεως: Συνθήκη επάρκειας δευτέρας τάξεως:

Θετικά ορισμένο (μητρώο) Hessian θετικά ορισμένο Έλεγχος θετικά ορισμένου μητρώου: Υπολογισμός yTHy για όλα τα y (μη πρακτικό) Οι ιδιοτιμές li του H θετικές Κανόνας του Sylvester: οι διακρίνουσες του H και τα κύρια υπομητρώα θετικά ορισμένα

Παράδειγμα Κατασκευή υπό φόρτιση: Ισσοροπία: Fx Fy k1 k2 ux uy Κατασκευή υπό φόρτιση: Ισσοροπία: Συνθήκη αναγκαιότητας πρώτης τάξεως:

Παράδειγμα(2) Συνθήκη επάρκειας β τάξεως: H θετικά ορισμένο; Σε ένα διαχωρίσιμο πρόβλημα, η βελτιστοποίηση μπορεί να γίνει ξεχωριστά για κάθε μεταβλητή (1-D). Σημ.: H διαγώνιο μητρώο. Διαχωρίσιμη αντικειμενική συνάρτηση:

Διωνυμικές συναρτήσεις Όροι πολυωνύμου έως β τάξεως: Γενική μορφή: Χάριν γεωμετρικής ερμηνείας των συνθηκών βελτιστότητας, έστω διωνυμικές συναρτήσεις. Σημ.: 2ας τάξεως σειρά Taylor είναι ακριβής

Διωνυμικές συναρτήσεις (2) Συνθήκες βελτιστότητας: Κλίση: Hessian: Στάσιμα σημεία:

Hessian θετικά ορισμένο Παράδειγμα Έστω Στάσιμο σημείο Hessian θετικά ορισμένο

Παράδειγμα (2) Αποτέλεσμα: ελάχιστο στο (1.2, -2.6): f x2 x1

Παράδειγμα: ελάχιστα τετράγωνα ΜΕΤ: βελτιστοποίηση χωρίς περιορισμούς Στάσιμο σημείο: x f

Περιεχόμενα Προβλήματα χωρίς περιορισμούς Μέθοδοι μετασχηματισμού Ύπαρξη λύσεων, συνθήκες βελτιστότητας Φύση στάσιμων σημείων Ολική βελτιστότητα Μ το μητρώο (στη ΜΕΤ) των αποκρίσεων της f που επιλέξαμε για παρεμβολή.

Φύση στάσιμων σημείων Hessian H θετικά ορισμένο: Τοπικά: ελάχιστο Διωνυμική μορφή Ιδιοτιμές Τοπικά: ελάχιστο Και οι δύο ορισμοί θετικά ορισμένου μητρώου είναι ισοδύναμοι Παρατηρ. τις θετικές καμπυλότητες. Οι ιδιοτιμές μπορούν να ερμηνευτούν και ως καμπυλότητες.

Φύση στάσιμων σημείων (2) Hessian H αρνητικά ορισμένο: Διωνυμική μορφή Ιδιοτιμές Τοπικά: μέγιστο

Φύση στάσιμων σημείων (3) Hessian H απροσδιόριστο: Διωνυμική μορφή Ιδιοτιμές Τοπικά: σαγματικό σημείο (saddle point)

Φύση στάσιμων σημείων (4) Hessian H θετικά ημι-ορισμένο: Διωνυμική μορφή Ιδιοτιμές H ιδιόμορφο! Τοπικά: κοιλάδα

Φύση στάσιμων σημείων (5) Hessian H αρνητικά ημι-ορισμένη: Διωνυμική μορφή Ιδιοτιμές H ιδιόμορφο! Τοπικά: κορυφογραμμή

Στάσιμα σημεία συγκεντρωτικά H Nature x* Θετικά ορ. ελάχιστο Θετικά ημι-ορ. κοιλάδα Απροσδιόριστο σαγματικό σημ. Αρνητικά ημι-ορ. κορυφογραμμή Αρνητικά ορ. μέγιστο

Παράδειγμα Θλιβόμενη ράβδος επί αρθρώσεως με περιστροφικά ελατήρια: F k1 k2 l Μέγιστο Ελάχιστα Σαγματικά σημεία

Περιεχόμενα Προβλήματα χωρίς περιορισμούς Μέθοδοι μετασχηματισμού Ύπαρξη λύσεων, συνθήκες βελτιστότητας Φύση στάσιμων σημείων Ολική βελτιστότητα

Ολική βελτιστότητα Συνθήκες βελτιστότητας για προβλήματα χωρίς περιορισμούς: Συνθ. αναγκαιότητας α τάξης: (στάσιμο σημείο ) Συνθ. επάρκειας β τάξης: H θετικά ορισμένο στο x* Συγκεκριμένα, πως μπορεί κανείς να σιγουρευτεί ότι επετεύχθει ολικό βέλτιστο.. Συνθήκες βελτιστότητας έγκυρες τοπικά: Τοπικό ελάχιστο Πότε είμαστε σίγουροι ότι το x* είναι ολικό ελάχιστο;

Κυρτές συναρτήσεις Κυρτή συνάρτηση: κάθε γραμμή που ενώνει 2 σημεία της επιφάνειας υπέρκειται αυτής (ή κείται εντός αυτής): Παρ. Διαφορά ανάμεσα σε αυστηρά κυρτές και απλά κυρτές. Ισοδύναμα: εφαπτόμενες ευθείες/επίπεδα υπόκεινται αυτής H θετικά (ημί-) ορισμένο  f τοπικά κυρτή (απόδειξη με προσέγγιση Taylor)

Κυρτά χωρία Κυρτό σύνολο: “Ένα σύνολο S εάν για κάθε σύο σημεία x1, x2 εντός του S, η γραμμή που τα ενώνει επίσης κείται εντός του S”

Κυρτότητα και ολική βελτιστότητα Εάν: Αντικειμ. Συν. f = (αυστηρά) κυρτή συνάρτηση Εφικτός χώρος = κυρτό σύνολο (Ισχύει για βελτιστοποίηση χωρίς περιορισμούς) Στάσιμο σημείο = (μοναδικό) ολικό ελάχιστο Ειδική περίπτωση: f, g, h γραμμικές συν.  γρ. βελτιστοποίηση προγραμματισμός Πιο γεν. περίπτωση: κυρτός προγραμματισμός

Παράδειγμα Διωνυμική συνάρτηση με A θετ. ορισμένο είναι αυστηρά κυρτές: f x1 x2 Στάσιμο σημείο (1.2, -2.6) πρέπει να είναι ολικό βέλτιστο

Συνθήκες βελτιστότητας: ανακεφαλαίωση Συνθήκες για τοπικό ελάχιστο ενός προβλήματος χωρίς περιορισμούς: Συνθ. αναγκαιότητας α’ τάξης: Συνθήκη επάρκειας β’ τάξης: H θετικά ορισμένο Για κυρτή f σε κυρτό εφικτό χωρίο: συνθήκη για ολικό ελάχιστο: Συνθήκη επάρκειας: