1 Αριθμητική Ανάλυση Μεταπτυχιακού Ακαδημαϊκό Έτος Τετάρτη 12, Νοεμβρίου η Εβδομάδα ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΤΟΜΕΑΣ ΥΠΟΛΟΓΙΣΤΙΚΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ

2 Θέμα: (α) ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ - - ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΜΕΘΟΔΟΙ ΕΠΙΛΥΣΗΣ Γ.Σ. (Iterative Methods) (β) ΑΣΤΑΘΗ Γ.Σ. – Συντελεστής αστάθειας – Conditioning

3 Π Ρ Ο Κ Α Τ Α Ρ Τ Ι Κ Α ΑΡΙΣΤΑ ΒΟΗΘΗΜΑΤΑ 1. D.M. Young : Iterative Solution of large linear systems, Academic Press, R.S. Varga : Matrix Iterative Analysis, Prentice,1962. ΒΑΣΙΚΑ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ (α) Συστήματα με μεγάλο πλήθος εξισώσεων ( ) και πολύ μεγάλο ποσοστό μηδενικών στοιχείων (~90%), αραιά – Sparse Systems - συστήματα. (β) Στόχος, ο ταχύς προσδιορισμός μιάς ορισμένης ακρίβειας λύσης, του Γ.Σ.. ΦΙΛΟΣΟΦΙΑ ΜΕΘΟΔΩΝ Παρόμοια της γενικής επαναληπτικής, των εξισώσεων. Δηλαδή, υποκατάσταση του αρχικού συστήματος μ’ ένα άλλο που να επιλύεται εύκολα. Έτσι, αντί του, επιλύεται το:, με το επαναληπτικό σχήμα, όπου Τ=Μ -1 (Μ – Α) και. ΠΕΡΙΠΤΩΣΕΙΣ του Μ, όταν ο πίνακας Α αναλυθεί σε : A = D–B–C (α)Διαγώνιος πίνακας M ( = D – Μέθοδος Jacobi ) (β)Τριγωνικός πίνακας Μ ( = D-B » Gauss-Seidel ) (γ) Συνδυασμοί των δύο M( =D-ωB » S. O. R. ).

4 Οι τρεις βασικές επαναληπτικές μέθοδοι : ΕΠΑΝΑΛΗΠΤΙΚΟΙ ΠΙΝΑΚΕΣ ΤΩΝ 3 ΜΕΘΟΔΩΝ: (α) Jacobi : Τ j =D -1 (B+C) (β) G-S : Τ G-S =(D-B) -1 C (γ) Relaxation: Τ R =(D-ωB) -1 {(1-ω)D+ωC). Παράδειγμα 1ο: Στο Γ.Σ. που ακολουθεί, οι αντίστοιχοι πίνακες είναι: Τα 3 επαναληπτικά σχήματα για το Γ.Σ. (1) είναι : (Μέθοδος - Jacobi) ( » - Gauss-Seidel) ( » - Relaxation) Έτσι, από τα (2) και (3), με. λαμβάνουμε τον ακόλουθο πίνακα των αριθμητικών αποτελεσμάτων,για τις τρείς μεθόδους :

5 Η λύση του συστήματος είναι :. Ερώτημα: Ποια είναι η βασική διαφορά μεταξύ των επαναληπτικών σχημάτων (2), (3) και (4); x\k0123 JG-SSORJG-SSORJG-SSOR x1x X2X x3x JJJ x1x x2x x3x Αριθμητικά αποτελέσματα με : Jacobi, Gauss-Seidel & SOR

6 ΜΕΛΕΤΗ ΣΦΑΛΜΑΤΟΣ ΤΩΝ ΕΠΑΝΑΛΗΠΤΙΚΩΝ ΜΕΘΟΔΩΝ ΑΝΑΛΥΣΗ ΣΦΑΛΜΑΤΟΣ ΤΡΕΧΟΥΣΑΣ ΕΠΑΝΑΛΗΨΗΣ Η γενική μορφή του επαναληπτικού σχήματος είναι :,και στο όριο εφόσον συγκλίνει : οπότε το σφάλμα θα είναι : με : Τ=Τ j ή T G-S ή T R. Δι΄αφαιρέσεως της (5) από την (6) έχουμε ( την σχέση των διαδοχικών σφαλμάτων): Στη συνέχεια θεωρούμε ότι ο επαναληπτικός πίνακας Τ έχει ένα πλήρες σύστημα ιδιοδιανυσμάτων και και ότι το αρχικό σφάλμα αναλύεται στον ιδιόχωρο του T ( με τα ιδιοδιανύσματά και οι ιδιοτιμές του Τ) ως εξής : Οπότε η σχέση (7), λόγω της (8) γίνεται: Έτσι αν αξιοποιήσουμε την ιδιότητα των ιδιοτιμών τότε η (9) γράφεται :

7 Παρατηρήσεις - Εφαρμογή Από την (10) είναι σαφές, ότι σε κάθε επανάληψη του σχήματος, οι τιμές του αρχικού σφάλματος, ως προς τις κύριες κατευθύνσεις του ιδιόχωρου του Τ πολλαπλασιάζονται με την αντίστοιχη ιδιοτιμή λ k. Έτσι,εάν ρ(Τ)<1,δηλ. οι ιδιο- τιμές του επαναληπτικού πίνακα Τ είναι απολύτως μικρότερες της μονάδας, τότε από την (10) προκύπτει ότι έχουμε συνεχή συρρίκνωση του σφάλματος και το αντίστοιχο επαναληπτικό σχήμα θα συγκλίνει στη λύση του Γ.Σ. Παράδειγμα 2ο: Στο γραμμικό σύστημα: Οι επαναληπτικοί πίνακες T J, Τ G-S και T R με τις αντίστοιχες ιδιοτιμές είναι: Ασκηση : Εύρατε για τον 3-διαγώνιο πίνακα που ακολουθεί τους 3 επαναλη- πτικούς πίνακες T J, Τ G-S και T R και στην συνέχεια υπολογίσατε τις φασματικές ακτινες των:

8 Δηλαδή, οι ιδιοτιμές των R είναι τα τετράγωνα των G-S, που είναι τα τετράγωνα των J, όλες δε είναι μικρότερες της μονάδας. Σημειώσεις: (1) Ο D. Young απέδειξε για την ειδική κατηγορία των Γ.Σ. που ο πίνακας των συντελεστών του αγνώστου έχει τη δομή που καλείται «Property A», ότι οι ιδιοτιμές μ του T J και οι ιδιοτιμές λ του T R συνδέονται με τη σχέση: Εάν εφαρμόσουμε την (11) για ω=1 (δηλαδή G-S) τότε έχουμε την ιδιότητα: όπως συνέβη στο προηγούμενο παράδειγμά μας. (2)Το βέλτιστο ω συνδέεται με την ισότητα των δύο ριζών λ 1 και λ 2 (που η συνθήκη αυτή συνεπάγεται τον μηδενισμό της διακρίνουσας στη δευτεροβάθμια εξίσωση) που σημαίνει: απ’ όπου λαμβάνουμε: ή, με πολλαπλασιασμό του β’ μέλους με τη συζυγή παράσταση του αριθμητή τελικά έχουμε:

9 Προσδιορισμός του βέλτιστου ω, όταν το σύστημα κέκτηται την «Property A» Άρα, όταν το σύστημα πληροί την «Property A», τότε ο προσδιορισμός του ω : έχει ανάγκη μόνο την φασματική ακτίνα του πίνακα Jacobi. Το ενδιαφέρον είναι ότι στις εφαρμογές και ιδιαίτερα στις α- ριθμητικές επιλύσεις των διαφορικών εξισώσεων τα Γ. Σ. που παρουσιάζονται ικανοποιούν την «Property A», πράγμα που βοηθά στην αξιοποίηση της Relaxation για την ταχεία εύρεση της λύσεως του Γ.Σ. Η «Property A», σχετίζεται με τον τρόπο κατανομής των μη-διαγώ- νιων στοιχείων του πίνακα των συντελεστών των αγνώστων, σε τελική δε μορφή διαχωρίζει τους αγνώστους σε δύο ομάδες, που κάθε άγνωστος της μιάς ομάδας συνδέεται μόνον με ομοίους του

10 «Property A» (συνέχεια ) της άλλης ομάδας. (4)Ο τρόπος ελέγχου της «Property A» επιτυγχάνεται με τον διαχωρισμό του συνόλου των δεικτών των μη μηδενικών συντελεστών σε δύο υποσύνο- λα ξένα μεταξύ τους,με ένωση το σύνολο των δεικτών, όπως θα δώσουμε στο παράδειγμα που ακολουθεί, για τον πίνακα Β : Βήμα 1ο: Εξετάζουμε τα μη-μηδενικά (και μη-διαγώνιο ) στοιχεία της πρώ- της γραμμής. Αυτά έχουν δείκτες (1,2)και (1,3),που σημαίνει ότι ο δείκτης 1 θα ανήκει στο πρώτο υποσύνολο, έστω αυτό το Σ, ενώ οι δύο άλλοι πρέπει να ανή- κουν στο άλλο υποσύνολο, έστω αυτό το Τ. Βήμα 2ο : Εξετάζουμε τα μη-μηδενικά (και μη-διαγώνιο ) στοιχεία της 2ης γραμμής. Αυτά είναι τα : (2,1) και (2,4). Εξ αυτών, οι δείκτες 1 και 2 έχουν ήδη

11 Διαδικασία ελέγχου της «Property A» καταταγεί, ενώ ο δείκτης 4 σαφώς πρέπει να καταταγεί στο Σ. Βήμα 3ο : Εξετάζουμε τα μη-μηδενικά (και μη-διαγώνιο ) στοιχεία της 3ης γραμμής. Αυτά είναι τα (3,1) και (3,4), που οι δείκτες τους ανήκουν σε δια- φορετικά υποσύνολα, ως ώφειλαν για την ελεγχόμενη ιδιότητα. Βήμα 4ο : Εξετάζουμε τα μη-μηδενικά (και μη-διαγώνιο ) στοιχεία της 4ης γραμμής. Αυτά είναι τα (4,2) και (4,3), με δείκτες που έχουν ήδη καταταγεί. Έτσι έχουμε για τους δείκτες {1.4}εΣ και {2,3}εΤ, με ΣUT={1,2,3,4} και το κενό σύνολο, πράγμα που υποδηλώνει ότι ο πίνακας Β πληροί την ιδιότητα Α. Τέλος, με εναλλαγή της 2ης και 4ης γραμμής του πίνακα μαζί με την εναλλαγή και των αντίστοιχων στηλών ο Β μετασχηματίζεται σε πίνακα «con- sistently ordered» - συνεπώς διατεταγμένο - που είναι ο :

12 Διαδικασία ελέγχου της «Property A» Παρατηρήσατε στον συνεπώς διατεταγμένο πίνακα (14) ότι οι 2 πρώτες μετα- Βλητές συνδέονται μόνον η κάθε μία τους, με τις 2 τελευταίες μεταβλητές, και αντίστροφα. (5) Οι τριδιαγώνιοι πίνακες πληρούν την «Property A». (6) Οι block 3-διαγώνιοι πίνακες με διαγώνια στοιχεία διαγώνιους πίνακες πλη- ρουν την «Property A». (7) Στον τριδιαγώνιο πίνακα ν-τάξεως : αποδεικνύεται, γενικώτερα, ότι οι 3 φασματικές ακτίνες είναι :

13 Σαφής υπεροχή της S.O.R. έ ναντι των 2 άλλων επαναληπτικών μεθόδων Έτσι, εάν πάρουμε ν=21, μπορούμε να έχουμε μιά γενικώτερη εικόνα,την ακό- λουθη για τις ταχύτητες σύγκλισης : πράγμα που σημαίνει ότι σε κάθε επανάληψη της S.O.R. το σφάλμα μειούται κατά 25%,ενώ η J και η G-S το μειώνουν κατά 1% και 2% αντίστοιχα. Άρα, 30 περίπου επαναλήψεις της J ισοδυναμούν με 1 της S.O.R.,αφού : Προφανώς, το κλειδί της επιτυχίας της S.O.R. - που είναι ακόμη πιο εντυπω- σιακή σε μεγαλύτερες διαστάσεις- είναι το βέλτιστο ω, η επιταχυντική παρά- μετρος, για την οποία έχει γίνει εκτεταμένη έρευνα, όπως και γίνεται ακόμη και για άλλα είδη επιταχυντικών παραμέτρων - αφού Γ.Σ. με χιλιάδες αγνώστους είναι το κύριο αντικείμενο δουλειάς της συντριπτικής πλειονότητας των Η.Υ. ανά τον κόσμο - που είναι όμως πέραν των στόχων αυτών των παρουσιάσεων.

14 Ασταθή Συστήματα Ερχόμεθα τώρα στον ρεαλισμό των εφαρμογών, όπου τα διάφορα δεδομένα δεν είναι ακέραιοι αριθμοί, αλλά αριθμοί που προκύπτουν από πειραματικά κυρίως αποτελέσματα, άρα είναι δεδομένα με θόρυβο, δηλ. με ανακρίβειες. Στόχος μας δε θα είναι να περιορίσουμε κατά το δυνατό, τις συνέπειες αυ- των των ανακριβών δεδομένων στα αποτελέσματα μας. Ήδη, στην περασμένη παρουσίαση μας και σε σχέση με τους πίνακες Hilbert, που είναι γνωστοί για την αστάθεια τους, δώσαμε ένα τρόπο υπέρβασης της αβεβαιότητας της λύσης, με αύξηση της χρησιμοποιουμένης ακρίβειας των πράξεων, αντιμετώπιση που δεν λειτουργεί πάντα, πράγμα που μας οδηγεί σε μιά βαθύτερη μελέτη του προβλήματος, που την ξεκίνησαν για τα Γ.Σ. οι Newmann – Goldstein με μία εκτεταμένη μνημειώδη εργασία 40 περίπου σε- λίδων. Εμείς εδώ θα αρκεστούμε σε τρία θεωρήματα που θα μας εφοδιάσουν Με άνω φράγματα σε 3 σημαντικές περιπτώσεις, τις : (α) Αβεβαιότητας στο σταθερό διάνυσμα, (β) Αβεβαιότητας στον πίνακα των συντελεστών αγνώστων, (γ) Αβεβαιότητας και στο σταθερό διάνυσμα και στον πίνακα των συντελεστών των αγνώστων.

15 (α) Αβεβαιότητας στο σταθερό διάνυσμα Θεώρημα 1:Έστω Α ένας μη ιδιάζων πίνακας και δβ μια διαταραχή του σταθε- ρού διανύσματος του Γ.Σ. : τότε, φυσικά θα ικανοποιείται η εξίσωση : Θα αποδείξουμε ότι ισχύει η σχέση – άνω φράγμα στο σχετικό σφάλμα της λύσεως : Απόδειξη : Με εκτέλεση των πράξεων στην (16), παίρνουμε διαδοχικά τις : και επειδή όταν πάρουμε στάθμες από την (16) έχουμε: οπότε με διαίρεση των 2 τελευταίων και ανακατάταξη εύκολα παίρνουμε την αποδεικτέα :

16 (β) Αβεβαιότητας στον πίνακα των συντελεστών των αγνώ- στων Θεώρημα 2: Έστω Α ένας μη ιδιάζων πίνακας και δΑ μια διαταραχή του πίνακα των συντε- λεστών των αγνώστων.Στο Γ.Σ. : ισχύει το ακόλουθο φράγμα στην διαταραχή της λύσεως : Απόδειξη. Προφανώς θα ισχύει : Με εκτέλεση των πράξεων διαδοχικά έχουμε :

17 (γ) Αβεβαιότητας στον Α και το β Θεώρημα 3: Έστω Α ένας μη ιδιάζων πίνακας και δΑ, δβ διαταραχές του πίνακα των συντελεστών των αγνώστων και του σταθερού διανύσματος. Στο Γ.Σ. : Εάν ισχύει η συνθήκη : Τότε αποδεικνύεται το παρακάτω άνω φράγμα : Απόδειξη. Προφανώς θα ισχύει : μετά την εκτέλεση των πράξεων και των σχετικών ανακατατάξεων, έχουμε : Λόγω των: και της :

18 Θα έχουμε διά διαιρέσεως διά της πρώτης και αντικατάστασης της δεύτερης την αποδεικτέα (25) :

19 Παραδείγματα : 1.Έστω το Γ.Σ. : Για το οποίο υποθέτουμε την αναγραφείσα αβεβαιότητα στο σταθερό διάνυσμα, οπότε για το άνω φράγμα στο σφάλμα της λύσεως, βάσει του (19), πρέπει να βρεθεί ο αντίστροφος του πίνακα των συντελεστών των αγνώστωνμε G.-J. : καθώς επίσης και οι στάθμες αυτών, π.χ. οι άπειρες στάθμες είναι : Έτσι η (19) δίδει για τις άπειρες στάθμες : που σημαίνει ότι το μέγιστο σφάλμα που μπορεί να παρουσιασθεί είναι της τάξεως των μονάδων.

20

21 2. Στο Γ.Σ. : Που ακολουθεί : η αβεβαιότητα θεωρείται ότι βρίσκεται στον πίνακα των συντελεστών των αγνώστων, οπότε κατά τα γνωστά για το φράγμα στο σφάλμα από τον (21) : αφού: Τέλος, στην προκειμένη περίπτωση μπορούμε να λύσουμε το (28), να βρούμε την λύση του και να επαληθεύσουμε την (29):

22 που γίνεται : 3. Στο Γ.Σ. : υποθέτουμε ότι υπάρχουν αμφότερες οι αβεβαιότητες και λύνουμε το :

23 Η πολύ μεγάλη απόκλιση είναι συνέπεια του μεγάλου συντελεστή αστάθειας Εάν λύσουμε το Γ.Σ. : με 1 επί πλέον δ.ψ. τότε η λύση δεν αφίσταται σημαντικά της πρώτης.