ΑΝΑΛΥΣΗ ΠΑΛΙΝΔΡΟΜΗΣΗΣ (ΜΕΡΟΣ Γ’) ΕΘΝΙΚΟ ΚΑΙ ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΤΕΧΝΟΛΟΓΙΕΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΣΤΗΝ ΙΑΤΡΙΚΗ ΚΑΙ ΤΗ ΒΙΟΛΟΓΙΑ ΜΑΘΗΜΑ : ΒΙΟΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΠΑΛΙΝΔΡΟΜΗΣΗΣ (ΜΕΡΟΣ Γ’) ΔΙΟΝΥΣΗΣ ΛΙΝΑΡΔΑΤΟΣ e-mail : dlinardatos@di.uoa.gr 6 ΔΕΚΕΜΒΡΙΟΥ 2018

Ανάλυση παλινδρόμησης Σύντομη επανάληψη της πολλαπλής γραμμικής παλινδρόμησης Ανάλυση λογιστικής παλινδρόμησης Γενικευμένα γραμμικά μοντέλα Μη γραμμική ανάλυση παλινδρόμησης

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η τεχνική δημιουργίας ενός γραμμικού μοντέλου παλινδρόμησης χρησιμοποιώντας περισσότερες από μία ανεξάρτητες μεταβλητές ονομάζεται ανάλυση πολλαπλής γραμμικής παλινδρόμησης (multiple linear regression analysis). Η εξίσωση του μοντέλου περιέχει ένα σταθερό όρο (όπως το απλό γραμμικό μοντέλο) και ένα πλήθος συντελεστών που είναι ίσο με το πλήθος των ανεξάρτητων μεταβλητών. Οι συντελεστές αυτοί ονομάζονται μερικοί συντελεστές παλινδρόμησης (partial regression coefficients).

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η επιλογή της ευθείας γραμμής βασίζεται στο κριτήριο ελαχίστων τετραγώνων. Η γραμμή παλινδρόμησης ελαχίστων τετραγώνων είναι η γραμμή που έχει το ελάχιστο άθροισμα τετραγώνων των καθέτων αποστάσεων των σημείων των δεδομένων από την ευθεία γραμμή. Οποιαδήποτε άλλη ευθεία (δηλαδή οποιοδήποτε άλλο σύνολο μερικών συντελεστών παλινδρόμησης) έχει μεγαλύτερο άθροισμα τετραγώνων των καθέτων αποστάσεων των σημείων των δεδομένων από την ευθεία γραμμή.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η εφαρμογή της μεθοδολογίας ελαχίστων τετραγώνων προϋποθέτει την ισχύ των ακόλουθων παραδοχών/υποθέσεων : Όλες οι παρατηρήσεις είναι ανεξάρτητες. Οι σχέσεις μεταξύ της εξαρτημένης και των (πολλαπλών) ανεξάρτητων μεταβλητών είναι γραμμικές για τον πληθυσμό. Για οποιοδήποτε συνδυασμό τιμών των (πολλαπλών) ανεξάρτητων μεταβλητών, η εξαρτημένη μεταβλητή ακολουθεί την κανονική κατανομή. Η διακύμανση της κατανομής της εξαρτημένης μεταβλητής είναι η ίδια για όλους τους συνδυασμούς τιμών των (πολλαπλών) ανεξάρτητων μεταβλητών.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Μέτρα εκτίμησης του ταιριάσματος της ευθείας (line fitting) : ο συντελεστής συσχέτισης του Pearson R (είναι ο συντελεστής συσχέτισης μεταξύ y και yest) το τετράγωνο του συντελεστή συσχέτισης του Pearson (R2). (Παρέχει το ποσοστό της μεταβλητότητας της εξαρτημένης μεταβλητής που εξηγείται από το γραμμικό μοντέλο παλινδρόμησης.) το τροποποιημένο R2 (Adjusted R2). (Διορθώνει το R2 ώστε να αναπαριστά πλησιέστερα το ταίριασμα του μοντέλου στον πληθυσμό.)

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Εάν τα δεδομένα αποτελούν δείγμα του υπό μελέτη πληθυσμού, τότε οι μερικοί συντελεστές παλινδρόμησης είναι εκτιμητές των μερικών συντελεστών παλινδρόμησης του πληθυσμού. Η ANOVA χρησιμοποιείται για τον έλεγχο των ακόλουθων ισοδύναμων μηδενικών υποθέσεων : Δεν υπάρχει γραμμική σχέση στον πληθυσμό μεταξύ της εξαρτημένης και των ανεξάρτητων μεταβλητών. Όλοι οι μερικοί συντελεστές παλινδρόμησης στον πληθυσμό είναι ίσοι με μηδέν. Το R2 για τον πληθυσμό είναι ίσο με μηδέν. Επίσης, μπορούμε να ελέγξουμε τη μηδενική υπόθεση ότι “ο συγκεκριμένος μερικός συντελεστής παλινδρόμησης για τον πληθυσμό bj ισούται με μηδέν”. Για τον έλεγχο χρησιμοποιείται η t στατιστική.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης ANOVA Απλή γραμμική παλινδρόμηση Μηδενική υπόθεση : b1=0 Εναλλακτική υπόθεση : b1≠0 Πηγή Άθροισμα τετραγώνων df Μέσο τετράγωνο F Sig Μοντέλο Παλινδρόμησης 1 MSM=SSM/dfM F=MSM/MSE p Κατάλοιπα n-2 MSE=SSE/dfE Σύνολο n-1 MST=SST/n-1 Σημειώνεται ότι :

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης ANOVA (συν.) Πολλαπλή γραμμική παλινδρόμηση Μηδενική υπόθεση : b1=b2=…=bp=0 Εναλλακτική υπόθεση : Υπάρχει τουλάχιστον ένας bj≠0 Πηγή Άθροισμα τετραγώνων df Μέσο τετράγωνο F Sig Μοντέλο Παλινδρόμησης p MSM=SSM/dfM F=MSM/MSE Κατάλοιπα n-p-1 MSE=SSE/dfE Σύνολο n-1 MST=SST/n-1 Σημειώνεται ότι : Έλεγχος για κάθε συντελεστή bj Μηδενική υπόθεση : bj=0 Εναλλακτική υπόθεση : bj≠0 Στατιστική του ελέγχου : όπου η Sbj είναι η τυπική απόκλιση του bj Η στατιστική ακολουθεί την κατανομή t του Student με n-p-1 βαθμούς ελευθερίας

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η συνάρτηση regress Πραγματοποιεί την πολλαπλή γραμμική παλινδρόμηση. Επιστρέφει την ευθεία ελαχίστων τετραγώνων της y στο x στον πολυδιάστατο χώρο (γραμμή y=a+b*x) [c,cint,r,rint,stats] = regress(y,X,alpha) Περιγραφή Παρατηρήσεις X Πίνακας των ανεξάρτητων μεταβλητών (συν ο σταθερός όρος) Ο σταθερός όρος εισάγεται χρησιμοποιώντας τη συνάρτηση ‘ones’ y Η εξαρτημένη μεταβλητή c Το διάνυσμα-στήλη των συντελεστών της ευθείας (C=[ a b]) cint (1-a)% διάστημα εμπιστοσύνης για το c r Κατάλοιπα rint (1-a)% διάστημα εμπιστοσύνης για κάθε κατάλοιπο alpha Επίπεδο σημαντικότητας Εξ’ ορισμού τιμή alpha =0.05 stats Περιέχει την R2 στατιστική μαζί με τις F και p τιμές της παλινδρόμησης

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 Αναπτύξτε ένα μοντέλο πολλαπλής γραμμικής παλινδρόμησης που να προβλέπει την εξαρτημένη μεταβλητή y από τις ανεξάρτητες μεταβλητές x1, x2 και x3. Δίνεται ότι οι παρατηρήσεις του ανωτέρω πίνακα είναι ανεξάρτητες. x1 4 7 1 5 8 2 3 x2 x3 -1 -3 y 80 92 52 76 106 100 69 71 65

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Το πρώτο βήμα στην πολλαπλή γραμμική ανάλυση παλινδρόμησης είναι το διάγραμμα της εξαρτημένης μεταβλητής ως προς κάθε ανεξάρτητη μεταβλητή. Το πολλαπλό γραμμικό μοντέλο περιγράφει τα δεδομένα μόνο εάν υπάρχει γραμμική σχέση μεταξύ της εξαρτημένης μεταβλητής και κάθε ανεξάρτητης μεταβλητής. x1=[4 7 1 5 8 5 2 4 3]'; x2=[3 4 2 1 8 4 5 7 1]'; x3=[1 3 -1 4 0 1 -3 -3 0]'; y=[80 92 52 76 106 100 69 71 65]'; x=[x1 x2 x3]; plotmatrix(x,y)

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Στη συνέχεια πραγματοποιούμε την ανάλυση πολλαπλής γραμμικής παλινδρόμησης. x=[ones(size(x1)) x]; [c,cint,r,rint,stats] = regress(y,x); c = 48.3934 4.6883 2.5419 1.8262 cint = 26.5755 70.2113 -10.2141 19.5906 -10.5747 15.6584 -12.3326 15.9850 stats = 0.8214 7.6651 0.0256 Rsquare=0.8214 p=0.0256 (για την ANOVA). [Άρα η μηδενική υπόθεση b1=b2=b3=0 απορρίπτεται.] % Τα κατάλοιπα είναι : r =[3.4018 -4.8572 -4.3392 -5.6813 -0.2343 16.1717 3.9994 -8.4608 -0.0000]

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Στη συνέχεια υπολογίζουμε τις εκτιμήσεις του y, τα τυποποιημένα και τα student κατάλοιπα: yest=x*c yest =[76.5982 96.8572 56.3392 81.6813 106.2343 83.8283 65.0006 79.4608 65.0000] mean(r) = -2.3685e-015 H=x*inv(x'*x)*x΄; n=length(x1); % n = 9 p=length(c); % p = 4 stand_r=r./(sqrt(sum(r.^2)/(n-p)*(1-diag(H)))) % standardized residuals stand_r =[0.3988 -0.6413 -0.6362 -0.8585 -0.0400 1.8666 0.5481 -1.1696 0.0000] sigma=sum(r.^2)/(n-p-1)-(r.^2)./((n-p-1)*(1-diag(H))); stud_r=r./(sqrt(sigma).*sqrt(1-diag(H))) % studentized residuals stud_r =[0.3625 -0.5987 -0.5935 -0.8316 -0.0358 3.0320 0.5057 -1.2274 0.0000];

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Έλεγχος κανονικότητας Σχεδιάζουμε το διάγραμμα q-q των τυποποιημένων καταλοίπων.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Έλεγχος σταθερής διασποράς Σχεδιάζουμε το διάγραμμα σκέδασης των καταλοίπων student ως προς τις εκτιμώμενες τιμές της y.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Από την εκφώνηση έχουμε ότι οι παρατηρήσεις είναι ανεξάρτητες. Οι έλεγχοι των παραδοχών έδειξαν ότι οι παραδοχές (γραμμικότητας, κανονικότητας, σταθερής διασποράς) που απαιτούνται για την εφαρμογή της πολλαπλής γραμμικής παλινδρόμησης, ισχύουν. Έτσι, μπορούμε να μοντελοποιήσουμε τα δεδομένα του πληθυσμού μας με ένα πολλαπλό γραμμικό μοντέλο.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής αΕ: επίπεδο σημαντικότητας για την εισαγωγή μεταβλητής αR: επίπεδο σημαντικότητας για την απομάκρυνση μεταβλητής (αR ≥ αE) Βήμα 1 Υπολογίζουμε το μοντέλο γραμμικής παλινδρόμησης με μία μεταβλητή για κάθε μία από τις μεταβλητές (παλινδρόμηση y με τη x1, παλινδρόμηση y με τη x2, ..., παλινδρόμηση y με τη xp) (y=α + β1 xi , i=1,2,…,p) Για καθένα από τα ανωτέρω μοντέλα υπολογίζουμε την t στατιστική και την p-τιμή του ελέγχου της Η0: β1=0. Από τις μεταβλητές με p-τιμή < αE, εισάγουμε στο μοντέλο τη μεταβλητή με τη μικρότερη p-τιμή. Εάν καμία μεταβλητή δεν έχει p-τιμή < αE, σταματάμε.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής (συν.) Βήμα 2 Υπολογίζουμε το μοντέλο γραμμικής παλινδρόμησης με δύο μεταβλητές (η μία είναι αυτή που επιλέχθηκε στο βήμα 1, π.χ. η x1) για κάθε μία από τις υπόλοιπες μεταβλητές (παλινδρόμηση y με τη x1 και τη x2, παλινδρόμηση y με τη x1 και τη x3, ..., παλινδρόμηση y με τη x1 και τη xp). (y=α + β1 x1+β2 xi , i=2,…,p) Για καθένα από τα ανωτέρω μοντέλα υπολογίζουμε την t στατιστική και την p-τιμή του ελέγχου της Η0: β2=0. Από τις μεταβλητές με p-τιμή < αE, εισάγουμε στο μοντέλο ως δεύτερη μεταβλητή αυτή με τη μικρότερη p-τιμή. Εάν καμία μεταβλητή δεν έχει p-τιμή < αE, σταματάμε. Το τελικό μοντέλο είναι αυτό που προέκυψε στο βήμα 1.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής (συν.) Βήμα 2 (συν.) Αν από το παρόν βήμα προκύπτει η εισαγωγή δεύτερης μεταβλητής στο μοντέλο (π.χ. της x2), υπολογίζουμε την t στατιστική και την p-τιμή του ελέγχου της Η0: β1=0, προκειμένου να ελέγξουμε εάν ικανοποιείται το κριτήριο απομάκρυνσης για την πρώτη μεταβλητή. Εάν η p-τιμή > αR, απομακρύνουμε τη μεταβλητή x1 από το μοντέλο. Αλλιώς, η μεταβλητή x1 παραμένει στο μοντέλο και συνεχίζουμε στο βήμα 3.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής (συν.) Βήμα 3 Υπολογίζουμε το μοντέλο γραμμικής παλινδρόμησης με τρεις μεταβλητές (οι δύο είναι αυτές που επιλέχθηκαν στο βήμα 1 και στο βήμα 2, π.χ. η x1 και η x2) για κάθε μία από τις υπόλοιπες μεταβλητές (παλινδρόμηση y με τη x1, τη x2, και τη x3, παλινδρόμηση y με τη x1, τη x2 και τη x4, ...). (y=α + β1 x1 + β2 x2 + β3 xi , i=3,…,p) Για καθένα από τα ανωτέρω μοντέλα υπολογίζουμε την t στατιστική και την p-τιμή του ελέγχου της Η0: β3=0. Από τις μεταβλητές με p-τιμή < αE, εισάγουμε στο μοντέλο ως τρίτη μεταβλητή αυτή με τη μικρότερη p-τιμή. Εάν καμία μεταβλητή δεν έχει p-τιμή < αE, σταματάμε. Το τελικό μοντέλο είναι αυτό που προέκυψε στο βήμα 2.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής (συν.) Βήμα 3 (συν.) Αν από το παρόν βήμα προκύπτει η εισαγωγή τρίτης μεταβλητής στο μοντέλο (π.χ. της x3), υπολογίζουμε την t στατιστική και την p-τιμή του ελέγχου των Η0: β1=0 και Η0: β2=0, προκειμένου να ελέγξουμε εάν ικανοποιείται το κριτήριο απομάκρυνσης για την πρώτη και τη δεύτεη μεταβλητή. Εάν κάποια p-τιμή > αR, απομακρύνουμε την αντίστοιχη μεταβλητή από το μοντέλο. Με τον ίδιο τρόπο συνεχίζουμε τη διαδικασία μέχρις ότου καμία από τις μεταβλητές δεν δώσει p-τιμή <αΕ.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής (συν.) Εναλλακτικά, στη διαδικασία της βηματικής επιλογής, προκειμένου να εξετάσουμε την επόμενη μεταβλητή που θα περιληφθεί, μπορεί να χρησιμοποιηθεί η διαδικασία των συντελεστών συσχέτισης. Συγκεκριμένα, αντί σε κάθε βήμα να υπολογίζουμε την p-value για κάθε μία από τις απομένουσες μεταβλητές, χρησιμοποιούμε εκείνη που έχει τον μεγαλύτερο συντελεστή συσχέτισης με την εξαρτημένη μεταβλητή. Το αποτέλεσμα που προκύπτει είναι το ίδιο, ανεξάρτητα από τη μέθοδο επιλογής των μεταβλητών. Διαφορετικά στατιστικά πακέτα χρησιμοποιούν ή τη μία ή την άλλη μέθοδο.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής (συν.) Βήμα 1 Προσδιορίζουμε τη μεταβλητή που έχει τον μεγαλύτερο συντελεστή συσχέτισης με την εξαρτημένη μεταβλητή (π.χ. η x1). Υπολογίζουμε το μοντέλο γραμμικής παλινδρόμησης με τη μεταβλητή x1 (y=α + β1 x1 ) Υπολογίζουμε την t στατιστική και την p-τιμή του ελέγχου της Η0: β1=0. Εάν η p-τιμή < αE, εισάγουμε στο μοντέλο τη μεταβλητή x1. Εάν δεν ισχύει ότι η p-τιμή < αE, σταματάμε.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής (συν.) Βήμα 2 Προσδιορίζουμε από τις υπόλοιπες μεταβλητές (π.χ. x2, x3, …, xp) τη μεταβλητή που έχει τον μεγαλύτερο συντελεστή συσχέτισης με την εξαρτημένη μεταβλητή (π.χ. η x2). Υπολογίζουμε το μοντέλο γραμμικής παλινδρόμησης με τις δύο μεταβλητές x1 και x2. (y=α + β1 x1+β2 x2) Υπολογίζουμε την t στατιστική και την p-τιμή του ελέγχου της Η0: β2=0. Αν η p-τιμή < αE, εισάγουμε στο μοντέλο τη μεταβλητή x2. Εάν δεν ισχύει ότι η p-τιμή < αE, σταματάμε. Το τελικό μοντέλο είναι αυτό που προέκυψε στο βήμα 1.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Η μέθοδος της βηματικής επιλογής (συν.) Βήμα 2 (συν.) Αν από το παρόν βήμα προκύπτει η εισαγωγή δεύτερης μεταβλητής στο μοντέλο (π.χ. της x2), υπολογίζουμε την t στατιστική και την p-τιμή του ελέγχου της Η0: β1=0, προκειμένου να ελέγξουμε εάν ικανοποιείται το κριτήριο απομάκρυνσης για την πρώτη μεταβλητή. Εάν η p-τιμή > αR, απομακρύνουμε τη μεταβλητή x1 από το μοντέλο. Αλλιώς, η μεταβλητή x1 παραμένει στο μοντέλο και συνεχίζουμε με τον ίδιο τρόπο τη διαδικασία….

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Χτίζοντας ένα μοντέλο παλινδρόμησης Matlab Το Statistics Toolbox διαθέτει τις ακόλουθες συναρτήσεις για την κατασκευή ενός πολλαπλού γραμμικού μοντέλου παλινδρόμησης : Συνάρτηση Matlab Περιγραφή stepwise Αλληλεπιδραστικό περιβάλλον για παλινδρόμηση βηματικής επιλογής stepwisefit Μοντέλο παλινδρόμησης χρησιμοποιώντας παλινδρόμηση βηματικής επιλογής

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Ποιο είναι το αποτέλεσμα της εφαρμογής της συνάρτησης stepwise για το σύνολο των δεδομένων του παραδείγματος 1.1; Να συγκριθεί με το αποτέλεσμα που έχουμε ήδη λάβει από τη γραμμική παλινδρόμηση (συνάρτηση regress). Έχουμε : x=[x1 x2 x3]; stepwise(x,y)

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Επομένως, η μεταβλητή x1 επαρκεί για να εξηγήσει το 80% της μεταβλητότητας της εξαρτημένης μεταβλητής.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Στη συνέχεια δοκιμάζουμε την εισαγωγή όλων των μεταβλητών στο μοντέλο:

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Εισάγοντας το x1 και το x2:

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Εισάγοντας και το x3: Σύγκριση με : c = [48.3934 4.6883 2.5419 1.8262]

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Επιλέγοντας «Next Step» :

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Επιλέγοντας «Next Step»:

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (cont.) Παρατήρηση : Δεν έχει σημασία η σειρά των μεταβλητών. x=[x3 x2 x1]; stepwise(x,y)

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.1 (συν.) Επομένως, η μεταβλητή x1 επαρκεί για να εξηγήσει το 80% της μεταβλητότητας της εξαρτημένης μεταβλητής.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Γραμμική Παλινδρόμηση και Πολυσυγγραμικότητα Όταν εφαρμόζουμε τη γραμμική ανάλυση παλινδρόμησης, πρέπει να διερευνούμε την ύπαρξη πολυσυγγραμμικότητας (multicollinearity) στις ανεξάρτητες μεταβλητές. Το φαινόμενο συμβαίνει όταν οι ανεξάρτητες μεταβλητές συσχετίζονται ισχυρά ή μία ανεξάρτητη μεταβλητή είναι συνάρτηση δύο ή περισσότερων από τις άλλες ανεξάρτητες μεταβλητές. Η πολυσυγγραμμικότητα αποτελεί πρόβλημα διότι : Μπορεί να εμποδίσει την ολοκλήρωση των υπολογισμών. Μπορεί να οδηγήσει σε αστάθεια των συντελεστών. Ένας τρόπος ελέγχου της πολυσυγγραμμικότητας είναι η παλινδρόμηση κάθε ανεξάρτητης μεταβλητής έναντι καθεμιάς από τις υπόλοιπες ανεξάρτητες μεταβλητές και η εξέταση των τιμών Rsquare.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Γραμμική Παλινδρόμηση και Πολυσυγραμμικότητα (συν.) Εάν η τιμή Rsquare είναι μεγαλύτερη από το 90%, τότε έχουμε ένα πρόβλημα πολυσυγγραμμικότητας και πρέπει να λάβουμε κατάλληλα μέτρα. Συγκεκριμένα : πρέπει να προσπαθήσουμε να εξαιρέσουμε μεταβλητές κατά τέτοιο τρόπο ώστε να απομακρύνουμε το πρόβλημα πολυσυγγραμμικότητας ή να χρησιμοποιήσουμε την Ανάλυση Κυρίων Συνιστωσών για να εξάγουμε ένα νέο σύνολο ορθογώνιων (και επομένως ασυσχέτιστων) ανεξάρτητων μεταβλητών, όπως θα δούμε σε επόμενο μάθημα.

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.2 Αναπτύξτε ένα μοντέλο πολλαπλής γραμμικής παλινδρόμησης πρόβλεψης της εξαρτημένης μεταβλητής y από τις ανεξάρτητες μεταβλητές x1, x2 και x3. Θεωρείστε ότι οι παραδοχές (γραμμικότητας, κανονικότητας, ανεξαρτησίας, σταθερής διασποράς) που απαιτούνται για την εφαρμογή της πολλαπλής γραμμικής παλινδρόμησης, ισχύουν. x1 4 7 1 5 8 2 3 x2 x3 -1 -3 y 14.5 26 19.5 28 18 5.5 12.5 11.5 Παρατηρείστε ότι x3=x1-x2 !!!!

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.2 (συν.) x1=[4 7 1 5 8 5 2 4 3]'; x2=[3 4 2 1 8 4 5 7 1]'; x3=[1 3 -1 4 0 1 -3 -3 2]'; y=[14.5 26 3 19.5 28 18 5.5 12.5 11.5]'; x=[x1 x2 x3]; x=[ones(size(x1)) x]; [c,cint,r,rint,stats] = regress(y,x) Warning: X is rank deficient to within machine precision. c =[-0.0000 4.0000 -0.5000 0 ] [δηλαδή y=4*x1-0.5*x2] Ωστόσο, υπάρχει αστάθεια υπολογισμών. Αρχικά, προσπαθούμε να εντοπίσουμε την ύπαρξη πολυσυγραμμικότητας. Κάνουμε παλινδρόμηση της x3 έναντι των x1 και x2: x=[x1 x2] [b,bint,r,rint,stats]= regress(x3,x) b =[-0.0000 1.0000 -1.0000] [δηλαδή x3=x1-x2] stats(1)=1 % Είναι το Rsquare

1. Επανάληψη πολλαπλής γραμμικής παλινδρόμησης Παράδειγμα 1.2 (συν.) Άρα, δε χρειάζεται να λάβουμε τη x3 στην παλινδρόμηση με την οποία υπολογίζεται η y: x=[x1 x2] x=[ones(size(x1)) x]; [c,cint,r,rint,stats] = regress(y,x) c =[-0.0000 4.0000 -0.5000], [δηλαδή y=4*x1-0.5*x2] Ομοίως, μπορούμε να μη συμπεριλάβουμε τη x2: x=[x1 x3]; c =[-0.0000 3.5000 0.5000], [δηλαδή y=3,5*x1+0.5*x3] Ομοίως, μπορούμε να μη συμπεριλάβουμε τη x1…..

Ανάλυση παλινδρόμησης Σύντομη επανάληψη της πολλαπλής γραμμικής παλινδρόμησης Ανάλυση λογιστικής παλινδρόμησης Γενικευμένα γραμμικά μοντέλα Μη γραμμική ανάλυση παλινδρόμησης

2. Ανάλυση λογιστικής παλινδρόμησης Η λογιστική παλινδρόμηση χρησιμοποιείται για την εξαγωγή συμπερασμάτων για μια εξαρτημένη μεταβλητή όταν είναι δυαδική, δηλαδή λαμβάνει μόνο δύο τιμές που είναι συνήθως 0 και 1. Περιπτώσεις με δυαδικές εξαρτημένες μεταβλητές είναι πολύ συνηθισμένες, για παράδειγμα σε κλινικές μελέτες, όπου η εξαρτημένη μεταβλητή μπορεί να λάβει τιμές παρουσία (1) ή απουσία (0) κάποιου τύπου ασθένειας. Όπως και στη γραμμική παλινδρόμηση, αναζητούμε τη σχέση μεταξύ της εξαρτημένης μεταβλητής και ενός συνόλου ανεξάρτητων μεταβλητών.

2. Ανάλυση λογιστικής παλινδρόμησης Μερικά παραδείγματα ανεξάρτητων μεταβλητών που θα ενδιέφεραν σε μια κλινική μελέτη, στην οποία η εξαρτημένη μεταβλητή μπορεί να λάβει τιμές : «παρουσία» (1) ή «απουσία» (0) ενός τύπου ασθένειας, είναι : η ηλικία, το βάρος το φύλο κ.ο.κ. Επίσης, θα μπορούσε να είναι μεταβλητές σχετικές με τη θεραπεία, όπως : ενδείκτης φαρμακευτικής αγωγής ή placebo, ο χρόνος της φαρμακευτικής αγωγής

2. Ανάλυση λογιστικής παλινδρόμησης Όπως και στη γραμμική παλινδρόμηση, η σχέση μεταξύ των ανεξάρτητων μεταβλητών και της εξαρτημένης περιγράφεται από το μοντέλο παλινδρόμησης. Η σχέση αυτή περιγράφεται θεωρώντας την υπό συνθήκη αναμενόμενη τιμή της εξαρτημένης μεταβλητής y δεδομένων των ανεξάρτητων x. Στη γραμμική περίπτωση έχουμε : Ωστόσο, εδώ έχουμε την y που λαμβάνει τιμές μόνο στο {0,1}. Επομένως, το παραπάνω μοντέλο δεν εφαρμόζεται λόγω του απλού γεγονότος ότι 0 ≤E[y|x]≤ 1 ενώ το δεξί μέλος του παραπάνω μοντέλου δεν βρίσκεται γενικά μεταξύ 0 και 1. Για να αντιμετωπίσουμε το πρόβλημα αυτό, λαμβάνουμε το λογάριθμο των σχετικών πιθανοτήτων (η σχετική πιθανότητα ενός γεγονότος ορίζεται ως ο λόγος της πιθανότητας αυτό να συμβεί προς την πιθανότητα ότι δεν θα συμβεί) ότι το y ισούται με 1 με δεδομένο το x. Αφού E[y |x] = P(y = 1|x) μπορούμε να γράψουμε το λογάριθμο της σχετικής πιθανότητας ως :

2. Ανάλυση λογιστικής παλινδρόμησης Ο μετασχηματισμός που λαμβάνει την αναμενόμενη τιμή του y και μας δίνει το λογάριθμο της σχετικής πιθανότητας ότι το y ισούται με ένα, ονομάζεται λογιστικός μετασχηματισμός. Η παραπάνω έκφραση μπορεί επίσης να γραφεί ως : Αυτό είναι το λογιστικό μοντέλο παλινδρόμησης. Επομένως, στη λογιστική παλινδρόμηση, ο λογάριθμος της σχετικής πιθανότητας εξαρτάται γραμμικά από τις ανεξάρτητες μεταβλητές. Οι τιμές των συντελεστών a και b μπορούν να υπολογιστούν αριθμητικά υποθέτοντας ότι η y ακολουθεί τη διωνυμική κατανομή. Η μέθοδος υπολογισμού διαφέρει σε πολλά σημεία από την αντίστοιχη της γραμμικής παλινδρόμησης αλλά και στις δύο περιπτώσεις τα a και b είναι εκτιμητές μεγίστης πιθανοφάνειας.

2. Ανάλυση λογιστικής παλινδρόμησης Θετικό b σημαίνει ότι εάν αυξήσουμε το x, η πιθανότητα το y να ισούται με ένα (π.χ. πιθανότητα να νοσήσει κάποιος) αυξάνει. Αρνητικό b σημαίνει ότι εάν αυξήσουμε το x, η πιθανότητα το y να ισούται με ένα μειώνεται. Στην ειδική περίπτωση, όταν έχουμε μία ανεξάρτητη μεταβλητή που είναι επίσης δυαδική (μεταβλητή που λαμβάνει τιμές 0 ή 1) τότε η ερμηνεία είναι πολύ εύκολη: Για παράδειγμα, ας θεωρήσουμε ότι : y = 1 ή 0 δηλώνει την παρουσία ή απουσία καρκίνου του πνεύμονα, αντίστοιχα, και x=1 ή 0 δηλώνει ότι ο ασθενής καπνίζει για περισσότερα από 20 έτη ή όχι, αντίστοιχα. Εάν το x ισούται με 1, η σχετική πιθανότητα του y αυξάνει με eb.

2. Ανάλυση λογιστικής παλινδρόμησης Η λογιστική παλινδρόμηση είναι ένα μοντέλο που χρησιμοποιείται για την πρόβλεψη της πιθανότητας εμφάνισης ενός γεγονότος. Χρησιμοποιεί διάφορες ανεξάρτητες μεταβλητές που μπορεί να είναι είτε ποσοτικές είτε ποιοτικές. Η λογιστική παλινδρόμηση χρησιμοποιείται εκτενώς : στις ιατρικές επιστήμες, στις κοινωνικές επιστήμες, σε εφαρμογές μάρκετινγκ (όπως η πρόβλεψη της τάσης ενός πελάτη να αγοράσει ένα προϊόν ή να σταματήσει μια συνδρομή). Η λογιστική παλινδρόμηση ανήκει στα γενικευμένα γραμμικά μοντέλα, τα οποία θα δούμε στην επόμενη ενότητα.

2. Ανάλυση λογιστικής παλινδρόμησης Στη γενική περίπτωση περισσότερων από μία ανεξάρτητων μεταβλητών, η λογιστική συνάρτηση είναι : Η λογιστική συνάρτηση μπορεί να λάβει ως όρισμα οποιαδήποτε τιμή από το -∞ μέχρι το +∞, ενώ η τιμή της περιορίζεται σε τιμές μεταξύ 0 και 1. Η ποσότητα z αποτελεί το μέτρο της συνολικής συνεισφοράς όλων των παραγόντων κινδύνου που χρησιμοποιούνται στο μοντέλο. Η z ως συνάρτηση z=ln[y/(1-y)] είναι γνωστή ως logit. Η f(z) αναπαριστά την πιθανότητα ενός συγκεκριμένου αποτελέσματος με δεδομένο το σύνολο των παραγόντων κινδύνου.

2. Ανάλυση λογιστικής παλινδρόμησης b1, b2, b3, …, bp : συντελεστές παλινδρόμησης Το α είναι η τιμή του z όταν η τιμή όλων των παραγόντων κινδύνου ισούται με μηδέν. Καθένας από τους συντελεστές παλινδρόμησης περιγράφει το μέγεθος της συνεισφοράς του αντίστοιχου παράγοντα κινδύνου. Θετικός συντελεστής παλινδρόμησης σημαίνει ότι ο αντίστοιχος παράγοντας κινδύνου αυξάνει την πιθανότητα του αποτελέσματος. Αρνητικός συντελεστής παλινδρόμησης σημαίνει ότι ο αντίστοιχος παράγοντας κινδύνου μειώνει την πιθανότητα του αποτελέσματος. Μεγάλος συντελεστής παλινδρόμησης σημαίνει ότι ο αντίστοιχος παράγοντας κινδύνου επηρεάζει ισχυρά την πιθανότητα του αποτελέσματος. Σχεδόν μηδενικός συντελεστής παλινδρόμησης σημαίνει ότι ο αντίστοιχος παράγοντας κινδύνου επηρεάζει λίγο την πιθανότητα του αποτελέσματος.

2. Ανάλυση λογιστικής παλινδρόμησης Παράδειγμα 2.1 Έστω ότι μελετούμε το φαινόμενο του θανάτου από καρδιακή προσβολή. Στο μοντέλο μας λαμβάνουμε υπόψη τρεις παράγοντες κινδύνου : x1 : η ηλικία σε δεκαετίες για ηλικίες μεγαλύτερες από ή ίσες με 50 έτη x2 : το φύλο, όπου το 0 αντιστοιχεί σε «άρρεν» και το 1 σε «θήλυ» x3 : το επίπεδο της χοληστερόλης σε mmol/lt, για επίπεδα μεγαλύτερα από ή ίσα με 5.0 mmol/lt. Το μοντέλο μας προβλέπει τον κίνδυνο θανάτου σε μια δεκαετία από καρδιακή προσβολή :

2. Ανάλυση λογιστικής παλινδρόμησης Παράδειγμα 2.1 (συν.) Έστω ότι για τους συντελεστές παλινδρόμησης προκύπτει ότι : Επομένως, το μοντέλο λογιστικής παλινδρόμησης είναι το ακόλουθο :

2. Ανάλυση λογιστικής παλινδρόμησης Παράδειγμα 2.1 (συν.) Επομένως, Η αύξηση της ηλικίας συνδέεται με την αύξηση κινδύνου θανάτου από καρδιακή προσβολή. Το z αυξάνει κατά 2.5 για κάθε 10 έτη πάνω από την ηλικία των 50. Το φύλο «θήλυ» συνδέεται με μείωση κινδύνου θανάτου από καρδιακή προσβολή. Το z μειώνεται κατά 1.5 στην περίπτωση φύλου «θήλυ». Η αύξηση της χοληστερόλης συνδέεται με την αύξηση κινδύνου θανάτου από καρδιακή προσβολή.Το z αυξάνει κατά 1.5 για κάθε αύξηση κατά 1 mmol/lt της χοληστερόλης πάνω από τα 5 mmol/lt.

2. Ανάλυση λογιστικής παλινδρόμησης Παράδειγμα 2.1 (συν.) Μπορούμε να χρησιμοποιήσουμε το μοντέλο για να προβλέψουμε τον κίνδυνο θανάτου από καρδιακή προσβολή για ένα συγκεκριμένο άνδρα ηλικίας 60 ετών, του οποίου τα επίπεδα χοληστερόλης είναι 7.5mmol/lt. Εφαρμόζουμε το μοντέλο για : Επομένως, ο κίνδυνος θανάτου από καρδιακή προσβολή για το συγκεκριμένο άντρα στα επόμενα δέκα έτη είναι 56%.

Ανάλυση παλινδρόμησης Σύντομη επανάληψη της πολλαπλής γραμμικής παλινδρόμησης Ανάλυση λογιστικής παλινδρόμησης Γενικευμένα γραμμικά μοντέλα Μη γραμμική ανάλυση παλινδρόμησης

3. Γενικευμένα γραμμικά μοντέλα Τα γενικευμένα γραμμικά μοντέλα (GLM - generalized linear models) είναι μια ευέλικτη γενίκευση της παλινδρόμησης ελαχίστων τετραγώνων. Τα GLM συσχετίζουν την τυχαία κατανομή της μετρούμενης μεταβλητής του πειράματος με το συστηματικό (μη-τυχαίο) τμήμα του πειράματος (το γραμμικό προβλέπτη) μέσω μιας συνάρτησης που ονομάζεται συνάρτηση σύζευξης (link function). Τα γενικευμένα γραμμικά μοντέλα ενοποιούν διάφορα άλλα στατιστικά μοντέλα, συμπεριλαμβανομένης της γραμμικής παλινδρόμησης και της λογιστικής παλινδρόμησης, σε ένα ενιαίο πλαίσιο. Σε όλα αυτά τα μοντέλα αναπτύσσεται ένας γενικός αλγόριθμος για την εκτίμηση μεγίστης πιθανοφάνειας. Παρατήρηση : Ο όρος “γενικευμένο γραμμικό μοντέλο” δεν πρέπει να συγχέεται με τον όρο “γενικό γραμμικό μοντέλο”.

3. Γενικευμένα γραμμικά μοντέλα Στο γενικευμένο γραμμικό μοντέλο (GLM), κάθε αποτέλεσμα της εξαρτημένης μεταβλητής y υποτίθεται ότι παράγεται από μία συγκεκριμένη συνάρτηση κατανομής της εκθετικής οικογένειας. Η εκθετική οικογένεια περιλαμβάνει ένα μεγάλο εύρος κατανομών πιθανότητας που περιλαμβάνει, μεταξύ άλλων, την κανονική, τη διωνυμική και την κατανομή Poisson. Ο μέσος όρος μ της κατανομής της εξαρτημένης μεταβλητής y εξαρτάται από τις ανεξάρτητες μεταβλητές x, μέσω της εξίσωσης : όπου E(y) είναι η μέση τιμή της y, Xb είναι ο γραμμικός προβλέπτης (ο γραμμικός συνδυασμός των αγνώστων παραμέτρων b) και g η συνάρτηση σύζευξης.

3. Γενικευμένα γραμμικά μοντέλα Το γενικευμένο γραμμικό μοντέλο (GLM) αποτελείται από τρία στοιχεία : Τη συνάρτηση κατανομής f (της y) από την εκθετική οικογένεια. Το γραμμικό προβλέπτη Xb Τη συνάρτηση σύζευξης g τέτοια ώστε E(y)=μ=g-1(Xb) Συνάρτηση κατανομής Η εκθετική οικογένεια κατανομών περιλαμβάνει τις κατανομές πιθανότητας των οποίων η συνάρτηση πυκνότητας πιθανότητας f εκφράζεται ως : Γραμμικός προβλέπτης Ο γραμμικός προβλέπτης είναι η ποσότητα που περιλαμβάνει τις πληροφορίες για τις ανεξάρτητες μεταβλητές στο μοντέλο.

3. Γενικευμένα γραμμικά μοντέλα Συνάρτηση σύζευξης Η συνάρτηση σύζευξης παρέχει τη σχέση μεταξύ του γραμμικού προβλέπτη και της μέσης τιμής της συνάρτησης κατανομής. Παραδείγματα GLMs Κατανομή Συνάρτηση σύζευξης Συνάρτηση Μέσης Τιμής Κανονική Ταυτότητα (identity) Διωνυμική Logit Poisson Λογαριθμική Γάμμα Αντιστρόφου

3. Γενικευμένα γραμμικά μοντέλα Η γραμμική παλινδρόμηση ως Γενικευμένο Γραμμικό Μοντέλο : Η γραμμική παλινδρόμηση αποτελεί απλή περίπτωση ενός γενικευμένου γραμμικού μοντέλου. Στη γραμμική παλινδρόμηση: η συνάρτηση κατανομής είναι η κανονική κατανομή με σταθερή διασπορά και η συνάρτηση σύζευξης είναι η ταυτοτική. Η λογιστική παλινδρόμηση ως Γενικευμένο Γραμμικό Μοντέλο : Η λογιστική παλινδρόμηση αποτελεί μία ακόμη περίπτωση γενικευμένου γραμμικού μοντέλου. Στη λογιστική παλινδρόμηση: η συνάρτηση κατανομής είναι η διωνυμική κατανομή και η συνάρτηση σύζευξης είναι η συνάρτηση logit.

3. Γενικευμένα γραμμικά μοντέλα Η συνάρτηση glmfit του MATLAB Υλοποιεί τα γενικευμένα γραμμικά μοντέλα. c = glmfit(Data,y,'distr','link') Περιγραφή Παρατηρήσεις Data O Πίνακας των ανεξάρτητων μεταβλητών y Η εξαρτημένη μεταβλητή Για τη διωνυμική κατανομή o y είναι πίνακας δύο στηλών : η πρώτη στήλη έχει το πλήθος των επιτυχιών και η άλλη το πλήθος των δοκιμών (η παράμετρος Ν της διωνυμικής) 'distr' Η κατανομή π.χ. 'normal' (η εξορισμού), 'poisson‘, 'binomial', 'gamma'. ‘link’ Συνάρτηση σύζευξης π.χ. ‘identity’, ‘log’, ‘logit’, ’reciprocal’ Εάν δεν οριστεί συνάρτηση σύζευξης τότε ισχύει εξ’ ορισμού ότι : α. ‘link’=‘identity’ εάν ‘distr’=‘normal’ β. ‘link’=‘logit’ εάν ‘distr’=‘binomial’ γ. ‘link’=‘log’ εάν ‘distr’=‘poisson’ δ. ‘link’=‘reciprocal’ εάν ‘distr’=‘gamma’ c Το διάνυσμα των συντελεστών

3. Γενικευμένα γραμμικά μοντέλα Η συνάρτηση glmval του MATLAB Υπολογίζει προβλέψεις για τα γενικευμένα γραμμικά μοντέλα. yfit = glmval(c,Data,'link') Περιγραφή Παρατηρήσεις Data Πίνακας των ανεξάρτητων μεταβλητών c Το διάνυσμα των συντελεστών ‘link’ Συνάρτηση σύζευξης π.χ. ‘identity’, ‘log’, ‘logit’, ’reciprocal’ y Οι προβλέψεις

3. Γενικευμένα γραμμικά μοντέλα Παράδειγμα 3.1 Ως χαμηλό βάρος γέννησης ορίζεται το βάρος των νεογνών που είναι μικρότερο των 2.500 γραμμαρίων. Μια μαιευτική κλινική μελέτησε εάν η ηλικία της μητέρας αποτελεί παράγοντα κινδύνου για χαμηλό βάρος νεογνών. Ο πίνακας καταγράφει τα δεδομένα της μελέτης. Ηλικία μητέρας (χ) Πλήθος νεογνών με χαμηλό βάρος Πλήθος νεογνών 21 1 480 33 14 230 23 2 420 35 17 25 310 37 19 210 27 3 340 39 15 160 29 8 41 170 31 43 Να πραγματοποιηθεί ανάλυση λογιστικής παλινδρόμησης και να υπολογιστούν οι αντίστοιχοι συντελεστές b.

3. Γενικευμένα γραμμικά μοντέλα Παράδειγμα 3.1 (συν.) Να υπολογιστεί η πιθανότητα χαμηλού βάρους γέννησης νεογνών για ηλικίες της μητέρας ίσες με 28, 30 και 32 ετών. Data=[21 23 25 27 29 31 33 35 37 39 41 43]'; low=[1 2 1 3 8 8 14 17 19 15 17 21]'; total=[480 420 310 340 310 210 230 230 210 160 170 210]'; y=[low total]; c = glmfit(Data,y,'binomial') c = [-8.0666 0.1463] yfit=glmval(c,[28 30 32],'logit') yfit =[0.0185 0.0247 0.0328] Άρα, η πιθανότητα είναι 1,85%, 2,47% και 3,28% για τις ηλικίες 28, 30 και 32, αντίστοιχα. Παρατήρηση : Εάν οι ηλικίες δεν είναι στην περιοχή των μετρήσεων, δεν θα έπρεπε να εφαρμόσουμε τη λογιστική παλινδρόμηση καθώς μπορεί να έδινε παράλογα αποτελέσματα.

Ανάλυση παλινδρόμησης Σύντομη επανάληψη της πολλαπλής γραμμικής παλινδρόμησης Ανάλυση λογιστικής παλινδρόμησης Γενικευμένα γραμμικά μοντέλα Μη γραμμική ανάλυση παλινδρόμησης

4. Μη γραμμική ανάλυση παλινδρόμησης Η μη γραμμική παλινδρόμηση αποτελεί ένα τύπο ανάλυσης παλινδρόμησης, στον οποίο οι παρατηρήσεις μοντελοποιούνται από μία συνάρτηση που είναι μη γραμμικός συνδυασμός των παραμέτρων του μοντέλου και εξαρτάται από μία ή περισσότερες ανεξάρτητες μεταβλητές. Γιατί πρέπει να χρησιμοποιούμε μη γραμμική παλινδρόμηση; Όλα τα φαινόμενα δεν περιγράφονται από γραμμικά μοντέλα. Για μερικές περιπτώσεις δεδομένων, η γραμμική παλινδρόμηση είναι λιγότερο ακριβής από τη μη γραμμική παλινδρόμηση. Το θεωρητικό υπόβαθρο οδηγεί σε μη γραμμικό μοντέλο. Παράδειγμα μη γραμμικού μοντέλου είναι το μοντέλο Michaelis-Menten για την κινητική των ενζύμων που εκφράζεται ως :

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση είναι μη γραμμική ως προς τις παραμέτρους. Άλλα παραδείγματα μη γραμμικών συναρτήσεων είναι : Εκθετικές συναρτήσεις, Λογαριθμικές συναρτήσεις, Τριγωνομετρικές συναρτήσεις, Συναρτήσεις ύψωσης σε δύναμη, κλπ Παρατήρηση : Η ακόλουθη εξίσωση παλινδρόμησης δεν είναι μη γραμμική. Εκφράζει μια γραμμική παλινδρόμηση. Αν και το δεξί μέλος είναι τετραγωνικό ως προς την ανεξάρτητη μεταβλητή x3, είναι γραμμικό ως προς τις παραμέτρους a, b1, b2 και b3.

4. Μη γραμμική ανάλυση παλινδρόμησης Πώς χειριζόμαστε τα μη γραμμικά μοντέλα παλινδρόμησης; Συνήθως, εφαρμόζονται αριθμητικοί αλγόριθμοι βελτιστοποίησης για τον προσδιορισμό των παραμέτρων. Ωστόσο, δεν υπάρχει έκφραση κλειστής μορφής υπολογισμού των παραμέτρων, όπως υπάρχει στη γραμμική παλινδρόμηση. Επιπροσθέτως, μπορεί να υπάρχουν πολλά τοπικά ελάχιστα της βελτιστοποιούμενης συνάρτησης. Στην πράξη, χρησιμοποιούνται αριθμητικοί αλγόριθμοι βελτιστοποίησης για την εύρεση του ολικού ελαχίστου του αθροίσματος τετραγώνων. Σε μερικές περιπτώσεις, μπορούμε να μετασχηματίσουμε το μη γραμμικό μοντέλο σε γραμμικό (Γραμμικοποίηση). Στην περίπτωση αυτή, συνεχίζουμε πραγματοποιώντας γραμμική ανάλυση παλινδρόμησης.

4. Μη γραμμική ανάλυση παλινδρόμησης Γραμμικοποίηση Μερικά μη γραμμικά προβλήματα παλινδρόμησης μπορούν να μετατραπούν σε γραμμικά μετά από κατάλληλο μετασχηματισμό στο μοντέλο. Μια μεγάλη κλάση συναρτήσεων, όπως οι εκθετικές ή οι λογαριθμικές συναρτήσεις, μπορούν να μετασχηματιστούν σε γραμμικές. Μετά τη γραμμικοποίηση, μπορεί να εφαρμοστεί η γραμμική παλινδρόμηση αλλά με προσοχή.

4. Μη γραμμική ανάλυση παλινδρόμησης Γραμμικοποίηση (συν.) Παράδειγμα 4.1 Ας θεωρήσουμε το μη γραμμικό μοντέλο : Αν λογαριθμήσουμε και τα δύο μέλη έχουμε : Έτσι έχουμε ένα γραμμικό μοντέλο. Οι άγνωστες παράμετροι υπολογίζονται από τη γραμμική παλινδρόμηση του ln(y) στο x.

4. Μη γραμμική ανάλυση παλινδρόμησης Γραμμικοποίηση (συν.) Ωστόσο, η χρήση του γραμμικού μετασχηματισμού απαιτεί προσοχή. Μετά τη γραμμικοποίηση, οι επιδράσεις των τιμών των δεδομένων αλλάζουν. Ομοίως και η δομή των καταλοίπων και η ερμηνεία των συμπερασμάτων που προκύπτουν. Αυτές οι αλλαγές μπορεί να μην είναι επιθυμητές. Επιπροσθέτως, ο γραμμικός μετασχηματισμός μπορεί να κατανέμει τα σφάλματα κατά κανονικό τρόπο. Ωστόσο, η επιλογή του γραμμικού μετασχηματισμού πρέπει να λαμβάνει υπόψη τις θεωρήσεις του αρχικού μοντέλου.

4. Μη γραμμική ανάλυση παλινδρόμησης Γραμμικοποίηση (συν.) Όταν αναλύουμε τα δεδομένα ακολουθούμε τους εξής κανόνες : Μετασχηματίζουμε τα δεδομένα μας όταν ο μετ/σμός οδηγεί σε μεταβλητότητα πιο Gaussian. ΔΕΝ μετασχηματίζουμε τα δεδομένα μας όταν ο μετ/σμός οδηγεί σε μεταβλητότητα λιγότερο Gaussian. Δεν πραγματοποιούμε μετασχηματισμούς που καταστρέφουν τη σχέση μεταξύ των μεταβλητών. Δεν μετασχηματίζουμε τα δεδομένα μερικώς για να τα κάνουμε γραμμικά. Σημειώνεται ότι αν και συνήθως δεν είναι κατάλληλη η ανάλυση μετασχηματισμένων δεδομένων, είναι συχνά χρήσιμη η απεικόνιση δεδομένων μετά από γραμμικό μετ/σμό. Και αυτό γιατί είναι ευκολότερη η οπτική ερμηνεία μετασχηματισμένων δεδομένων επειδή ο ανθρώπινος εγκέφαλος είναι πιο ικανός να ανιχνεύει ευθείες από το να ανιχνεύει καμπύλες.

4. Μη γραμμική ανάλυση παλινδρόμησης Γραμμικοποίηση (συν.) Παράδειγμα 4.2 Ας θεωρήσουμε το μη γραμμικό μοντέλο (το μοντέλο Michaelis-Menten για την κινητική των ενζύμων): Αντιστρέφοντας και τα δύο μέλη, έχουμε : Επομένως, έχουμε ένα γραμμικό μοντέλο ως προς b2/b1 και b1. Ωστόσο, αυτό το μετασχηματισμένο γραμμικό μοντέλο είναι πολύ ευαίσθητο στα σφάλματα και επηρεάζεται ισχυρά από τα δεδομένα σε ένα συγκεκριμένο εύρος της ανεξάρτητης μεταβλητής. Έτσι, η χρήση του μετασχηματισμού δεν συνιστάται.

4. Μη γραμμική ανάλυση παλινδρόμησης Αριθμητικοί αλγόριθμοι βελτιστοποίησης Ο στόχος ελαχιστοποίησης του αθροίσματος τετραγώνων στα προβλήματα γραμμικής παλινδρόμησης μπορεί να επιτευχθεί αρκετά απλά. Η μη γραμμική παλινδρόμηση είναι πιο γενική. Χρησιμοποιείται για οποιαδήποτε εξίσωση, η οποία ορίζει το y ως συνάρτηση του x και για μία ή περισσότερες παραμέτρους. Η μη γραμμική παλινδρόμηση βρίσκει εκείνες τις τιμές των παραμέτρων που παράγουν την καμπύλη που έρχεται πλησιέστερα στα δεδομένα. Ακριβέστερα, ο στόχος είναι η ελαχιστοποίηση του αθροίσματος τετραγώνων των κατακόρυφων αποστάσεων των σημείων από την καμπύλη. Εκτός από συγκεκριμένες ειδικές περιπτώσεις, δεν είναι δυνατή η άμεση επίλυση της εξίσωσης που προσδιορίζει τις τιμές των παραμέτρων που ελαχιστοποιούν το άθροισμα τετραγώνων. Η μη γραμμική παλινδρόμηση απαιτεί επαναληπτική προσέγγιση.

4. Μη γραμμική ανάλυση παλινδρόμησης Αριθμητικοί αλγόριθμοι βελτιστοποίησης (συν.) Τα βήματα της επαναληπτικής προσέγγισης που ακολουθεί η μη γραμμική παλινδρόμηση είναι : Ξεκινάμε με μια αρχική εκτιμώμενη τιμή κάθε παραμέτρου της εξίσωσης. Δημιουργούμε την καμπύλη που αντιστοιχεί σε αυτές τις αρχικές τιμές. Υπολογίζουμε το άθροισμα τετραγώνων των κατακόρυφων αποστάσεων των σημείων από την καμπύλη. Τροποποιούμε (με κάποιο αλγόριθμο) τις παραμέτρους για να κάνουμε την καμπύλη να έρθει πλησιέστερα προς τα σημεία των δεδομένων. Τροποποιούμε ξανά τις παραμέτρους έτσι ώστε η καμπύλη να έρχεται ακόμη πιο κοντά στα σημεία.

4. Μη γραμμική ανάλυση παλινδρόμησης Αριθμητικοί αλγόριθμοι βελτιστοποίησης (συν.) Επαναληπτική προσέγγιση (συν.) Συνεχίζουμε την τροποποίηση των παραμέτρων μέχρι η τροποποίηση να προκαλεί σχεδόν καμία διαφορά στο άθροισμα των τετραγώνων. Καταγράφουμε τα καλύτερα αποτελέσματα. Οι τιμές που λαμβάνουμε εξαρτώνται (εν μέρει) από τις αρχικές τιμές που λαμβάνουμε στο βήμα 1 και τα κριτήρια παύσης του βήματος 5. Επομένως, επαναλαμβανόμενες αναλύσεις των ίδιων δεδομένων δεν οδηγούν πάντοτε στα ίδια αποτελέσματα.

4. Μη γραμμική ανάλυση παλινδρόμησης Παραδοχές της μη γραμμικής παλινδρόμησης Τα αποτελέσματα της μη γραμμικής παλινδρόμησης έχουν έννοια μόνον εάν ισχύουν (ή περίπου) οι ακόλουθες παραδοχές : Το μοντέλο είναι σωστό. Η μη γραμμική παλινδρόμηση τροποποιεί τις παραμέτρους στην εξίσωση που επιλέγουμε ώστε να ελαχιστοποιούν το άθροισμα τετραγώνων των κάθετων αποστάσεων. Η μη γραμμική παλινδρόμηση δεν προσπαθεί να βρει μια καλύτερη εξίσωση. Η μεταβλητότητα των τιμών γύρω από την καμπύλη ακολουθεί (ή περίπου) μια κανονική κατανομή. Η τυπική απόκλιση της μεταβλητότητας είναι η ίδια παντού ανεξαρτήτως της τιμής του x (παραδοχή ίδιας διασποράς). Τα σφάλματα είναι ανεξάρτητα. Η απόκλιση κάθε τιμής από την καμπύλη πρέπει να είναι τυχαία και να μη συσχετίζεται με την απόκλιση του προηγούμενου ή του επόμενου σημείου.

4. Μη γραμμική ανάλυση παλινδρόμησης Διαστήματα εμπιστοσύνης Μαζί με την τιμή κάθε παραμέτρου της εξίσωσης, η μη γραμμική παλινδρόμηση συνήθως δίνει και τα 95% διαστήματα εμπιστοσύνης. Η έννοια του διαστήματος εμπιστοσύνης είναι η ακόλουθη : Εάν όλες οι παραδοχές της μη γραμμικής παλινδρόμησης αληθεύουν, υπάρχει μία 95% πιθανότητα ότι η πραγματική τιμή της παραμέτρου βρίσκεται εντός αυτού του διαστήματος. Δηλαδή, εάν πραγματοποιήσουμε πολλές φορές μη γραμμική παλινδρόμηση (σε διάφορα σύνολα δεδομένων) αναμένουμε το διάστημα εμπιστοσύνης να περιλαμβάνει την πραγματική τιμή στο 95% των περιπτώσεων και να μην την περιλαμβάνει στο 5% των περιπτώσεων. Για τα διαστήματα εμπιστοσύνης πρέπει να έχουμε υπόψη τα εξής : Το διάστημα εμπιστοσύνης βασίζεται στα συγκεκριμένα δεδομένα μόνο ενός πειράματος. Εάν επαναλάβουμε το πείραμα πολλές φορές, το εύρος των αποτελεσμάτων είναι πιθανόν να είναι μεγαλύτερο από αυτό του διαστήματος εμπιστοσύνης που βασίζεται σε ένα πείραμα.

4. Μη γραμμική ανάλυση παλινδρόμησης Διαστήματα εμπιστοσύνης (συν.) Το διάστημα εμπιστοσύνης μπορεί μόνο να ερμηνευθεί εάν ισχύουν οι παραδοχές της μη γραμμικής παλινδρόμησης. Τα διαστήματα εμπιστοσύνης από τη γραμμική παλινδρόμηση υπολογίζονται απευθείας χρησιμοποιώντας μαθηματικές μεθόδους. Ωστόσο, δεν γίνεται απευθείας ο υπολογισμός του 95% διαστήματος εμπιστοσύνης των παραμέτρων της μη γραμμικής παλινδρόμησης. Τα περισσότερα στατιστικά πακέτα παρέχουν τα ασυμπτωτικά διαστήματα εμπιστοσύνης. Σε ορισμένες περιπτώσεις τα διαστήματα αυτά μπορεί να είναι πολύ στενά. Εξαιτίας των ανωτέρω, δεν πρέπει να ερμηνεύουμε αυστηρά τα διαστήματα εμπιστοσύνης. Αντί να εστιάζουμε στο διάστημα εμπιστοσύνης που προκύπτει από την ανάλυση ενός πειράματος, πρέπει να επαναλάβουμε το πείραμα αρκετές φορές.

4. Μη γραμμική ανάλυση παλινδρόμησης Ταίριασμα των δεδομένων στη μη γραμμική παλινδρόμηση Πριν την αποδοχή των αποτελεσμάτων πρέπει να αναρωτηθούμε : Είχαμε σύγκλιση σε μία λύση; Έρχεται η καμπύλη όντως κοντά στα σημεία των δεδομένων; Ευσταθούν τα αποτελέσματα επιστημονικώς; Αποκλίνουν τα δεδομένα συστηματικά από την καμπύλη; Έχουν τα διαστήματα εμπιστοσύνης ικανοποιητικό εύρος; Αντιστοιχεί το αποτέλεσμα σε ένα τοπικό ελάχιστο;

4. Μη γραμμική ανάλυση παλινδρόμησης Ταίριασμα των δεδομένων στη μη γραμμική παλινδρόμηση (συν.) Για τον έλεγχο ύπαρξης ενός ψευδούς ελαχίστου : Σημειώνουμε τις τιμές των παραμέτρων και το άθροισμα των τετραγώνων από το πρώτο ταίριασμα. Αλλάζουμε σημαντικά τις τιμές μιας ή περισσοτέρων παραμέτρων και επαναλαμβάνουμε τη διαδικασία υπολογισμών. Επαναλαμβάνουμε το βήμα 2 αρκετές φορές. Ιδανικά, θα έχουμε σχεδόν το ίδιο άθροισμα τετραγώνων και σχεδόν τις ίδιες παραμέτρους ανεξαρτήτως των αρχικών συνθηκών. Εάν οι τιμές είναι διαφορετικές, αποδεχόμαστε εκείνες με το μικρότερο άθροισμα τετραγώνων.

4. Μη γραμμική ανάλυση παλινδρόμησης Τι μπορούμε να κάνουμε εάν το ταίριασμα των δεδομένων δεν είναι καλό; Πρόβλημα Λύση Η εξίσωση δεν περιγράφει τα δεδομένα. Δοκιμάζουμε μια διαφορετική εξίσωση. Οι αρχικές τιμές βρίσκονται πολύ μακριά από τις «σωστές» τιμές των παραμέτρων. Εισάγουμε διαφορετικές αρχικές τιμές. Το εύρος των τιμών του X είναι πάρα πολύ στενό για να οριστεί πλήρως η καμπύλη. Εάν είναι εφικτό, συλλέγουμε περισσότερα δεδομένα. Αλλιώς, δοκιμάζουμε να κρατήσουμε μία από τις μεταβλητές σε σταθερή τιμή. Δεν έχουμε συλλέξει αρκετά δεδομένα σε μια κρίσιμη περιοχή των τιμών του X. Συλλέγουμε περισσότερα δεδομένα στις σημαντικές περιοχές. Τα δεδομένα μας είναι πολύ διασκορπισμένα και ουσιαστικά δεν ορίζουν μια καμπύλη. Προσπαθούμε να συλλέξουμε λιγότερο διασκορπισμένα δεδομένα. Η εξίσωση περιλαμβάνει πολλές μεταβλητές, ωστόσο τα δεδομένα μας δεν ακολουθούν ένα μοντέλο με πολλές μεταβλητές. Χρησιμοποιούμε απλούστερη εξίσωση. Οι αριθμοί μας είναι πάρα πολύ μεγάλοι. Εάν οι τιμές μας είναι πάρα πολύ μεγάλες, αλλάζουμε τις μονάδες μέτρησης. Δε χρησιμοποιούμε τιμές > 104. Οι αριθμοί μας είναι πάρα πολύ μικροί. Εάν οι τιμές μας είναι πάρα πολύ μικρές, αλλάζουμε τις μονάδες μέτρησης. Δε χρησιμοποιούμε τιμές < 10-4.

4. Μη γραμμική ανάλυση παλινδρόμησης Συναρτήσεις του Matlab για μη γραμμική παλινδρόμηση Το Statistics Toolbox διαθέτει δύο τύπους μη γραμμικών μοντέλων: Τα Μη γραμμικά μοντέλα ελαχίστων τετραγώνων Αφορά σε μοντέλα που έχουν γνωστή παραμετρική μορφή αλλά άγνωστες τιμές παραμέτρων. Τα Δέντρα παλινδρόμησης Γίνεται προσέγγιση της σχέσης παλινδρόμησης χρησιμοποιώντας ένα δέντρο απόφασης. Ένα τέτοιο δέντρο χωρίζει το σύνολο των δεδομένων σε περιοχές χρησιμοποιώντας τις τιμές των μεταβλητών πρόβλεψης, έτσι ώστε η μεταβλητή απόκρισης να είναι περίπου σταθερή σε κάθε περιοχή.

4. Μη γραμμική ανάλυση παλινδρόμησης Συναρτήσεις του Matlab για μη γραμμική παλινδρόμηση (συν.) Μη γραμμικά μοντέλα ελαχίστων τετραγώνων Χρησιμοποιούν τη Μεθοδολογία Επιφάνειας Απόκρισης (RSM - Response Surface Methodology). Η RSM είναι μια εμπειρική μέθοδος που χρησιμοποιεί πολυώνυμα ως τοπικές προσεγγίσεις της πραγματικής σχέσης εισόδου/εξόδου. Αυτή η εμπειρική προσέγγιση είναι συχνά αρκετή για τα προβλήματά μας. Το Statistics Toolbox διαθέτει συναρτήσεις για την εφαρμογή μη γραμμικών μοντέλων της μορφής :

4. Μη γραμμική ανάλυση παλινδρόμησης Συναρτήσεις του Matlab για μη γραμμική παλινδρόμηση (συν.) Μη γραμμικά μοντέλα ελαχίστων τετραγώνων (συν.) όπου y : n×1 διάνυσμα παρατηρήσεων f : συνάρτηση των x και b x : n×p πίνακας των μεταβλητών εισόδου b : p×1 διάνυσμα των αγνώστων παραμέτρων, οι οποίες θα εκτιμηθούν ε : n×1 διάνυσμα τυχαίων διαταραχών (θόρυβος)

4. Μη γραμμική ανάλυση παλινδρόμησης Συναρτήσεις του Matlab για μη γραμμική παλινδρόμηση (συν.) Μη γραμμικά μοντέλα ελαχίστων τετραγώνων (συν.) Συναρτήσεις : nlinfit : προσδιορισμός του μη γραμμικού μοντέλου nlparci : διαστήματα εμπιστοσύνης των εκτιμήσεων των παραμέτρων nlpredci : διαστήματα εμπιστοσύνης των προβλεπόμενων αποκρίσεων nlintools : αλληλεπιδραστικό GUI για μη γραμμικά μοντέλα και προβλέψεις

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση nlinfit Η συνάρτηση εκτιμά τις παραμέτρους του μη γραμμικού μοντέλου με τη μέθοδο των ελαχίστων τετραγώνων. Δηλαδή, υπολογίζει τις τιμές των παραμέτρων που ελαχιστοποιούν το άθροισμα των τετραγώνων των διαφορών μεταξύ των παρατηρούμενων αποκρίσεων και των τιμών από το μοντέλο. Η συνάρτηση λαμβάνει τα δεδομένα εισόδου, τις αποκρίσεις, αρχικές τιμές των άγνωστων παραμέτρων και το όνομα μιας συνάρτησης, η οποία, από τα δεδομένα εισόδου και τις τρέχουσες εκτιμήσεις των παραμέτρων, επιστρέφει τις προβλεπόμενες αποκρίσεις.

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση nlinfit (συν.) [beta,r,J] = nlinfit(X,y,fun,beta0,options) Μεταβλητή Περιγραφή Παρατηρήσεις X Ο πίνακας των ανεξάρτητων των μεταβλητών y Η εξαρτημένη μεταβλητή fun Η συνάρτηση beta0 Το διάνυσμα που περιέχει τις αρχικές τιμές των συντελεστών beta Το διάνυσμα των συντελεστών r Τα κατάλοιπα J Ο Jacobian πίνακας options Η δομή που ελέγχει τις παραμέτρους του αλγορίθμου που χρησιμοποιούνται στη συνάρτηση nlinfit MaxIter : Μέγιστος αριθμός επιτρεπόμενων επαναλήψεων. Η εξορισμού τιμή είναι 100. TolFun : Ανοχή τερματισμού στο άθροισμα τετραγώνων των καταλοίπων. Εξορισμού είναι 1e-8. TolX: Ανοχή τερματισμού στις εκτιμήσεις των συντελεστών beta. Εξορισμού είναι 1e-8. Display : Επίπεδο παρουσίασης εξόδου κατά τη διάρκεια των υπολογισμών. Οι επιλογές είναι 'off' (η εξορισμού τιμή), 'iter‘ και 'final'

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση nlparci Επιστρέφει το 95% διάστημα εμπιστοσύνης των εκτιμήσεων των παραμέτρων beta με τη μέθοδο ελαχίστων τετραγώνων, με δεδομένα τα κατάλοιπα r και τον Jacobian πίνακα J στη λύση. Ο υπολογισμός του διαστήματος εμπιστοσύνης είναι έγκυρος για συστήματα στα οποία το πλήθος των γραμμών του J υπερβαίνει το μήκος του beta. ci = nlparci(beta,r,J) Μεταβλητή Περιγραφή Παρατηρήσεις ci Το διάστημα εμπιστοσύνης beta Το διάνυσμα συντελεστών Έξοδος της συνάρτησης nlinfit r Τα κατάλοιπα J Η Jacobian

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση nlpredci Επιστρέφει τις προβλέψεις ypred, με δεδομένες τις παραμέτρους beta, τα κατάλοιπα r και τον Jacobian πίνακα J. Επίσης, επιστρέφει τα διαστήματα εμπιστοσύνης των προβλέψεων, τα οποία είναι έγκυρα για συστήματα στα οποία το πλήθος καταλοίπων υπερβαίνει το πλήθος των συντελεστών του beta και ο J είναι πλήρους τάξης στηλών. [ypred,delta] = nlpredci(FUN,inputs,beta,r,J) Μεταβλητή Περιγραφή Παρατηρήσεις ypred Οι προβλέψεις των αποκρίσεων delta Το ημι-εύρος των διαστημάτων εμπιστοσύνης των μη γραμμικών προβλέψεων ελαχίστων τετραγώνων Το διάστημα [ypred-delta,ypred+delta] είναι ένα διάστημα εμπιστοσύνης της πραγματικής τιμής της συνάρτησης στις συγκεκριμένες τιμές εισόδου (Inputs) inputs Ο πίνακας τιμών των ανεξάρτητων μεταβλητών της μη γραμμικής συνάρτησης FUN Η μη γραμμική συνάρτηση beta Το διάνυσμα συντελεστών Έξοδος της συνάρτησης nlinfit r Τα κατάλοιπα J O Jacobian πίνακας

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση nlpredci (συν.) [ypred,delta] = nlpredci(FUN,inputs,beta,r,J, alpha,'simopt') Μεταβλητή Περιγραφή Παρατηρήσεις ypred Οι προβλέψεις των αποκρίσεων delta Το ημι-εύρος των διαστημάτων εμπιστοσύνης των μη γραμμικών προβλέψεων ελαχίστων τετραγώνων Το διάστημα εμπιστοσύνης είναι [ypred-delta,ypred+delta] inputs Ο πίνακας τιμών των ανεξάρτητων μεταβλητών της μη γραμμικής συνάρτησης FUN Η μη γραμμική συνάρτηση beta Το διάνυσμα συντελεστών Έξοδος της συνάρτησης nlinfit r Τα κατάλοιπα J O Jacobian πίνακας alpha Το επίπεδο σημαντικότητας Εξορισμού : 0.05 simopt 'on' για ταυτόχρονα διαστήματα 'off' για μη ταυτόχρονα διαστήματα Εξορισμού : ‘off’

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση nlintool Προσαρμόζει μια μη γραμμική εξίσωση στα δεδομένα και παρουσιάζει ένα αλληλεπιδραστικό γράφημα. Παρέχει ένα διάγραμμα πρόβλεψης που αποτελεί τη μη γραμμική καμπύλη που περιγράφει τα δεδομένα (x,y). Σχεδιάζει ένα 95% διάστημα εμπιστοσύνης των προβλέψεων ως δύο κόκκινες καμπύλες. nlintool(x,y,fun,beta0,alpha,'xname','yname') Μεταβλητή Περιγραφή Παρατηρήσεις x Πίνακας τιμών των ανεξάρτητων μεταβλητών y Διάνυσμα στήλη της εξαρτημένης μεταβλητής fun Η μη γραμμική συνάρτηση beta0 Διάνυσμα που περιέχει τις αρχικές εκτιμήσεις των παραμέτρων alpha Το επίπεδο σημαντικότητας Εξ’ορισμού : 0.05 xname Περιέχει τις ετικέτες του γραφήματος για τις x μεταβλητές yname Περιέχει τις ετικέτες του γραφήματος για την y μεταβλητή

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση nlintool (συν.) nlintool(x,y,fun,beta0,options) Μεταβλητή Περιγραφή Παρατηρήσεις x Πίνακας τιμών των ανεξάρτητων μεταβλητών y Διάνυσμα στήλη της εξαρτημένης μεταβλητής fun Η μη γραμμική συνάρτηση beta0 Διάνυσμα που περιέχει τις αρχικές εκτιμήσεις των παραμέτρων options Η δομή που ελέγχει τις παραμέτρους του αλγορίθμου που χρησιμοποιούνται στη συνάρτηση nlinfit MaxIter : Μέγιστος αριθμός επιτρεπόμενων επαναλήψεων. Η εξορισμού τιμή είναι 100. TolFun : Ανοχή τερματισμού στο άθροισμα τετραγώνων των καταλοίπων. Εξορισμού είναι 1e-8. TolX: Ανοχή τερματισμού στις εκτιμήσεις των συντελεστών beta. Εξορισμού είναι 1e-8. Display : Επίπεδο παρουσίασης εξόδου κατά τη διάρκεια των υπολογισμών. Οι επιλογές είναι 'off' (η εξορισμού τιμή), 'iter‘ και 'final'

4. Μη γραμμική ανάλυση παλινδρόμησης Η συνάρτηση nlintool (συν.) Το αποτέλεσμα της συνάρτησης είναι ένα «διάνυσμα» διαγραμμάτων. Κάθε διάγραμμα παρουσιάζει την εξαρτημένη μεταβλητή ως προς κάθε ανεξάρτητη. Πιο συγκεκριμένα, κάθε διάγραμμα παρουσιάζει τη σχέση της εξαρτημένης μεταβλητής με την ανεξάρτητη μεταβλητή για συγκεκριμένες τιμές των υπολοίπων ανεξάρτητων μεταβλητών. Η σταθερή τιμή κάθε ανεξάρτητης μεταβλητής περιέχεται σε ένα text box κάτω από κάθε άξονα. Μπορούμε να μεταβάλλουμε τη σταθερή τιμή οποιασδήποτε ανεξάρτητης μεταβλητής είτε πληκτρολογώντας αυτή στο text box είτε σύροντας οποιαδήποτε από τις τρεις κατακόρυφες γραμμές σε μια νέα θέση. Όταν μεταβάλλουμε την τιμή μιας ανεξάρτητης μεταβλητής, όλα τα διαγράμματα τροποποιούνται για να παρουσιάσουν την τρέχουσα κατάσταση στο νέο σημείο στο χώρο των ανεξάρτητων μεταβλητών.

4. Μη γραμμική ανάλυση παλινδρόμησης Παράδειγμα 4.3 Έστω ότι έχουμε ένα σύνολο δεδομένων 100 τιμών δύο ανεξάρτητων μεταβλητών x1 και x2 που παράγονται από : x1=unifrnd(-1,1,100,1); x2=unifrnd(-3,3,100,1); Έστω επίσης ότι έχουμε ένα σύνολο δεδομένων της εξαρτημένης μεταβλητής y που παράγονται από: y=5./x1+1./(1+exp(-3*x2)) Έστω ότι το υποκείμενο μη γραμμικό μοντέλο είναι το ακόλουθο: function yhat = nlmod1(beta,x) b1 = beta(1); b2 = beta(2); x1 = x(:,1); x2 = x(:,2); yhat = b1./x1+1./(1+exp(-b2*x2)); Να υπολογιστούν οι παράμετροι για το παραπάνω μοντέλο δεδομένου ότι ισχύουν όλες οι παραδοχές που απαιτούνται για το μη γραμμικό μοντέλο.

4. Μη γραμμική ανάλυση παλινδρόμησης Παράδειγμα 4.3 (συν.) x1=unifrnd(-1,1,100,1); x2=unifrnd(-3,3,100,1); y=5./x1+1./(1+exp(-3*x2)); X=[x1 x2]; beta0=[1 1]; [beta,r,J]=nlinfit(X,y,'nlmod1',beta0); beta = 5.0000 3.0000 Ποια είναι τα διαστήματα εμπιστοσύνης των παραμέτρων; ci = nlparci(beta,r,J) ci = 5.0000 5.0000 3.0000 3.0000 Ποιες είναι οι προβλεπόμενες αποκρίσεις του μοντέλου; ypred = nlpredci('nlmod1',X,beta,r,J);

4. Μη γραμμική ανάλυση παλινδρόμησης Παράδειγμα 4.3 (συν.) Τι δίνει το αλληλεπιδραστικό GUI του MATLAB για το μη γραμμικό μοντέλο στην περίπτωση αυτή; nlintool(X,y,'nlmod1',beta0)

4. Μη γραμμική ανάλυση παλινδρόμησης Παράδειγμα 4.4 Για το σύνολο των δεδομένων του Παραδείγματος 4.3, να υπολογιστούν οι παράμετροι για αρχικές τιμές b1=-10, b2=-10. beta0=[-10 -10]; [beta,r,J]=nlinfit(X,y,'nlmod1',beta0); beta = 5.0000 3.0000 ci = nlparci(beta,r,J) ci =5.0000 5.0000 3.0000 3.0000 Υποθέστε ότι το υποκείμενο μη γραμμικό μοντέλο είναι το ακόλουθο : function yhat = nlmod2(beta,x) b1 = beta(1); b2 = beta(2); x1 = x(:,1); x2 = x(:,2); yhat = 1./(1-b1*x1)+1./(1+exp(-b2*x2)); Να υπολογιστούν οι παράμετροι για το παραπάνω μοντέλο δεδομένου ότι ισχύουν όλες οι παραδοχές που απαιτούνται για το μη γραμμικό μοντέλο.

4. Μη γραμμική ανάλυση παλινδρόμησης Παράδειγμα 4.4 (συν.) beta0=[1 -1]; [beta,r,J]=nlinfit(X,y,'nlmod2',beta0); beta = 0.9293 -9.3372 Ποια είναι τα διαστήματα εμπιστοσύνης των παραμέτρων; ci = nlparci(beta,r,J) ci = 1.0e+003 * -0.0006 0.0024 -3.9641 3.9454 Τα διαστήματα εμπιστοσύνης είναι εξαιρετικά ευρεία αφού το μοντέλο με το οποίο προσπαθήσαμε να περιγράψουμε τα δεδομένα είναι πολύ διαφορετικό συγκρινόμενο με το αρχικό που χρησιμοποιήθηκε για την παραγωγή της εξαρτημένης μεταβλητής.

4. Μη γραμμική ανάλυση παλινδρόμησης Παράδειγμα 4.5 Για το σύνολο των δεδομένων του Παραδείγματος 4.3, να υπολογιστούν οι παράμετροι εάν πρώτα προστεθεί gaussian θόρυβο στην εξαρτημένη μεταβλητή. y=y+normrnd(0,1,100,1); beta0=[1 -1]; [beta,r,J]=nlinfit(X,y,'nlmod1',beta0); beta = 5.0014 7.7803 ci = nlparci(beta,r,J) ci = 4.9942 5.0086 -11.9531 27.5137