Μέθοδος ελαχίστων τετραγώνων – Μεθοδολογία παλινδρόμησης Κοινός στόχος ανάλυσης δεδομένων: Προσαρμογή εξίσωσης σε δεδομένα ή παλινδρόμηση Εξίσωση: αποτέλεσμα θεωρητικού ή εμπειρικού μοντέλου Διαδικασία: Προσαρμογή καμπύλης (curve fitting) ή παλινδρόμηση (regression) ή εκτίμηση παραμέτρων Μοντέλο τύπου: y = f(x) y: εξαρτημένη μεταβλητή, x: ανεξάρτητη μεταβλητή

Μέθοδος ελαχίστων τετραγώνων – Μεθοδολογία παλινδρόμησης Τύποι μοντέλων: Γραμμικό μοντέλο: y = β0 + β1 x1 + β2 x2 Μη γραμμικό μοντέλο: y = θ1 * exp (-θ2*x) Γραμμικότητα αφορά στις ανεξάρτητες μεταβλητές x. Κατά άλλους, η γραμμικότητα αφορά και στις παραμέτρους β. Στατιστικές εκτιμήσεις των (πραγματικών τιμών) των παραμέτρων είναι οι συντελεστές: b1, b2,..... και k1, k2, ......

Μέθοδος ελαχίστων τετραγώνων – Μεθοδολογία παλινδρόμησης yi = ηi + ei, i=1,2,.....n (αριθμός των πειραμάτων) Έστω οτι ισχύει το μοντέλο: η = β0 + β1x yi = ηi + ei = β0 + β1xi + ei με σφάλματα τα: ei = yi – β0 – β1xi Αν μοντέλο σωστό, τότε: ei = yi – ηi αποτέλεσμα τυχαίων πειραματικών σφαλμάτων μόνο. Συνεπώς, τα σφάλματα του μοντέλου (ei) περιέχουν διαγνωστική πληροφορία και πρέπει να είναι τυχαία, ανεξάρτητα και να κατανέμονται κανονικά.

Μέθοδος ελαχίστων τετραγώνων – Μεθοδολογία παλινδρόμησης S: Άθροισμα τετραγώνων σφαλμάτων ή υπολειμματικό άθροισμα τετραγώνων Καλύτερος συνδυασμός παραμέτρων ενός μοντέλου όταν: Min S = Στόχος: Ελαχιστοποίηση S Min S(β) => Θέτω 1η παράγωγο ίση με 0 και λύνω ως προς β (εκτίμηση του b):

Μέθοδος ελαχίστων τετραγώνων – Γραμμικό μοντέλο Έστω το γραμμικό μοντέλο (y = β * x) Min S(β) => Θέτω 1η παράγωγο ίση με 0 και λύνω ως προς β (εκτίμηση του b):

Μέθοδος ελαχίστων τετραγώνων – Μη γραμμικό μοντέλο Έστω το μη γραμμικό μοντέλο (η = e-θx) Δεν υπάρχει αλγεβρική λύση. Βρίσκεται με «δοκιμή και σφάλμα».

Μέθοδος ελαχίστων τετραγώνων – Δοκιμή και λάθος

Μέθοδος ελαχίστων τετραγώνων – Παράδειγμα δεδομένων πίνακα Γραμμικό μοντέλο: Μη γραμμικό μοντέλο: Τελικά: Προτεινόμενο γραμμικό μοντέλο: Προτεινόμενο μη γραμμικό μοντέλο:

Μέθοδος ελαχίστων τετραγώνων – Υπολογισμός ακρίβειας παραμέτρων Το σ2 εκτιμάται από το s2: n: αριθμός παρατηρήσεων (6 με βάση το άνω παράδειγμα) p: αριθμός εκτιμώμενων παραμέτρων (1 με βάση το άνω παράδειγμα) Τελικά, η διασπορά της παραμέτρου b είναι: Και το προτεινόμενο τυπικό σφάλμα του b είναι: Tο διάστημα εμπιστοσύνης του b είναι: Για ν = 5 και α=0.05, τότε t5,0.025 = 2.571 Διάστημα εμπιστοσύνης b: 0.1 ± 0.0046

Μέθοδος ελαχίστων τετραγώνων – Υπολογισμός ακρίβειας παραμέτρων

Συντελεστής απόφασης R2 Μοντέλο μαθηματικό με Μηδενικό μοντέλο (null model) Το ӯ είναι το απλούστερο μοντέλο, η μέση τιμή των τιμών των παρατηρήσεων yi

Συντελεστής απόφασης R2 Τελικά: R2 είναι λοιπόν συγκριτικό μοντέλο. Μεγάλες τιμές R2 ουσιαστικά δείχνουν πόσο το μοντέλο μας βελτιώνει το μηδενικό μοντέλο. R2 δεν φανερώνει πόσο καλό είναι το μοντέλο.

Συντελεστής απόφασης R2

Συντελεστής απόφασης R2 Παράδειγμα «άχρηστης» συσχέτισης με υψηλό συντελεστή συσχέτισης. Χ: οι 6 πρώτοι αριθμοί του π Υ: οι αριθμοί Fibonacci

Παράδειγμα ανούσιας συσχέτισης (δεδομένα Anscombe)

Συντελεστής απόφασης R2 Άλλο στατιστικά σημαντικό R2 και άλλο υψηλό R2 Στατιστική σημαντικότητα 1% σημαίνει οτι έχω μία πιθανότητα στις 100 να θεωρήσω κατά λάθος οτι οι μεταβλητές x,y συσχετίζονται όταν στην πραγματικότητα δεν σχετίζονται. Για το απλό γραμμικό μοντέλο: οι ελάχιστες απαιτούμενες τιμές R2 που καθορίζουν την αναγραφόμενη στατιστική σημαντικότητα εξαρτώνται από το αριθμό των μετρήσεων και είναι:

Συντελεστής απόφασης R2 Το R2 μειώνεται με μείωση του εύρους διακύμανσης (διασποράς) της ανεξάρτητης μεταβλητής x. Άρα, η μείωση του R2 δεν οφείλεται στη μείωση του αριθμού των μετρήσεων Παράδειγμα για απλό γραμμικό μοντέλο