Ανάλυση Πολλαπλής Παλινδρόμησης y = b0 + b1x1 + b2x2 + . . . bkxk + u 1. Εκτίμηση

Παράλληλα με την Απλή Παλινδρόμηση b0 είναι ο σταθερός όρος ή τεταγμένη της αρχής b1…bk είναι οι παράμετροι κλίσης u καλείται το σφάλμα ή ο διαταρακτικός όρος Ακόμα, χρειαζόμαστε μία υπόθεση όπου η υπό προϋποθέσεις προσδοκώμενη τιμή να είναι μηδέν, έτσι υποθέτουμε ότι: E(u|x1,x2, …,xk) = 0 Ακόμα, ελαχιστοποιώντας το άθροισμα των τετραγώνων των καταλοίπων, έχουμε k+1 συνθήκες πρώτης τάξης, βλ. σελ. 101.

Ερμηνεύοντας την πολλαπλή Παλινδρόμηση

Μία Απομονωτική Ερμηνεία «Διατηρώντας τους Άλλους Παράγοντες Σταθερούς»

«Διατηρώντας τους Άλλους Παράγοντες Σταθερούς» (συνέχεια) Από την προηγούμενη εξίσωση συνεπάγεται ότι παλινδρομώντας την y επί της x1 και επί της x2 δίνει την ίδια επίδραση για το x1 η παλινδρόμηση της y στα κατάλοιπα από την παλινδρόμηση της x1 επί της x2 Αυτό σημαίνει ότι μόνο το μέρος της xi1 που είναι ασυσχέτιστο με την xi2 σχετίζεται με την yi έτσι εκτιμούμε την επίδραση της x1 στην y εφόσον διατηρήσουμε την x2 σταθερή.

Απλή έναντι Πολλαπλής Παλινδρόμησης - Εκτίμηση

Ποιότητα Προσαρμογής

Ποιότητα Προσαρμογής (συνέχεια) Πως αποφασίζουμε σχετικά με το πόσο καλά προσαρμόζεται η γραμμή παλινδρόμησης στα δεδομένα του δείγματος. Μπορούμε να υπολογίσουμε το κλάσμα του συνολικού αθροίσματος των τετραγώνων (SST) που εξηγείτε από το μοντέλο, καλούμε αυτό το κλάσμα R-τετράγωνο της παλινδρόμησης R2 = SSE/SST = 1 – SSR/SST

Ποιότητα Προσαρμογής (συνέχεια)

Περισσότερα για το R-τετράγωνο

Υποθέσεις για Αμεροληψία Το μοντέλο του πληθυσμού είναι γραμμικό ως προς τις παραμέτρους: y = b0 + b1x1 + b2x2 +…+ bkxk + u Μπορούμε να χρησιμοποιήσουμε ένα τυχαίο δείγμα μεγέθους n, {(xi1, xi2,…, xik, yi): i=1, 2, …, n}, από το μοντέλο του πληθυσμού, έτσι ώστε το μοντέλο του δείγματος είναι: yi = b0 + b1xi1 + b2xi2 +…+ bkxik + ui E(u|x1, x2,… xk) = 0, υπαινίσσεται ότι όλες οι ερμηνευτικές μεταβλητές είναι εξωγενείς. Καμία από τις x μεταβλητές δεν είναι σταθερή, και δεν υπάρχει ακριβή γραμμική σχέση μεταξύ αυτών

Περισσότερες οι Λιγότερες Μεταβλητές στο μοντέλο Τι συμβαίνει όταν συμπεριλάβουμε μεταβλητές οι οποίες δεν έχουνε καμία μερική επίπτωση στην y στον πληθυσμό; Απάντηση: Δεν υπάρχει καμία επίπτωση στους εκτιμητές των παραμέτρων, και οι OLS παραμένουνε αμερόληπτοι. Τι συμβαίνει όταν παραλείψουμε μία σχετική μεταβλητή από το μοντέλο; Απάντηση: Οι OLS εκτιμητές θα είναι μάλλον μεροληπτικοί.

Το Μεροληπτικό Σφάλμα της Παράλειψης μιας Μεταβλητής

Το Μεροληπτικό Σφάλμα της Παράλειψης μιας Μεταβλητής (συν)

Το Μεροληπτικό Σφάλμα της Παράλειψης μιας Μεταβλητής (συνέχεια)

Το Μεροληπτικό Σφάλμα της Παράλειψης μιας Μεταβλητής (συνέχεια)

Περίληψη για την Κατεύθυνση της μεροληψίας Περίληψη για την Κατεύθυνση της μεροληψίας Συσχέτιση (x1, x2) > 0 (x1, x2) < 0 b2 > 0 Θετική Μεροληψία Αρνητική Μεροληψία b2 < 0

Περίληψη για το Μεροληπτικό Σφάλμα της Παράλειψης μιας Μεταβλητής Δύο περιπτώσεις όπου η μεροληψία είναι 0 b2 = 0, δηλαδή x2 δεν ανήκει στο μοντέλο x1 και x2 είναι ασυσχέτιστα στο δείγμα Όταν οι συσχετίσεις μεταξύ x2 , x1 και x2 , y είναι της ίδιας κατεύθυνσης, τότε η μεροληψία είναι θετική Όταν οι συσχετίσεις μεταξύ x2 , x1 και x2 , y έχουνε διαφορετικό πρόσημο, τότε η μεροληψία είναι αρνητική

Η πιο Γενική Περίπτωση Τεχνικά, μπορούμε να καθορίσουμε το πρόσημο της μεροληψίας για την πιο γενική περίπτωση εάν όλες οι συμπεριλαμβανόμενες x’s είναι ασυσχέτιστες Κατόπιν, τυπικά, μελετούμε την μεροληψία υποθέτοντας τις x’s ασυσχέτιστες, σαν μία χρήσιμη καθοδήγηση, ακόμα και όταν αυτή η υπόθεση παραβιάζεται

Η Διακύμανση των Εκτιμητών Ελαχίστων Τετραγώνων Τώρα γνωρίζουμε ότι η κατανομή δειγματοληψίας των εκτιμητών είναι συγκεντρωμένη γύρω από τις αληθινές τιμές των παραμέτρων Θέλουμε να γνωρίζουμε πόσο απλωμένη αυτή η κατανομή είναι Είναι πιο εύκολα να σκεφτούμε για αυτή τη διακύμανση κάτω από μία επιπρόσθετη υπόθεση, έτσι Υποθέτουμε ότι Var(u|x1, x2,…, xk) = s2 (Ομοσκεδαστικότητα)

Η Διακύμανση των Εκτιμητών Ελαχίστων Τετραγώνων (συνέχεια) Ορίζουμε το διάνυσμα x ως (x1, x2,…xk) Υποθέτοντας ότι Var(u|x)=s2, επίσης υπαινίσσεται ότι Var(y| x)=s2 Οι τέσσερις υποθέσεις για την αμεροληψία, συν αυτήν την υπόθεση της ομοσκεδαστικότητας είναι γνωστές ως Gauss-markov υποθέσεις.

Η Διακύμανση των Εκτιμητών Ελαχίστων Τετραγώνων (συνέχεια)

Τα συστατικά των διακυμάνσεων των OLS Η διακύμανση του σφάλματος: μία μεγαλύτερη s2 υπαινίσσεται μία μεγαλύτερη διακύμανση για τους εκτιμητές των OLS. Η συνολική διακύμανση δείγματος: ένα μεγαλύτερο SSTj υπαινίσσεται μία μικρότερη διακύμανση για τους εκτιμητές των OLS. Γραμμικές σχέσεις μεταξύ των ανεξαρτήτων μεταβλητών: ένα μεγαλύτερο Rj2 υπαινίσσεται μία μεγαλύτερη διακύμανση για τους εκτιμητές των OLS.

Κακώς Προσδιορισμένα Μοντέλα

Κακώς Προσδιορισμένα Μοντέλα (συνέχεια) Άρα η διακύμανση των εκτιμητών είναι μικρότερη σε ένα κακώς προσδιορισμένο μοντέλο. Μόνο όταν b2 = 0 το κακώς προσδιορισμένο μοντέλο είναι μεροληπτικό Καθώς το μέγεθος του δείγματος αυξάνει, η διακύμανση για τον κάθε εκτιμητή συρρικνώνεται στο 0, κάνοντας την διάφορα των διακυμάνσεων λιγότερο σημαντική

Εκτιμώντας την Διακύμανση του Σφάλματος Δεν γνωρίζουμε ποια είναι η διακύμανση σφάλματος, s2, επειδή δεν παρατηρούμε τα σφάλματα, ui Αυτά που παρατηρούμε είναι τα κατάλοιπα, ûi Μπορούμε να χρησιμοποιήσουμε τα κατάλοιπα για να σχηματίσουμε μία εκτίμηση της διακύμανσης σφάλματος

Εκτιμώντας την Διακύμανση Σφάλματος (συνέχεια) df = n – (k + 1), ή df = n – k – 1 df (βαθμοί ελευθερίας) είναι (ο αριθμός των παρατηρήσεων) –(ο αριθμός των εκτιμημένων παραμέτρων)

Το Θεώρημα του Gauss-Markov Με δεδομένα τις 5 υποθέσεις του Gauss-Markov μπορεί να αποδειχθεί ότι οι OLS είναι “ΑΓΑΕ” ή “BLUE” Άριστος - Best Γραμμικός - Linear Αμερόληπτος - Unbiased Εκτιμητής - Estimator ¨Έτσι , εάν οι υποθέσεις εκπληρώνονται, τότε χρησιμοποιήστε τους OLS εκτιμητές