Ανάλυση Πολλαπλής Παλινδρόμησης

Παρουσίαση με θέμα: "Ανάλυση Πολλαπλής Παλινδρόμησης"— Μεταγράφημα παρουσίασης:

1 Ανάλυση Πολλαπλής Παλινδρόμησης
y = b0 + b1x1 + b2x bkxk + u 6. Ετεροσκεδαστικότητα Κεφάλαιο 8

2 Τι Είναι Ετεροσκεδαστικότητα
Ανακαλέστε την υπόθεση της ομοσκεδαστικότητας η οποία υποθέτει ότι η διακύμανση του μη-παρατηρουμένου σφάλματος, u, υπό-δέσμευση ως προς όλες τις επεξηγηματικές μεταβλητές, είναι σταθερή. Εάν αυτό δεν είναι αληθής, δηλαδή εάν η διακύμανση του u είναι διαφορετική για διαφορετικές τιμές των x, τότε τα σφάλματα δεν είναι ομοσκεδαστικά. Παράδειγμα: η εκτίμηση των απολαβών σε σχέση με την εκπαίδευση και την ικανότητα των εργαζομένων δεν παρατηρείται, και σκεφτείτε ότι η διακύμανση της ικανότητας διαφέρει κατά μορφωτικό επίπεδο.

3 . . . Παράδειγμα Ετεροσκεδαστικότητας f(y|x) y x1 x2 x3 x
E(y|x) = b0 + b1x . x1 x2 x3 x

4 Γιατί Ανησυχούμε για την Ετεροσκεδαστικότητα;
OLS είναι ακόμη αμερόληπτοι και συνεπείς, ακόμη και αν δεν υποθέτουμε ομοσκεδαστικότητα. Τα τυπικά σφάλματα των εκτιμητών είναι μεροληπτικά όταν έχουμε ετεροσκεδαστικότητα. Εάν τα τυπικά σφάλματα είναι μεροληπτικά, δεν μπορούμε να χρησιμοποιήσουμε τις σύνηθες t ή F ή LM στατιστικές για να εξάγουμε συμπεράσματα.

5 Διακύμανση με Ετεροσκεδαστικότητα

6 Διακύμανση με Ετεροσκεδαστικότητα

7 Ανθεκτικά Τυπικά Σφάλματα
Τώρα που έχουμε έναν συνεπή εκτιμητή της διακύμανσης, η τετραγωνική ρίζα μπορεί να χρησιμοποιηθεί ως ένα τυπικό σφάλμα για συμπερασματολογία. Γενικώς καλούνται ανθεκτικά τυπικά σφάλματα. Ορισμένες φορές η εκτιμώμενη διακύμανση διορθώνεται για βαθμούς ελευθερίας πολλαπλασιάζοντας με n/(n – k – 1) Καθώς n → ∞ δεν υπάρχει διαφορά, αφού το όριο είναι 1.

8 Ανθεκτικά Τυπικά Σφάλματα και F Έλεγχος
Είναι σημαντικό να θυμόμαστε ότι αυτά τα ανθεκτικά τυπικά σφάλματα έχουν μόνο ασυμπτωτική εγκυρότητα – για μικρά μεγέθη του δείγματος οι t στατιστικές υπολογισμένες με τα ανθεκτικά τυπικά σφάλματα δεν ακολουθούν t-κατανομή, και τα συμπεράσματα δεν είναι σωστά. Στο Stata, ανθεκτικά τυπικά σφάλματα είναι εύκολο να επιτευχθούν αν χρησιμοποιήσουμε την εντολή robust στην διαδικασία reg. Η στατιστική F είναι ανθεκτική ως προς την ετεροσκεδαστικότητα και καλείται και Wald στατιστική.

9 Μία Ανθεκτική LM Στατιστική
Εκτελούμε OLS στο υπό δέσμευση μοντέλο και σώστε τα κατάλοιπα ŭ. Παλινδρομήστε κάθε μία από τις μεταβλητές που αποκλείονται επί όλων των ανεξαρτήτων μεταβλητών που χρησιμοποιούνται (q διαφορετικές παλινδρομήσεις) και σώστε τις ομάδες των καταλοίπων ř1, ř2, …, řq. Παλινδρομήστε την μεταβλητή 1 επί των ř1 ŭ, ř2 ŭ, …, řq ŭ, χωρίς τεταγμένη της αρχής. Η LM στατιστική είναι n – SSR1, όπου SSR1 είναι το άθροισμα των τετραγώνων των καταλοίπων από την τελευταία παλινδρόμηση και ακολουθεί χ2-κατανομή με q βαθμούς ελευθερίας.

10 Έλεγχος για Ετεροσκεδαστικότητα
Ουσιαστικά θέλουμε να ελέγξουμε H0: Var(u|x1, x2,…, xk) = s2, το οποίο είναι ισοδύναμο με H0: E(u2|x1, x2,…, xk) = E(u2) = s2 Εάν υποθέσουμε ότι η σχέση μεταξύ του u2 και xj είναι γραμμική, μπορούμε να το ελέγξουμε σαν ένα γραμμικό περιορισμό. Έτσι, για u2 = d0 + d1x1 +…+ dk xk + v, σημαίνει έλεγχος του H0: d1 = d2 = … = dk = 0

11 Το τεστ των Breusch-Pagan για την Ετεροσκεδαστικότητα
Το σφάλμα δεν παρατηρείται, αλλά μπορούμε να το εκτιμήσουμε από την παλινδρόμηση των OLS. Αφού παλινδρομήσουμε τα τετράγωνα των καταλοίπων επί όλων των x’s, μπορούμε να χρησιμοποιήσουμε το R2 για να υπολογίσουμε ένα F ή ένα LM τεστ. Η F στατιστική είναι η F στατιστική για την ολική σημαντικότητα της παλινδρόμησης, F = [R2/k]/[(1 – R2)/(n – k – 1)], το οποίο είναι κατανεμημένο Fk, n – k - 1 Η LM στατιστική είναι LM = nR2, με κατανομή c2k

12 Το τεστ του White Το τεστ του Breusch-Pagan ανιχνεύει κάθε είδους γραμμική σχέση για ετεροσκεδαστικοτητα. Το τεστ του White επιτρέπει και μη-γραμμικές σχέσεις χρησιμοποιώντας τετράγωνα και γινόμενα όλων των x. Ακόμα χρησιμοποιούμε ένα F ή LM για τον έλεγχο όλων των xj, xj2, και xjxh είναι από κοινού σημαντικά. Αλλά αυτό μπορεί να γίνει εύκολα πολύ άβολο.

13 Εναλλακτική Μορφή για το Τεστ του White
Θεωρήστε ότι οι εκτιμώμενες τιμές των OLS, ŷ, είναι συνάρτηση όλων των x. Έτσι, ŷ2 θα είναι συνάρτηση των τετραγώνων και των γινομένων, και ŷ και ŷ2 αντιπροσωπεύουν για όλα τα xj, xj2, και xjxh, έτσι Παλινδρομούμε τα τετράγωνα των καταλοίπων επί των ŷ και ŷ2 και χρησιμοποιούμε το R2 για τον υπολογισμό των F ή LM στατιστικών. Σημειώστε ότι ελέγχουμε μόνο για δύο περιορισμούς τώρα.

14 Σταθμισμένα Ελάχιστα Τετράγωνα
Αν και είναι πάντα δυνατό να εκτιμήσουμε ανθεκτικά τυπικά σφάλματα για OLS εκτιμητές, εάν γνωρίζουμε κάτι σχετικά με τη συγκεκριμένη μορφή της ετεροσκεδαστικότητας, μπορούμε να επιτύχουμε πιο αποτελεσματικούς εκτιμητές από τους OLS Η βασική ιδέα είναι να μετασχηματίσουμε το μοντέλο σε ένα νέο μοντέλο με ομοσκεδαστικά σφάλματα – η τεχνική καλείται σταθμισμένα ελάχιστα τετράγωνα

15 Η μορφή της ετεροσκεδαστικότητας συσχετιζόμενη με μία πολλαπλασιαζόμενη σταθερά
Υποθέστε ότι η ετεροσκεδαστικότητα μπορεί να μοντελοποιηθεί ως Var(u|x) = s2h(x), όπου το τέχνασμα είναι να καθορίσουμε τη μορφή της h(x) ≡ hi E(ui/√hi|x) = 0, επειδή hi είναι μόνο συνάρτηση του x, και Var(ui/√hi|x) = s2, αφού γνωρίζουμε ότι Var(u|x) = s2hi Έτσι, εάν διαιρέσουμε και τα δύο μέλη της εξίσωσης με √hi θα έχουμε ένα μοντέλο με ομοσκεδαστικά σφάλματα.

16 Γενικευμένα Ελάχιστα Τετράγωνα
Η εκτίμηση της μετασχηματισμένης εξίσωσης με OLS είναι ένα παράδειγμα γενικευμένων ελάχιστων τετράγωνων (GLS) GLS θα είναι ΑΓΑΕ (BLUE, Κεφ. 3 – Δ 28) σε αυτή την περίπτωση GLS είναι μία διαδικασία σταθμισμένων ελάχιστων τετράγωνων (WLS) όπου κάθε τετραγωνισμένο κατάλοιπο σταθμίζεται με την αντίστροφο της Var(ui|xi)

17 Σταθμισμένα Ελάχιστα Τετράγωνα
Αν και μπορούμε να δούμε διαισθητικά γιατί η εκτέλεση των OLS σε μία μετασχηματιζόμενη εξίσωση είναι κατάλληλη, μπορεί να είναι δύσκολο να εκτελέσουμε τον μετασχηματισμό Με γενικευμένα ελάχιστα τετράγωνα επιτυγχάνουμε το ίδιο πράγμα, χωρίς να κάνουμε μετασχηματισμό Η ιδέα είναι να ελαχιστοποιήσουμε το σταθμισμένο άθροισμα τετράγωνων (σταθμίζοντας με 1/hi)

18 Σταθμισμένα Ελάχιστα Τετράγωνα WLS (συνεχεία)
WLS είναι κατάλληλα αν γνωρίζουμε την μορφή της Var(ui|xi) Στις πιο πολλές περιπτώσεις δεν γνωρίζουμε την μορφή της ετεροσκεδαστικότητας Στην περίπτωση που τα δεδομένα είναι αθροιστικά και μοντελοποιούμε σε ατομικό επίπεδο, γνωρίζουμε την μορφή της ετεροσκεδαστικότητας Στην παραπάνω περίπτωση θέλουμε να σταθμίσουμε κάθε αθροιστική παρατήρηση με τον αντίστροφο αριθμό των ατόμων

19 Εφικτά Γενικευμένα Ελάχιστα Τετράγωνα
Ξαναθυμίζουμε ότι πιο τυπική είναι η περίπτωση στην οποία δεν γνωρίζουμε την μορφή της ετεροσκεδαστικότητας Σε αυτή την περίπτωση, χρειάζεται να εκτιμήσουμε h(xi) Τυπικά, ξεκινάμε με την υπόθεση ενός αρκετά εύκαμπτου μοντέλου, Var(u|x) = s2exp(d0 + d1x1 + …+ dkxk) Αφού δεν γνωρίζουμε τα d, θα πρέπει να τα εκτιμήσουμε

20 Εφικτά Γενικευμένα Ελάχιστα Τετράγωνα (συνέχεια)
Η υπόθεση μας υποδηλώνει ότι u2 = s2exp(d0 + d1x1 + …+ dkxk)v Όπου E(v|x) = 1, τότε εάν E(v) = 1 ln(u2) = a0 + d1x1 + …+ dkxk + e Όπου E(e) = 0 και e είναι ανεξάρτητο x Τώρα, γνωρίζουμε ότι û είναι ένας εκτιμητής του u, έτσι μπορούμε να εκτιμήσουμε αυτό με OLS Τις προσαρμοσμένες τιμές από την παραπάνω παλινδρόμηση τις συμβολίζουμε με

21 Εφικτά Γενικευμένα Ελάχιστα Τετράγωνα (συνέχεια)
Τώρα, ένας εκτιμητής του h πετυχαίνεται ως ĥ = exp(ĝ), και ο αντίστροφος αυτού είναι η στάθμιση μας Έτσι, τι πετύχαμε; Τρέχουμε το αρχικό OLS μοντέλο, σώζουμε τα κατάλοιπα, û, τα τετραγωνίζουμε και παίρνουμε τους log Παλινδρομούμε ln(û2) σε όλες τις ανεξάρτητες μεταβλητές και παίρνουμε τις προσαρμοσμένες τιμές, ĝ Εκτελούμε WLS χρησιμοποιώντας 1/exp(ĝ) ως στάθμιση

22 WLS (συνέχεια) Όταν εκτελούμε F τεστ με WLS, μορφοποιούμε τις σταθμίσεις από το μοντέλο χωρίς περιορισμούς και χρησιμοποιούμε αυτές τις σταθμίσεις για να εκτελέσουμε WLS στο μοντέλο με περιορισμούς όπως επίσης και στο μοντέλο χωρίς περιορισμούς Θυμηθείτε ότι χρησιμοποιούμε WLS απλά για αποτελεσματικότητα - OLS είναι ακόμα αμερόληπτος και συνεπής Οι εκτιμητές ακόμα θα είναι διαφορετικοί λόγω του δειγματικού σφάλματος, αλλά εάν είναι πολύ διαφορετικοί τότε πιθανώς κάποια άλλη υπόθεση παραβιάζεται

23 Eview Commands Έλεγχοι για Heteroskedasticity ->
Αφού κανετε παλινδρόμηση επιλεξτε στο νέο παράθυρο, Equation: …. View/Residual Tests/ Heteroskedasticity Tests… και επιλέξτε τον έλεγχο που θέλετε