© 2002 Thomson / South-Western Slide 13-1 Κεφάλαιο 13 Ανάλυση Πολλαπλής Παλινδρόμησης.

Παρουσίαση με θέμα: "© 2002 Thomson / South-Western Slide 13-1 Κεφάλαιο 13 Ανάλυση Πολλαπλής Παλινδρόμησης."— Μεταγράφημα παρουσίασης:

1 © 2002 Thomson / South-Western Slide 13-1 Κεφάλαιο 13 Ανάλυση Πολλαπλής Παλινδρόμησης

2 © 2002 Thomson / South-Western Slide 13-2 Στόχοι Μαθήματος Ανάπτυξη ενός πολλαπλού μοντέλου παλινδρόμησης. Κατανόηση και εφαρμογή τεχνικών οι οποίες μπορούν να χησιμοποιηθούν για να καθορισθεί πόσο καλά ταιριάζει ένα μοντέλο παλινδρόμησης στα δεδομένα. Ανάλυση και ερμηνεία μη γραμμικών μεταβλητών και πώς χρησιμοποιούνται αυτές στη πολλαπλή ανάλυση παλινδρόμησης. Κατανόηση του ρόλου ποιοτικών μεταβλητών και πώς χρησιμοποιούνται αυτές στη πολλαπλή ανάλυση παλινδρόμησης. Κατασκευή και εκτίμηση των μοντέλων πολλαπλής παλινδρόμησης.

3 © 2002 Thomson / South-Western Slide 13-3 Το Πολλαπλό Μοντέλο Παλινδρόμησης Πολλαπλή Παλινδρόμηση είναι η ανάλυση παλινδρόμησης με μια εξαρτημένη μεταβλητή και δυο ή περισσότερες ανεξάρτητες μεταβλητές, ή τουλάχιστον μια μη γραμμική ανεξάρτητη μεταβλητή. Η Εξαρτημένη Μεταβλητή είναι η μεταβλητή την οποία ο αναλυτής της επιχείρησης επιχειρεί να προβλέψει.

4 © 2002 Thomson / South-Western Slide 13-4 Μοντέλα Παλινδρόμησης nΠιθανοθεωρητικό Μοντέλο Πολλαπλής Παλινδρόμησης Y = b 0 + b 1 X 1 + b 2 X 2 + b 3 X 3 +... + b k X k +  Y = b 0 + b 1 X 1 + b 2 X 2 + b 3 X 3 +... + b k X k +  Y = η τιμή της εξαρτημένης μεταβλητής b 0 = η σταθερά της παλινδρόμησης b 1 = ο συντελεστής ευαισθησίας της πρώτης ανεξάρτητης μεταβλητής b 2 = ο συντελεστής ευαισθησίας της δεύτερης ανεξάρτητης μεταβλητής b k = ο συντελεστής ευαισθησίας της κ-ανεξάρτητης μεταβλητής k = ο αριθμός των ανεξάρτητων μεταβλητών  = το σφάλμα της πρόβλεψης

5 © 2002 Thomson / South-Western Slide 13-5 Εκτιμημένο Μοντέλο Παλινδρόμησης

6 © 2002 Thomson / South-Western Slide 13-6 Πολλαπλό Μοντέλο Παλινδρόμησης με δυο Ανεξάρτητες Μεταβλητές (Πρώτης-τάξης) Μοντέλο Πληθυσμού Εκτιμημένο Μοντέλο

7 © 2002 Thomson / South-Western Slide 13-7 Επίπεδο αντίδρασης για ένα μοντέλο πολλαπλής παλινδρόμησης πρώτης τάξης, δυο ανεξάρτητων μεταβλητών X1X1 X2X2 Επίπεδο αντίδρασης Y1Y1 Σταθερά Y 

8 © 2002 Thomson / South-Western Slide 13-8 Εξισώσεις Ελαχίστων Τετραγώνων για k = 2 Η ανάλυση ελαχίστων τετραγώνων αποτελεί μια διαδικασία κατά την οποία αναπτύσσεται ένα μοντέλο παλινδρόμησης το οποίο βασίζεται σε υπολογιστικές τεχνικές και με απώτερο σκοπό την δημιουργία ενός ελαχίστου αθροίσματος των τετραγώνων των καταλοίπων.

9 © 2002 Thomson / South-Western Slide 13-9 Δεδομένα Αγοράς Ακινήτων ΠαρατήρησηYX1X1 X2X2 YX1X1 X2X2 163.0 65.1 1,6053513 79.72,12114 22,4894514 84.52,4859 369.9 7 1,5532015 96.02,30019 476.82,4043216109.52,7144 573.91,8842517102.52,4635 677.91,5581418 121.03,0767 774.91,748819104.93,0483 878.03,1051020 128.03,2676 979.01,6822821 129.03,06910 63.42,4703022117.94,76511 79.51,820223 140.04,5408 1283.92,1436 Αγοραία Τιμή ($1,000) ΕμβαδόΗλικία (Έτη) Αγοραία Τιμή ($1,000) ΕμβαδόΗλικία (Έτη)

10 © 2002 Thomson / South-Western Slide 13-10 Πρόβλεψη της τιμής ενός ακινήτου και Χιλιάδες δολλάρια Για

11 © 2002 Thomson / South-Western Slide 13-11 Αξιολόγηση του μοντέλου πολλαπλής παλινδρόμησης Έλεγχος σημαντικότητας μεμονωμένων συντελεστών της παλινδρόμησης Συνολικός έλεγχος του μοντέλου

12 © 2002 Thomson / South-Western Slide 13-12 Έλεγχος του μοντέλου συνολικά για το παράδειγμα της αγοράς των ακινήτων ANOVA df SSMSF p Regression28189.7234094.86228.63.0000014 Residual (Error)202861.017 143.051 Total2211050.740

13 © 2002 Thomson / South-Western Slide 13-13 Έλεγχος σημαντικότητας των συντελεστών παλινδρόμησης για το παράδειγμα της αγοράς ακινήτων t Cal = 5.63 > 2.086, απορρίπτουμε την H 0. CoefficientsStd Devt Stat p x 1 (Sq.Feet)0.01770.003146 5.63.000016 x 2 (Age)-0.6660.2280-2.92.008418 t.025,20 = 2.086

14 © 2002 Thomson / South-Western Slide 13-14 Κατάλοιπα Το κατάλοιπο είναι η διαφορά μεταξύ της πραγματικής τιμής Υ της εξαρτημένης μεταβλητής και της τιμής της Y που προκύπτει από το μοντέλο (προβλεφθείσα τιμή). Είναι το σφάλμα που διαπράττουμε στην πρόβλεψη της εξαρτημένης μεταβλητής μέσω του μοντέλου παλινδρόμησης.

15 © 2002 Thomson / South-Western Slide 13-15 SSE και τυπικό σφάλμα εκτίμησης της παλινδρόμησης SSE ANOVA df SSMSF P Regression28189.74094.928.63.000 Residual (Error)202861.0143.1 Total2211050.7

16 © 2002 Thomson / South-Western Slide 13-16 Συντελεστής προσδιορισμού πολλαπλής παλινδρόμησης (R 2 ) SSE ANOVA df SSMSF p Regression28189.74094.8928.63.000 Residual (Error)202861.0143.1 Total2211050.7 SS YY SSR

17 © 2002 Thomson / South-Western Slide 13-17 Προσαρμοσμένος συντελεστής R 2 ANOVA df SSMSF p Regression28189.7234094.86228.63.0000014 Residual (Error)202861.017143.051 Total2211050.740 SS YY SSE n-k-1 n-1

18 © 2002 Thomson / South-Western Slide 13-18 Ψευδομεταβλητές (Δηκτικές μεταβλητές) Ποιοτικές (Δηκτικές ή ψευδομεταβλητές) Ο αριθμός των ψευδομεταβλητών που απαιτούνται για την ενσωμάτωση μιας ποιοτικής μεταβλητής στην ανάλυση είναι ο αριθμός των κατηγοριών μειωμένος κατά μια. Για δυαδικές μεταβλητές όπως για παράδειγμα το φύλο χρειαζόμαστε μια ψευδομεταβλητή. Υπάρχουν δυο κατηγορίες (θήλυ, άρρεν): c = 1; c - 1 = 0. Σε ποια περιοχή της χώρας βρίσκεται το γραφείο σας? ___Βορειοανατολικά___ Mεσοδυτικά___Νότια___Δυτικά Αριθμός ψευδομεταβλητών = c - 1 = 4 - 1 = 3

19 © 2002 Thomson / South-Western Slide 13-19 Δεδομένα για το παράδειγμα μηνιαίου μισθού Παρατήρηση Μηνιαίος Μισθός ($1000) Ηλικία (10 Έτη) Φύλο (1=Άρρεν, 0=Θήλυ) 11.5483.21 21.6293.81 31.0112.70 41.2293.40 51.7463.61 61.5284.11 71.0183.80 81.1903.40 91.5513.31 100.9853.20 111.6103.51 121.4322.91 131.2153.30 140.9902.80 151.5853.51

20 © 2002 Thomson / South-Western Slide 13-20 Αποτέλεσμα εκτίμησης γραμμής παλινδρόμησης: Παράδειγμα Μηνιαίου Μισθού Η εξίσωση παλινδρόμησης είναι: Μισθός = 0.732 + 0.111 Ηλικία+ 0.459 Φύλο Μεταβλητή Coef StDev T P Σταθερά 0.7321 0.2356 3.11 0.009 Ηλικία 0.11122 0.07208 1.54 0.149 Φύλο 0.45868 0.05346 8.58 0.000 S = 0.09679 R-Sq = 89.0% R-Sq(adj) = 87.2% Analysis of Variance Source DF SS MS F P Regression 2 0.90949 0.45474 48.54 0.000 Error 12 0.11242 0.00937 Total 14 1.02191

21 © 2002 Thomson / South-Western Slide 13-21 Γραφική απεικόνιση μοντέλου παλινδρόμησης Ξεχωριστή απεικόνιση ανδρών & γυναικών 0.800 1.000 1.200 1.400 1.600 1.800 0234 Άντρες Γυναίκες

22 © 2002 Thomson / South-Western Slide 13-22 Σύνθετα Μοντέλα Παλινδρόμησης Πρώτης τάξης με δυο ανεξάρτητες μεταβλητές Δεύτερης τάξης με μια ανεξάρτητη μεταβλητή Δεύτερης τάξης με όρο αλληλεπίδρασης Δεύτερης τάξης με δυο ανεξάρτητες μεταβλητές

23 © 2002 Thomson / South-Western Slide 13-23 Παράδειγμα: Δεδομένα πωλήσεων και διάγραμμα διασποράς για 13 βιομηχανικές εταιρείες 0 50 100 150 200 250 300 350 400 450 500 024681012 Αριθμός αντιπροσώπων Πωλήσεις Κατασκευαστής Πωλήσεις ($1,000,000) Αριθμός Αντιπροσώπων 12.12 23.61 36.22 410.43 522.84 635.64 757.15 883.55 9109.46 10128.67 11196.88 12280.010 13462.311

24 © 2002 Thomson / South-Western Slide 13-24 Αποτέλεσμα απλής παλινδρόμησης στο Excel για το παράδειγμα με τις βιομηχανικές εταιρείες Regression Statistics Multiple R0.933 R Square0.870 Adjusted R Square0.858 Standard Error51.10 Observations13 CoefficientsStandard Errort StatP-value Σταθερά-107.0328.737 -3.720.003 Αριθμ. Αντιπρ. 41.0264.779 8.580.000 ANOVA dfSSMSFSignificance F Regression1192395 73.690.000 Residual11 28721 2611 Total12 221117

25 © 2002 Thomson / South-Western Slide 13-25 Δεδομένα παραδείγματος βιομηχανικών εταιρειών με μια νέα μεταβλητή Κατασκευαστής Πωλήσεις ($1,000,000) Number of Mgfr Reps X 1 (No. Mgfr Reps) 2 X 2 = (X 1 ) 2 12.124 23.611 36.224 410.439 522.8416 635.6416 757.1525 883.5525 9109.4636 10128.6749 11196.8864 12280.010100 13462.311121

26 © 2002 Thomson / South-Western Slide 13-26 Διάγραμμα διασποράς των αρχικών και των μετασχηματισμένων δεδομένων 0 50 100 150 200 250 300 350 400 450 500 024681012 Άριθμός αντιπροσώπων Πωλήσεις 0 50 100 150 200 250 300 350 400 450 500 050100150 Αριθμός αντιπροσώπων ^2 Πωλήσεις

27 © 2002 Thomson / South-Western Slide 13-27 Χρήση του δευτεροβάθμιου μοντέλου μέσω του Excel για την πρόβλεψη των πωλήσεων Regression Statistics Multiple R0.986 R Square0.973 Adjusted R Square0.967 Standard Error24.593 Observations13 CoefficientsStandard Errort StatP-value Intercept 18.06724.673 0.730.481 MfgrRp-15.723 9.5450 - 1.65 0.131 MfgrRpSq4.7500.776 6.12 0.000 ANOVA dfSSMSFSignificance F Regression2215069107534177.790.000 Residual10 6048 605 Total12221117

28 © 2002 Thomson / South-Western Slide 13-28 Παράδειγμα Μοντέλου παλινδρόμησης με όρο αλληλεπίδρασης: Τιμές τριών μετοχών για μια περίοδο 15 μηνών Μετοχή 1Μετοχή 2Μετοχή 3 413635 393635 38 32 455141 5239 4355 475752 495854 416265 357077 367275 3974 338381 2810192 3110791

29 © 2002 Thomson / South-Western Slide 13-29 Μοντέλα παλινδρόμησης για τις τρεις μετοχές Πρώτης τάξης με δυο ανεξάρτητες μεταβλητές Δεύτερης τάξης με όρο αλληλεπίδρασης

30 © 2002 Thomson / South-Western Slide 13-30 Παλινδρόμηση για τις τρεις μετοχές: Δυο ανεξάρτητες μεταβλητές, απουσία αλληλεπίδρασης Η εξίσωση της παλινδρόμησης είναι Μετοχή 1 = 50.9 - 0.119 Μετοχή 2 - 0.071 Μετοχή 3 Μεταβλητή Coef StDev T P Σταθερά 50.855 3.791 13.41 0.000 Μετοχή 2 -0.1190 0.1931 -0.62 0.549 Μετοχή 3 -0.0708 0.1990 -0.36 0.728 S = 4.570 R-Sq = 47.2% R-Sq(adj) = 38.4% Analysis of Variance Source DF SS MS F Sig. F Regression 2 224.29 112.15 5.37 0.022 Error 12 250.64 20.89 Total 14 474.93

31 © 2002 Thomson / South-Western Slide 13-31 Παλινδρόμηση για τις τρεις μετοχές με αλληλεπίδραση Η εξίσωση της παλινδρόμησης είναι Μετοχή 1 = 12.0 - 0.879 Μετοχή 2 - 0.220 Μετοχή 3 – 0.00998 Αλληλ. Μεταβλητή Coef StDev T P Σταθερά 12.046 9.312 1.29 0.222 Μετοχή 2 0.8788 0.2619 3.36 0.006 Μετοχή 3 0.2205 0.1435 1.54 0.153 Αλληλ. -0.009985 0.002314 -4.31 0.001 S = 2.909 R-Sq = 80.4% R-Sq(adj) = 25.1% Analysis of Variance Source DF SS MS F Sig. F Regression 3 381.85 127.28 15.04 0.000 Error 11 93.09 8.46 Total 14 474.93

32 © 2002 Thomson / South-Western Slide 13-32 Μη γραμμικά μοντέλα παλινδρόμησης : Μετασχημτισμός μοντέλου

33 © 2002 Thomson / South-Western Slide 13-33 Δεδομένα για παράδειγμα μετασχηματισμού μοντέλου ΕταιρείαYX 125801.2 2119422.6 398452.2 4278003.2 5189262.9 648001.5 7145502.7 ΕταιρείαLOG YX 13.411621.2 24.0770772.6 33.9932162.2 44.4440453.2 54.2770592.9 63.6812411.5 74.1628632.7 ΑΡΧΙΚΑ ΔΕΔΟΜΕΝΑ ΜΕΤΑΣΧΗΜΑΤΙΣΜΕΝΑ ΔΕΔΟΜΕΝΑ Y = Πωλήσεις ($ million/έτος) X = Διαφήμιση ($ million/έτος)

34 © 2002 Thomson / South-Western Slide 13-34 Αποτέλεσμα Εκτίμησης Γραμμής Παλινδρόμησης για το παράδειγμα μετασχηματισμού μοντέλου Regression Statistics Multiple R0.990 R Square0.980 Adjusted R Square0.977 Standard Error0.054 Observations7 CoefficientsStandard Errort StatP-value Intercept2.90030.072939.800.000 X0.4751 0.030015.820.000 ANOVA dfSSMSFSignificance F Regression10.7392 250.360.000 Residual50.01480.0030 Total60.7540

35 © 2002 Thomson / South-Western Slide 13-35 Προβλέψεις με την χρήση του μετασχηματισμένου μοντέλου

36 © 2002 Thomson / South-Western Slide 13-36 Προβλέψεις με την χρήση του μετασχηματισμένου μοντέλου

37 © 2002 Thomson / South-Western Slide 13-37 Κατασκευή μοντέλου: Διαδικασία αναζήτησης Όλα τα είδη παλινδρόμησης Από το συγκεκριμένο στο γενικότερο (Forward Selection).Διαδοχικές προσθήκες μεταβλητών που προσθέτουν ερμηνευτική ικανότητα. Από το γενικότερο μοντέλο στο πιο συγκεκριμένο (Backward elimination). Διαδοχική αφαίρεση μεταβλητών που δεν προσθέτουν ερμηνευτική ικανότητα. Παλινδρόμηση σε στάδια (Stepwise Regression)

38 © 2002 Thomson / South-Western Slide 13-38 Δεδομένα πολλαπλής παλινδρόμησης για την πρόβλεψη της παγκόσμιας παραγωγής αργού πετρελαίου YΠαγκόσμια παραγωγή αργού πετερελαίου X 1 Κατανάλωση ενέργειας ΗΠΑ X 2 Παραγωγή πυρηνικής ενέργειας ΗΠΑ X 3 Παραγωγή άνθρακα ΗΠΑ X 4 Ποσοστό καυσίμων για αυτοκίνητα ΗΠΑ

39 © 2002 Thomson / South-Western Slide 13-39 Παράδειγμα: Όλα τα είδη παλινδρόμησης με 4 ανεξάρτητες μεταβλητές

40 © 2002 Thomson / South-Western Slide 13-40 Forward Selection Η μέθοδος μοιάζει με αυτή της παλινδρόμησης σε στάδια με την διαφορά ότι οι μεταβλητές δεν επαναξιολογούνται αφού συμπεριληφθούν στο μοντέλο.

41 © 2002 Thomson / South-Western Slide 13-41 Backward Elimination Ξεκινάμε με το ‘πλήρες’ μοντέλο (και οι k ανεξάρτητες μεταβλητές) Εάν όλες οι ανεξάρτητες μεταβλητές είναι σημαντικές, τότε σταματάμε εκεί. Σε διαφορετική περίπτωση αφαιρούμε τις μη σημαντικές μεταβλητές και επιστρέφουμε στο προηγούμενο βήμα.

42 © 2002 Thomson / South-Western Slide 13-42 Παλινδρόμηση σε στάδια (Stepwise Regression) Εκτελούμε k τον αριθμό απλές παλινδρομήσεις και επιλέγουμε το καλύτερο μοντέλο ως το αρχικό μας μοντέλο. Αξιολογούμε κάθε μεταβλητή που δεν περιλαμβάνεται στο μοντέλο –Εάν καμμία από τις μεταβλητές δεν ικανοποιεί το κριτήριο, σταματάμε. –Προσθέτουμε την καλύτερη μεταβλητή στο μοντέλο,αξιολογούμε τις υπάρχουσες μεταβλητές και αφαιρούμε οποιαδήποτε είναι ασήμαντη. Επιστροφή στο προηγούμενο βήμα

43 © 2002 Thomson / South-Western Slide 13-43 Πολυσυγγραμμικότητα Παρατηρείται όταν δυο ή περισσότερες ανεξάρτητες μεταβλητές συσχετίζονται μεταξύ τους. –Δυσκολία στην ερμηνεία των εκτιμήσεων των συντελεστών της παλινδρόμησης. –Μπορεί να οδηγήσει σε υπερβολικά μικρές τιμές του στατιστικού t για τους συντελεστές της παλινδρόμησης. –Μπορεί να οδηγήσει σε υπερκτίμηση των τυπικών σφαλμάτων εκτίμησης των συντελεστών. –Το πρόσημο των εκτιμηθέντων συντελεστών μπορεί να είναι αντίθετο από το αναμενόμενο.