Στατιστική IΙ (ΨΥΧ-122) Διάλεξη 4 Πολλαπλή γραμμική παλινδρόμηση

Παρουσίαση με θέμα: "Στατιστική IΙ (ΨΥΧ-122) Διάλεξη 4 Πολλαπλή γραμμική παλινδρόμηση"— Μεταγράφημα παρουσίασης:

1 Στατιστική IΙ (ΨΥΧ-122) Διάλεξη 4 Πολλαπλή γραμμική παλινδρόμηση
4/12/2017 Στατιστική IΙ (ΨΥΧ-122) Λεωνίδας Α. Ζαμπετάκης Β.Sc., M.Env.Eng., M.Ind.Eng., D.Eng. Εmail: Διαλέξεις αναρτημένες στο: Διαλέξεις: ftp://ftp.soc.uoc.gr/Psycho/Zampetakis/ Τηλ – 37323 Διάλεξη 4 Πολλαπλή γραμμική παλινδρόμηση Ρέθυμνο,

2 Σημαντική Υπενθύμιση:
4/12/2017 Σημαντική Υπενθύμιση: Δεν υπάρχουν χαζές ερωτήσεις και δεν θα με προσβάλετε αν διακόπτετε με ρωτήσεις το μάθημα

3 4/12/2017 Η ανάλυση παλινδρόμησης…είναι ένας τρόπος για να προβλέψουμε την τιμή μιας μεταβλητής από τις τιμές μίας ή πολλών άλλων γνωστών μεταβλητών Στην ουσία τι κάνουμε? Προσπαθούμε να προσαρμόσουμε στα δεδομένα μας ένα υποθετικό προβλεπτικό μοντέλο της σχέσης ανάμεσα στις μεταβλητές

4 4/12/2017 Απλή ονομάζεται η γραμμική παλινδρόμηση κατά την οποία χρησιμοποιούμε τις τιμές μίας μόνο μεταβλητής (ονομάζεται ερμηνευτική ή προβλεπτική μεταβλητή) για να προβλέψουμε τη μεταβλητή κριτήριο. Πολλαπλή ονομάζεται η γραμμική παλινδρόμηση κατά την οποία χρησιμοποιούμε τις τιμές πολλών προβλεπτικών μεταβλητών για να προβλέψουμε τη μεταβλητή κριτήριο.

5 Απλή γραμμική παλινδρόμηση
4/12/2017 Η ευθεία γραμμή της απλής γραμμικής παλινδρόμησης διατυπωμένη με τη βασική μαθηματική εξίσωση Αποτέλεσμα = (Μοντέλο) + Λάθος Υi=βο+β1Χi+εi Απλή γραμμική παλινδρόμηση

6 Υi=βο+β1Χi+εi Η ευθεία γραμμή…..
4/12/2017 Κάθε ευθεία γραμμή μπορεί να προσδιοριστεί αν γνωρίζουμε: (1) την κλίση της ευθείας και (2) το σημείο που η ευθεία τέμνει τον κάθετο άξονα. Υi=βο+β1Χi+εi Η ευθεία γραμμή….. ο συντελεστής παλινδρόμησης για την προβλεπτική μεταβλητή β1= η κλίση της ευθείας (δηλ. η γωνία που σχηματίζει η ευθεία με τον άξονα ψ) η κατεύθυνση/δύναμη της σχέσης β0= ο σταθερός όρος (δηλ. η τιμή του Υ όταν το Χ=0). το σημείο στο οποίο η γραμμή παλινδρόμησης τέμνει τον άξονα Ψ εi= το σφάλμα που αντιστοιχεί τη διαφορά ανάμεσα στην τιμή που προβλέπει η ευθεία γραμμή για το άτομο i και την πραγματική τιμή που έχει το συγκεκριμένο άτομο

7 Πολλαπλή γραμμική παλινδρόμηση
4/12/2017 Αποτέλεσμα = (Μοντέλο) + Λάθος Πολλαπλή γραμμική παλινδρόμηση Υi=(βο+β1Χi + β2Χ2 + …+ βnΧn ) +εi β1, β2, βn = συντελεστής παλινδρόμησης για τις προβλεπτικές μεταβλητές β0= ο σταθερός όρος (δηλ. η τιμή του Υ όταν το Χ=0). εi= το σφάλμα που αντιστοιχεί τη διαφορά ανάμεσα στην τιμή που προβλέπει η ευθεία γραμμή για το άτομο i και την πραγματική τιμή που έχει το συγκεκριμένο άτομο

8 Η πολλαπλή γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί:
4/12/2017 Η πολλαπλή γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί: Σε περιγραφικό επίπεδο, συνοψίζοντας τη σχέση της εξαρτημένης μεταβλητής με ανεξάρτητες, υπό μορφή μιας γραμμικής εξίσωσης Επαγωγικά, ελέγχοντας αν οι σχέσεις που προσδιοριστήκαν περιγραφικά ισχύουν και σε πληθυσμιακό επίπεδο.

9 Παράδειγμα -- Tx (0 = Ομάδα ελέγχου, 1 = Πειραματική ομάδα)
Εφαρμόστε την εξίσωση: για ασθενή με Άγχος =10, Υποστήριξη= 4, ο οποίος ανήκει στην πειραματική ομάδα >>>> Κατάθλιψη = εξηγήστε το συντελεστή «β» για τη μεταβλητή Άγχος – Για κάθε μία μονάδα αύξηση στο Άγχος, η κατάθλιψη αναμένεται να κατά εφόσον διατηρούνται όλες οι άλλες μεταβλητές σταθερές. εξηγήστε το συντελεστή «β» για τη μεταβλητή Υποστήριξη -- Για κάθε μία μονάδα αύξηση στην Υποστήριξη, η κατάθλιψη αναμένεται να κατά , εφόσον διατηρούνται όλες οι άλλες μεταβλητές σταθερές εξηγήστε το συντελεστή «β» για τη μεταβλητή Τχ– Τα άτομα στην Τχ ομάδα, αναμένεται να έχουν ένα μέσο σκορ στην κατάθλιψη το οποίο είναι από ότι στην ομάδα ελέγχου, εφόσον διατηρούνται όλες οι άλλες μεταβλητές σταθερές 46 αυξάνει 2 μονάδες μειώνεται 1.5 μονάδα 3.0 φορές μικρότερο

10 4/12/2017 X1 Y X3 X2 Προκειμένου να βγάλουμε κάποιο συμπέρασμα για μία τιμή της κατανομής (το σκορ κάποιου συμμετέχοντα), θα πρέπει να το συγκρίνουμε με τις άλλες τιμές. Πχ στο παράδειγμα της κατανομής ύψους 500 γυναικών, τι συμπέρασμα θα γβάζαμε για μία γυναίκα με ύψος 1.90μ; Θα πρέπει να υπάρχει ένα σημείο αναφοράς (μέτρο σύγκρισης), το οποίο εξαρτάται από τη θέση της τιμής είτε στην ιεραρχία των τιμών, είτε ως προς ένα δείκτη κεντρικής τάσης (συνήθως το μέσο όρο). Πχ η τιμή 50 σε μία κατανομή με μέσο όρο 54 μπορεί να εκφραστεί ως +4. Επιπλέον, αυτή η απόκλιση μπορεί να εκφραστεί με μονάδες τυπικής απόκλισης. Αν πχ η τυπική απόκλιση της κατανομής είναι 2, τότε η τιμή 54 βρίσκεται 2 τυπικές αποκλίσεις πάνω από τον μέσο όρο (4/2=2sds). Αντίστοιχα, η τιμή 46 είναι δύο τυπικές αποκλίσεις κάτω από τον μέσο όρο (46-50=-4/2=-2sds). Το πηλίκο της απόκλισης μιας τιμής προς την τυπική απόκλιση ονομάζεται μετατροπή σε τυπικές τιμές ή z-τιμές (standardised values or z-scores). Οι τυπικές τιμές συμβολίζονται με το z. Οι τυπικές τιμές εκφράζουν την απόσταση (απόκλιση) μιας τιμής από τον μέσο όρο σε τυπικές αποκλίσεις (και όχι στην αρχική μονάδα μέτρησης). ‘πόσες τυπικές αποκλίσεις απέχει από τον μέσο όρο μία συγκεκριμένη τιμή;’. Όταν οι τυπικές τιμές είναι θετικές, αυτό σημαινει ότι η αρχική τιμή είναι μεγαλύτερη από τον μέσο όρο, ενώ όταν οι z-τιμές έχουν αρνητικό πρόσημο, τότε αυτό σημαίνει ότι η αρχική τιμή είναι μικρότερη από τον μέσο όρο. Κυμαίνονται από το -4 ως το +4. Αυτό που μας προσφέρουν οι z-τιμές είναι η δυνατότητα σύγκρισης (ως προς την απόστασή τους από τον μέσο όρο της κατανομής τους) διάφορων τιμών που δεν προέρχονται από την ίδια κατανομή. Κι αυτό γιατί οι z-τιμές εκφράζονται σε μονάδες τυπικής απόκλισης, και είναι ανεξάρτητες από την αρχική μονάδα μέτρησης. ‘ποιά τιμή απείχε περισσότερο από τον μέσο όρο της κατανομής της;’. Με τις τυπικές τιμές μπορούμε να συγκρίνουμε απευθείας ή να κάνουμε αλγεβρικές πράξεις. Πχ έχουμε ένα αγόρι 14 ετών και ένα κορίτσι 11 ετών με ύψος 163cm και 130cm αντίστοιχα, και θέλουμε να δούμε ποιό είναι ψηλότερο. Πρέπει να τα συγκρίνουμε με τους συνομηλίκους τους του ίδιου φύλου. Αν οι μέσοι όροι και οι τυπικές αποκλίσεις των κατανομών αυτών είναι mean= 155cm, sd= 9cm και mean=128cm, sd= 7cm, θα είχαμε: Αγόρι: ( )/9= 0.89τυπικές απικλίσεις (περίπου 9/10 της τυπικής απόκλισης) Κορίτσι: ( )/7= 0.29 τυπικές αποκλίσεις (περίπου 3/10 της τυπικής απόκλισης) Συνεπώς το αγόρι θεωρείται ψηλότερο από το κορίτσι, σε σχέση με το μέσο όρο της ηλικίας του. Χαρακτηριστικά τυπικών τιμών: Η κατανομή των τυπικών τυμών έχει ίδιο σχήμα με αυτό της αρχικής κατανομής (η θέση των τιμών είναι ίδια). Ο μέσος όρος της τυπικής κατανομής είναι πάντα 0 και η τυπική απόκλισή της είναι πάντα 1. Οι τυπικές τυμές εκφράζονται σε αριθμούς χωρίς μονάδες (ή σε μονάδες τυπικής απόκλισης). Το μέγεθος της τυπικής τιμής μιας αρχικής τιμής μας δίνει άμεσα μία εικόνα για τη θέση της στην κατανομή (πόσο μακριά είναι από τον μέσο όρο). Ας υποθέσουμε ότι διερευνούμε την επίδραση των μεταβλητών Χ1, Χ2, Χ3, στην μεταβλητή Υ. Με τη βοήθεια της πολλαπλής γραμμικής παλινδρόμησης, μπορούμε να ορίσουμε μια εξίσωση, η οποία με γραμμικό τρόπο θα συνδυάζει τις τιμές των 3 μεταβλητών, ώστε να έχουμε την καλύτερη δυνατή εκτίμηση της μεταβλητής Υ. Επιπλέον, μπορούμε να απλοποιήσουμε την εξίσωση, απαλείφοντας τις μεταβλητές εκείνες, οι οποίες δεν έχουν καμία προσφορά στην ερμηνεία της Υ. Επίσης, μπορούμε να εκτιμήσουμε την επίδραση της κάθε μίας ανεξάρτητης μεταβλητής στην εξαρτημένη, αφού πρώτα απομακρύνομαι τις «συγχυτικές» επιδράσεις των υπολοίπων μεταβλητών.

11 4/12/2017 Στην περίπτωση της πολλαπλής γραμμικής παλινδρόμησης, η πρόβλεψη των τιμών της εξαρτημένης μεταβλητής γίνεται με βάση τις συσχετίσεις της με τις τιμές δύο ή περισσότερων ανεξάρτητων μεταβλητών. Αυτές οι ανεξάρτητες μεταβλητές είναι (πολύ) πιθανόν να παρουσιάζουν και κάποια συσχέτιση μεταξύ τους.

12 4/12/2017 Η συσχέτιση μεταξύ δύο μεταβλητών (Χ1 και Υ) μπορεί να επηρεάζεται από τη συσχέτισή τους με μία τρίτη μεταβλητή (Χ2). Προκειμένου να εξετάσουμε τη συσχέτιση των δύο αρχικών μεταβλητών μπορούμε να λάβουμε υπόψη και να εξουδετερώσουμε (partial out) την επίδραση της τρίτης μεταβλητής, με τη διαδικασία της μερικής συσχέτισης (partial και semi-partial correlation).

13 4/12/2017 Η συσχέτιση μεταξύ δύο μεταβλητών πριν αυτόν τον διαμερισμό (partialling out) της επίδρασης της 3ης μεταβλητής ονομάζεται συσχέτιση μηδενικής τάξης (zero-order correlation). Συνήθως, μετά τον διαμερισμό της επίδρασης της 3ης μεταβλητής η συσχέτιση μεταξύ των δύο αρχικών μεταβλητών ελαττώνεται. Αν αγνοήσουμε το -μάλλον συνηθισμένο στην Ψυχολογία- γεγονός ότι οι ανεξάρτητες μεταβλητές μπορεί να μοιράζονται κάποια κοινή διακύμανση μεταξύ τους και με την εξαρτημένη μεταβλητή, θα καταλήξουμε σε μία υπερβολική εκτίμηση του πόση διακύμανση μπορούμε να εξηγήσουμε στην εξαρτημένη μεταβλητή. Αυτό θα συνέβαινε γιατί θα λαμβάναμε υπόψη δύο φορές την κοινή διακύμανση των δύο ανεξάρτητων μεταβλητών και της εξαρτημένης μεταβλητής. Αυτό που μας ενδιαφέρει όμως είναι η μοναδική/ξεχωριστή διακύμανση που μοιράζεται η κάθε ανεξάρτητη μεταβλητή με την εξαρτημένη (unique variance).

14 ry,x2 ry,x1 x2 x3 x1 ry,x3 y

15 Ο συντελεστής προσδιορισμού (R2) στην περίπτωση της πολλαπλής γραμμικής παλινδρόμησης, μας δίνει το ποσοστό της συνολικής διακύμανσης που ερμηνεύεται από το σύνολο των προβλεπτικών μεταβλητών R2 = x2 x3 x1 y

16 Οι συντελεστές παλινδρόμησης για κάθε προβλεπτική μεταβλητή μας δίνουν τη μοναδική συμβολή της κάθε προβλεπτικής μεταβλητής x1 x2 x2 x3 x1 x3 y

17 4/12/2017 Μέθοδοι εισαγωγής των προβλεπτικών μεταβλητών στην εξίσωση πολλαπλής παλινδρόμησης Φανταστείτε ότι αν έχουμε 10 ανεξάρτητες μεταβλητές, μπορούμε να έχουμε 1023 διαφορετικές διατυπώσεις (υποδείγματα) της γραμμικής παλινδρόμησης. Γενικά, χρειάζεται πολύ μεγάλη προσοχή, στην επιλογή των κατάλληλων προβλεπτικών μεταβλητών καθώς και στον τρόπο με τον οποίο εισάγονται στην εξίσωση,, γιατί η επιλογές αυτές επηρεάζουν και τους συντελεστές παλινδρόμησης. Το ιδανικό είναι να χρησιμοποιούνται προβλεπτικές μεταβλητές, από την ΘΕΩΡΙΑ και τις προηγούμενες έρευνες.

18 4/12/2017 Στη πολλαπλή γραμμική παλινδρόμηση έχουμε την επιλογή να εισαγάγουμε όλες τις πιθανές προβλεπτικές μεταβλητές μας μαζί, ή μόνο ορισμένες από αυτές σταδιακά. Η απόφαση αυτή θα εξαρτηθεί από διάφορους παράγοντες: 1. ΜΕΘΟΔΟΣ ENTER >>>>>>>εάν έχουμε εκ των προτέρων ένα θεωρητικό μοντέλο το οποίο θέλουμε να τεστάρουμε, τότε θα πρέπει να εισαγάγουμε από την αρχή όλες τις προβλεπτικές μεταβλητές που ορίζει το μοντέλο αυτό. Στη συνέχεια θα εξετάσουμε αν το μοντέλο είναι επαρκές για την πρόβλεψη της Υ, και ποιοι από τους predictors που ορίσαμε είναι σημαντικοί predictors της Υ και πόση διακύμανση εξηγούν. Αυτή είναι η τυπική μορφή της πολλαπλής παλινδρόμησης

19 4/12/2017 2. ΜΕΘΟΔΟΣ STEPWISE regression (Βηματική παλινδρόμηση) >>>>>>> STEPWISE μέθοδοι εισαγωγής μεταβλητών παίρνουν την καλύτερη προβλεπτική μεταβλητή και την εισάγει στο μοντέλο (στην εξίσωση). Στη συνέχεια η κοινή διακύμανση μεταξύ αυτού του predictor και της εξαρτημένης μεταβλητής που είναι επίσης κοινή με άλλες μεταβλητές διαμερίζεται (ξεχωρίζεται) από τις συσχετίσεις μεταξύ των άλλων predictors και της εξαρτημένης μεταβλητής. Η διαδικασία αυτή επαναλαμβάνεται για τις υπόλοιπες μεταβλητές, μέχρι να εξαντληθούν όλοι οι σημαντικοί predictors. Με αυτή την προσέγγιση καταλήγουμε με ένα μοντέλο (εξίσωση) που περιλαμβάνει μόνο τις απαραίτητες μεταβλητές (δηλαδή τους σημαντικούς predictors). Στις μεθόδους αυτές η επιλογή γίνεται με καθαρά μαθηματικά κριτήρια, αποκλειστικά μέσω Η/Υ, με αποτέλεσμα να μην έχει ευελιξία στις επιλογές του ο ερευνητής.

20 4/12/2017 3. ΙΕΡΑΡΧΙΚΗ ΜΕΘΟΔΟΣ (Blockwise entry) >>>>>>> Στη μέθοδο αυτή, οι predictors επιλέγονται με βάση προηγούμενες έρευνες και ο ερευνητής επιλέγει τη σειρά με την οποία θα εισαχθούν στην εξίσωση. Συνήθως predictors, που είναι σημαντικοί για πρόβλεψη της εξαρτημένης μεταβλητής εισάγονται πρώτοι (ανάλογα με τη σημασία τους). Στη συνέχεια εισάγονται οι άλλοι predictors. Η μέθοδος αυτή συνιστάται γιατί ο ερευνητής έχει ευελιξία στην εισαγωγή των predictors.

21 Τι προσέχουμε κατά την εφαρμογή της πολλαπλής γραμμικής παλινδρόμησης
4/12/2017 Τι προσέχουμε κατά την εφαρμογή της πολλαπλής γραμμικής παλινδρόμησης Πολυμεταβλητή κανονικότητα (multivariate normality), κατά την οποία κάθε μεταβλητή ακολουθεί κανονική κατατομή (αυστηρή προϋπόθεση) και τα υπόλοιπα (residuals) να ακολουθούν κανονική κατανομή Οι διακυμάνσεις είναι περίπου ίδιες (ομοιογενείς) (homogeneity of variance)>>>η διακύμανση μιας μεταβλητής πρέπει να είναι σταθερή για όλα τα επίπεδα των άλλων μεταβλητών. Η Κλίμακα να είναι τουλάχιστον ίσων διαστημάτων (interval) Ανεξαρτησία των παρατηρήσεων (Independence)>>>το ένα άτομο για παράδειγμα είναι ανεξάρτητο από το άλλο.

22 Τι προσέχουμε κατά την εφαρμογή της πολλαπλής γραμμικής παλινδρόμησης
4/12/2017 Τι προσέχουμε κατά την εφαρμογή της πολλαπλής γραμμικής παλινδρόμησης Το μέγεθος του δείγματος Την πολυγραμμικότητα (Multicollinearity): δύο ή περισσότερες ανεξάρτητες μεταβλητές παρουσιάζουν υψηλές μεταξύ τους συσχετίσεις. Σε αυτή την περίπτωση είναι δύσκολο να ξεχωρίσει κανείς την ξεχωριστή επίδραση (και αξία) της κάθε μεταβλητής για την πρόβλεψη. Υπολογίζουμε το συντελεστή ανεκτικότητας (tolerance), όπου μεγάλες τιμές είναι το ζητούμενο Ακραίες περιπτώσεις>> πάνω από 3 τυπικές αποκλίσεις ή υπολογίζουμε το δείκτη του Cook distance>1

23 4/12/2017 Μέγεθος δείγματος που απαιτείται στην ανάλυση παλινδρόμησης ανάλογα με τον αριθμό των προβλεπτικών μεταβλητών και το αναμενόμενο effect size. Συνήθως χρειάζονται το λιγότερο 25 άτομα ανά προβλεπτική μεταβλητή

24 Δείτε στο ftp στο φάκελο “Εργαστήριο SPSS” τις διαλέξεις (4) και (5)
4/12/2017 Απλή και πολλαπλή παλινδρόμηση με τη βοήθεια του SPSS Δείτε στο ftp στο φάκελο “Εργαστήριο SPSS” τις διαλέξεις (4) και (5)

25 4/12/2017 Προσεχώς... Δευτέρα Σύγκριση μέσων-ένα δείγμα

26 4/12/2017 Σας ευχαριστώ...