Αξιοπιστία Γ. Σιδερίδης Αξιοπιστία Γ. Σιδερίδης

Lecture 5: Reliability Reliability, types of Correlation revisited as an index of reliability Cronbach alpha Kappa K-R Actual, test-retest Questionnaires out Creation of databases in SPSS so that they will enter data and run reliabilities (project 1)

Αξιοπιστία: Έννοιες Αξιοπιστία= σταθερότητα Είδη: Test-retest (επαναλαμβανόμενες μετρήσεις), ακριβή αξιοπιστία (κάπα) ή συσχέτιση. Το μεσο-διάστημα πρέπει πάντα να αναφέρεται! (infinite number of test-retest rs) Συσχέτιση και στατιστική σημαντικότητα. Πόσο αξιόπιστοι είμαστε; Ισότιμες εκδόσεις του τεστ (alternate forms-parallel forms) (περιλαμβάνει και σφάλμα που οφείλεται στο χρόνο-time sampling, και στις διαφορετικές εκδόσεις του τεστ-content sampling) Διαίρεση του τεστ (split-half) σε πρώτο και δεύτερο μέρος (50:50) ή σε μονά με ζυγά items; Μόνο το μισό τεστ εξετάζεται για αξιοπιστία και μιας και χρησιμοποιούνται τα μισά μόνο items θα ειναι χειρότερη η αξιοπιστία!

Είδη αξιοπιστίας-συνέχεια Αλφα, Cronbach (συνεχή δεδομένα, interval-ratio scaling) ....όπου Ν ο αριθμός των άιτεμ και r η μέση σχέση των άιτεμ. Kuder-Richardson (σωστό-λάθος) Και τα δυο είδη εξετάζουν τη σχέση των άιτεμ (content sampling), και τις ατομικές διακυμάνσεις της συμπεριφοράς (heterogeneity of behavior) Αυτονόητα αν τα άιτεμ σχετίζονται πολύ (π.χ., ερωτήματα εσωστρέφειας μόνο σε σχέση με ερωτήματα για όλους του παράγοντες προσωπικότητας) τότε η αξιοπιστία θα είναι υψηλή Αξιοπιστία μεταξύ κριτών

Αξιοπιστία: Lee Cronbach

Αξιοπιστία: Έννοιες Αξιοπιστία= σταθερότητα Ζυγαριά....... Χ = Τ + ε (κάθε μέτρηση είναι λειτουργία της πραγματικής τιμής και του εκάστοτε σφάλματος) Μιλάμε δηλ. για σφάλμα της μέτρησης το οποίο πρέπει να είναι τυχαίο........και ως τυχαίο γεγονός τα σφάλματα θα πρέπει να κατανέμονται «κανονικά» Δυστυχώς κάποιο από το σφάλμα είναι τυχαίο και κάποιο (αν είμαστε άτυχοι) μπορεί να είναι συστηματικό)

Αξιοπιστία: Κατανομή Σφαλμάτων

Αξιοπιστία: Μή κανονική κατανομή των σφαλμάτων: Κάτι Τρέχει.......

Μή Τυχαία Σφάλματα και Αξιοπιστία Το συστηματικό σφάλμα οφείλεται σε συστηματικούς παράγοντες που είναι παρόντες κατά τη διαδικασία εξέτασης (π.χ., συστηματικός δυνατός θόρυβος, κλπ), και είναι......ανεπιθύμιτο! Το μή συστηματικό σφάλμα (δηλ. τυχαίο) μπορεί να είναι λειτουργία: (α) ατομικών παραγόντων (οι οποίο επηρεάζουν διαφορετικά τα διαφορετικά άτομα, π.χ., αντοχή στην κούραση, την πίεση, ψυχολογικά χαρακτηριστικά, μαθημένη αβοηθησία, κλπ), (β) της αναξιοπιστίας του τεστ, (γ) της αναξιοπιστίας μερών του τεστ, (δ) της διαφοράς του χρόνου (test-retest), και (ε) της αναξιοπιστίας των ατόμων που ‘σκοράρουν’ τα τεστ.

Παράδειγμα Αξιοπιστίας Μια ομάδα μαθητών συμπλήρωσε δυο διαφορετικές εκδόσεις ένός τεστ άγχους με διάστημα μια εβδομάδα. Στατιστικό σφάλμα που οφείλεται σε εναλλακτικά τεστ και στη διαφορά του χρόνου = .30 (σφάλμα περιεχομένου + σφάλμα χρόνου) Άν εφαρμόσουμε τη μέθοδο της αξιοπιστίας split-half θα βρούμε την αναξιοπιστία που οφείλεται στο περιεχόμενο. Ας υποθέσουμε πως η split half αξιοπιστία είναι .20 (σφάλμα περιεχομένου) Το στατιστικό σφάλμα που οφείλεται στο χρόνο είναι .30 - .20 = .10 (σφάλμα στο χρόνο) Το στατιστικό σφαλμα που οφείλεται σε ανεξάρτητους κριτές που βαθμολόγησαν το τεστ = .10 Σύνολο σφάλματος = σφάλμα περιεχομένου+σφάλμα χρόνου+σφάλμα ανεξάρτητων παρατηρητών. Σύνολο σφάλματος = .20 (περιεχόμενο)+ .10 (χρόνος)+ .10 (παρατηρητές) = .40. Αξιοπιστία = 1 - .40 = .60.

Αξιοπιστία: Συσχέτιση Pearson r

Αξιοπιστία: Συσχέτιση Συσχέτιση = αρνητική

Αξιοπιστία: Συσχέτιση Συσχέτιση = 0

Αξιοπιστία: Συσχέτιση

Αξιοπιστία: Συσχέτιση Διακύμανση Συνδιακύμανση: Πότε θα είναι θετική και πότε αρνητική; Συσχέτιση Παράδειγμα

Αξιοπιστία: Απομακρυσμένες Τιμές

Αξιοπιστία: Συσχέτιση Συσχέτιση: 0.0 to 0.2: Αδύναμη, σχεδόν τίποτα 0.2 to 0.4 Αδύναμη, μικρή σχέση 0.4 to 0.6 Μέση σχέση 0.6 to 0.8 Δυνατή σχέση > 0.8 Πολύ δυνατή, απίθανη

Σταθμισμένο Σφάλμα (SEM) Σταθμισμένο σφάλμα της μέτρησης (standard error of measurement) Για α = .89 και sd = 15, sem = 5 +- 5 είναι το σκορ κάποιου με αυτοπεποίθηση 68% +- 15 για 3 τυπικές αποκλίσεις, δηλ. 99%.

Αξιοπιστία: Έννοιες 90 Pearson r = 0.96 Trial 2 70 Intraclass r = 0.95 Αξιοπιστία στο χρόνο για περισσότερες από 2 μετρήσεις= intra-class correlation coefficient (μέσος όρος των ανα δύο συσχετίσεων. 50 70 90 Trial 2 Trial 1 Intraclass r = 0.95 Pearson r = 0.96

Αξιοπιστία: Έννοιες Αξιοπιστία: Αλλαγή στο μέσο όρο Test 1 Test 2 57.5   57.5 57.4 65.6 63.2 67.0 66.5 68.5 69.9 70.8 72.8 72.2 70.1 74.9 75.6 76.0 75.2 76.1 83.1 79.0 Αξιοπιστία: Έννοιες Αξιοπιστία: Αλλαγή στο μέσο όρο

Ατομικές Διαφορές και Αξιοπιστία Βήμα 1: Οπτική ανάλυση των τιμών Τέλεια αξιοπιστία Ελλειπής αξιοπιστία pre post test score 40 60 80 drug placebo time No Individual Responses to Drug pre post drug placebo time Substantial Individual Responses to Drug

Ατομικές Διαφορές και Αξιοπιστία 2. Βήμα 2: Τυπικές αποκλίσεις Μεγάλες στο post pre post placebo time test score 40 60 80 drug Each subject's values pre post test score time 40 60 80 drug placebo Means and standard deviations

Ατομικές Διαφορές και Αξιοπιστία 3. Βήμα 3: Τυπικές αποκλίσεις στα difference scores pre post test score 40 60 80 drug placebo Each subject's values 10 20 placebo drug post-pre score 30 Means and SDs of change scores

Κανονική Κατανομή