Βήματα στην Κατασκευή ενός Ψυχομετρικού Εργαλείου (Μέρος B) Εργαστήριο: Κατασκευή ενός Ψυχομετρικού Εργαλείου 3η Διάλεξη

Βήματα στην Κατασκευή ενός Τεστ Ο στόχος του τεστ Δημιουργώντας το θεωρητικό πλαίσιο Δημιουργώντας τα στοιχεία του τεστ Σχεδιάζοντας το τεστ Πιλοτική Έρευνα Ανάλυση στοιχείων Αξιοπιστία Εγκυρότητα Στάθμιση

Πιλοτική Έρευνα Στόχος της πιλοτικής έρευνας είναι να επιλέξουμε τα στοιχεία εκείνα που θα συνθέσουν την τελική έκδοση του τεστ μας. Επιλέγουμε ένα αντιπροσωπευτικό του πληθυσμού στον οποίο απευθύνεται το τεστ δείγμα ατόμων, και χορηγούμε το τεστ Ο αριθμός των ατόμων του δείγματος ποικίλει ανάλογα την τεχνική που θα χρησιμοποιηθεί για την ανάλυση στοιχείων

Η Ανάλυση Στοιχείων Στόχος της Ανάλυσης Στοιχείων (Item Analysis) είναι να εντοπιστούν τα στοιχεία εκείνα που σύμφωνα με μια σειρά από ψυχομετρικά κριτήρια μπορούν να μετρήσουν με αποτελεσματικότητα το χαρακτηριστικό που μετρά το συγκεκριμένο ψυχομετρικό εργαλείο.

Μέθοδοι Ανάλυσης Στοιχείων Ανάλυση Στοιχείων σύμφωνα με την Κλασική θεωρία (Classic Theory) Ανάλυση Στοιχείων με τη μέθοδο της Παραγοντικής Ανάλυσης (Factor Analysis) Ανάλυση Στοιχείων σύμφωνα με τη Θεωρία του Υπολογισμού των Ικανοτήτων (Item Response Theory)

Ανάλυση Στοιχείων σύμφωνα με την Κλασική Θεωρία Χρησιμοποιείται κυρίως για την επιλογή στοιχείων γνωστικών τεστ. Ανάλυση εσφαλμένων εναλλακτικών απαντήσεων Ανάλυση δείκτη δυσκολίας (p) Ανάλυση δείκτη διαφοροποίησης (d)

Η ανάλυση των εσφαλμένων απαντήσεων Η ανάλυση της δύναμης των εσφαλμένων εναλλακτικών απαντήσεων αξιολογεί το ποσοστό των εξεταζόμενων που επιλέγουν καθεμία από τις εσφαλμένες εναλλακτικές απαντήσεις. Κατά πόσο οι εσφαλμένες εναλλακτικές απαντήσεις είναι χρήσιμες.

Ο Δείκτης Δυσκολίας (p) Ο Δείκτης Δυσκολίας (Item Difficulty) δείχνει το ποσοστό των ατόμων που απαντούν σωστά στο κάθε στοιχείο.

Ο Δείκτης Διαφοροποίησης (d) Ο δείκτης διαφοροποίησης (item discrimination index) αξιολογεί κατά πόσο κατά πόσο τα άτομα δίνουν διαφορετικές απαντήσεις σε ένα στοιχείο. Δ = Δείκτης Διαφοροποίησης ΑΟ = ο δείκτης δυσκολίας για την ανώτερη ομάδα ΚΑ = ο δείκτης δυσκολίας για την κατώτερη ομάδα

Επιλογή Στοιχείων μέσω της Ανάλυσης Παραγόντων Χρησιμοποιείται και στα τεστ ικανοτήτων και στα τεστ προσωπικότητας Στόχος η εύρεση των στοιχείων που συνθέτουν τις «διαστάσεις» (παράγοντες) του χαρακτηριστικού που μετράμε Μπορεί να αποτελέσει εναλλακτική μέθοδο υπολογισμού του δείκτη διαφοροποίησης Οι συσχετίσεις του κάθε στοιχείου με τον κάθε παράγοντα μας επιτρέπουν να επιλέξουμε τα καταλληλότερα στοιχεία για το τεστ μας.

Τι είναι η ανάλυση παραγόντων Σκοπός της ανάλυσης παραγόντων (ΑΠ) είναι να συνοψίσει τις σχέσεις ανάμεσα σε ένα μεγάλο αριθμό μεταβλητών με έναν περιεκτικό και ακριβή τρόπο, ώστε να βοηθήσει να γίνει αντιληπτή μια έννοια ή ιδιότητα Παράδειγμα: Η ΑΠ μπορεί να βοηθήσει έναν ερευνητή να αντιληφθεί ότι μια συστοιχία από είκοσι τέσσερα επιμέρους τεστ αντιπροσωπεύει μόνο τέσσερις βασικές μεταβλητές, που ονομάζονται παράγοντες

Είδη ανάλυσης παραγόντων Διερευνητική Ανάλυση Παραγόντων (Exploratory Factor Analysis) Επιβεβαιωτική Ανάλυση Παραγόντων (Confirmatory Factor Analysis)

Διερευνητική Ανάλυση Παραγόντων Χρησιμοποιείται για την αρχική διερεύνηση και τη συνοπτική περιγραφή ενός σετ μεταβλητών μέσα από την ομαδοποίησή τους Χρησιμοποιείται κυρίως στην κατασκευή τεστ που ανήκουν στη συναισθηματική σφαίρα (π.χ. προσωπικότητα) Δημιουργήθηκε από τον Charles Spearman στις αρχές του προηγούμενο αιώνα

Παράδειγμα

Παράδειγμα

Παράδειγμα Αποτελεσμάτων Παράδειγμα Αποτελεσμάτων

Επιβεβαιωτική Ανάλυση Παραγόντων Χρησιμοποιείται για να διαπιστώσει κατά πόσο ένα προκαθορισμένο πλαίσιο σχέσεων ανάμεσα σε κάποιες μεταβλητές (σχέσεις) επιβεβαιώνεται και στην πράξη (από τα δεδομένα) Χρησιμοποιείται για την προσαρμογή εργαλείων από το ένα πολιτισμικό περιβάλλον στο άλλο

Παράδειγμα

Παράδειγμα Αποτελεσμάτων Table 2. Goodness-of-fit indices of the hypothesized factor models of the TAS-20 Model χ2 /df GFI CFI NNFI RMSEA RMSR AIC Model I (measurement model ) 10.26 .77 .52 .17 .16 1824.02 Model II (two-factors) 2.59 .94 .92 .09 .08 521.20 Model III (three-factors) 2.30 .95 .93 .07 469.93 Model IV (four-factors) 2.33 473.43

Αξιοπιστία Η διαδικασία με την οποία διαπιστώνουμε κατά πόσο ένα τεστ μετρά με ακρίβεια, αυτό για το οποίο κατασκευάστηκε να μετρά. Με άλλα λόγια, όταν χορηγήσουμε το τεστ πάλι στο ίδιο άτομο, θα έχουμε το ίδιο αποτέλεσμα;

Μέθοδοι Υπολογισμού της Αξιοπιστίας Αξιοπιστία Επαναληπτικών Μετρήσεων Αξιοπιστία Εναλλακτικών Τύπων Αξιοπιστία Εσωτερικής Συνοχής Αξιοπιστία Δύο Ημίσεων Δείκτης Alpha Αξιοπιστία Βαθμολογητών

Η Εγκυρότητα Η διαδικασία με την οποία διαπιστώνουμε κατά πόσο ένα τεστ μετρά αυτό για το οποίο κατασκευάστηκε

Είδη Εγκυρότητας και τρόποι υπολογισμού της Φαινομενική Εγκυρότητα Εγκυρότητα Περιεχομένου Εγκυρότητα σε σχέση με το κριτήριο Συγχρονική Εγκυρότητα Προβλεπτική Εγκυρότητα Εγκυρότητα Εννοιολογικής Κατασκευής Συγκλίνουσα Εγκυρότητα Αποκλίνουσα Εγκυρότητα

Στάθμιση Δημιουργία Νορμών Νόρμα είναι μια δομημένη διαδικασία (μέθοδος) εννοιολογικής απόδοσης της βαθμολογίας ενός ατόμου σε ένα τεστ. Η μέθοδος αυτή, δεν είναι τίποτε άλλο από τη σύγκριση της βαθμολογίας από το τεστ, με το δείγμα της στάθμισης

Τεστ Νορμών: Με αυτή τη μέθοδο μπορούμε να καθορίσουμε τη θέση που έχει το άτομο σε σχέση με το γενικό ή ειδικό πληθυσμό (αναφορικά με την επίδοσή του στο τεστ). Π.χ. Ο Γιάννης είναι καλύτερος από το 60% των ατόμων της τάξης του.

Είδη Νορμών Εκατοστημόρια Τυπικοί Βαθμοί Νόρμες Νοητικού Πηλίκου Z-scores T-scores Νόρμες Νοητικού Πηλίκου