1 ΔΗΜΟΠΑΘΟΛΟΓΙΑ ΤΗΣ ΔΙΑΤΡΟΦΗΣ ΠΑΡΑΔΟΣΗ 8 Η ΣΥΝΟΛΙΚΗ ΣΤΑΘΜΙΣΗ, ΕΓΚΥΡΟΤΗΤΑ & ΑΞΙΟΠΙΣΤΙΑ ΤΩΝ ΕΡΩΤΗΜΑΤΟΛΟΓΙΩΝ

2 Στάθμιση ερωτηματολογίου Στάθμιση μπορεί να λέγεται εκείνη η διαδικασία, που διασφαλίζει ότι τα αποτελέσματα μίας τεχνικής (π.χ. ενός ερωτηματολογίου) έχουν προκύψει: A). Μετά από προσαρμογή των ποιοτικών δεδομένων του δείγματος (όσων έλαβαν μέρος στην έρευνα), με τα πραγματικά δεδομένα του πληθυσμού. Β). Μετά από έλεγχο και προσαρμογή της καταλληλότητας της τεχνικής (π.χ. ερωτηματολογίου) στον συγκεκριμένο πληθυσμό (γλώσσα, αντίληψη, γνώση, ιδιαιτερότητες). Η στάθμιση ερωτηματολογίου περιλαμβάνει πιλοτική εφαρμογή, έλεγχο της εγκυρότητας και αξιοπιστίας και σχετικές προσαρμογές/βελτιώσεις.

3 Στάθμιση Ερωτηματολογίου Εντοπισμός και επιλογή ερωτηματολογίου: –Σύνθεση διαφορετικών ερωτηματολογίων, –Τροποποίηση υπαρχόντων ερωτηματολογίων, –Επιλογή από τη διεθνή βιβλιογραφία το κατάλληλο ερωτηματολόγιο βάσει κριτηρίων (π.χ. σύντομο, υψηλή εγκυρότητα-αξιοπιστία, κτλ.). Μετάφραση ερωτηματολογίου, Πολιτισμική προσαρμογή, Πιλοτική εφαρμογή (pre-test), Έλεγχος εγκυρότητας και αξιοπιστίας (test, re-test).

4 Στάθμιση Ερωτηματολογίου Μετάφραση ερωτηματολογίου: Έγκριση μετάφρασης από το συγγραφέα και τον κάτοχο δικαιωμάτων έκδοσης. Δίγλωσση μετάφραση προς δύο κατευθύνσεις (forward translation, backward translation), π.χ. Μετάφραση από 2 διαφορετικά άτομα στα Ελληνικά. Σύγκριση των 2 μεταφράσεων  1 η εκδοχή ερωτηματολογίου στα Ελληνικά. Μετάφραση της 1 ης εκδοχής του Ελληνικού ερωτηματολογίου στα Αγγλικά (ένα δίγλωσσο άτομο με μητρική γλώσσα τα Αγγλικά). Αποστολή στο συγγραφέα για σχόλια-παρατηρήσεις. Ενσωμάτωση των παρατηρήσεων στη 2 η εκδοχή του ελληνικού ερωτηματολογίου.

5 Στάθμιση Ερωτηματολογίου Πολιτισμική προσαρμογή: Στη χώρα (Ελλάδα), στο νομό/περιοχή (Κρήτη) π.χ. Διατροφικές συνήθειες. Σε μικρό τυχαίο δείγμα εφαρμογή της 2 ης εκδοχής του ελληνικού ερωτηματολογίου. Έλεγχος κατανόησης και αναδιατύπωσης των ερωτήσεων. Ενσωμάτωση των παρατηρήσεων στη 2 η εκδοχή. (Ελληνικό) Ερωτηματολόγιο.

6 Στάθμιση Ερωτηματολογίου Είναι απαραίτητο να διεξάγεται μια πιλοτική μελέτη (pilot study) με σχετικά μικρό αριθμό συμμετεχόντων (περίπου 30−50), έτσι ώστε να πραγματοποιείται μια προκαταρκτική εκτίμηση της εγκυρότητας και της αξιοπιστίας του ερωτηματολογίου και να διορθώνονται όσο το δυνατόν περισσότερο τα λάθη και οι παραλείψεις. Ακολούθως, το διορθωμένο ερωτηματολόγιο υποβάλλεται σε τελικό έλεγχο εγκυρότητας και αξιοπιστίας, μέσω μιας νέας πιλοτικής μελέτης.

7 Στάθμιση Ερωτηματολογίου Εάν το ερωτηματολόγιο εμφανίσει αποδεκτή εγκυρότητα και αξιοπιστία, τότε αρχίζει πλέον να διανέμεται στους υποψήφιους συμμετέχοντες. Με τον τρόπο αυτόν αρχίζει ουσιαστικά η διεξαγωγή της μελέτης, οπότε και συλλέγονται τα απαιτούμενα δεδομένα με τη χρήση του ερωτηματολογίου.

8 Στάθμιση Ερωτηματολογίου Πιλοτική εφαρμογή (pre-test): Σε τυχαίο δείγμα στο 5%-10% του τελικού δείγματος για έλεγχο: Κατανοητής-σωστής διατύπωσης των ερωτήσεων. Χρόνου συμπλήρωσης. Ενδιαφέροντος των ερωτώμενων. Εμφάνισης. Διορθώσεις Βελτιωμένο ερωτηματολόγιο → Νέα πιλοτική μελ. Έλεγχος αξιοπιστίας και εγκυρότητας του ερωτηματολογίου. Test, re-test.

9 Τελική Στάθμιση Ερωτηματολογίου Έλεγχος Εγκυρότητας και Αξιοπιστίας Ερωτηματολογίου –Έλεγχος απαραίτητος όταν αυτά αξιολογούν μη αριθμητικά χαρακτηριστικά (π.χ. διατροφικές συνήθειες, κατάθλιψη, άγχος, ικανοποίηση). –Το ερωτηματολόγιο (βελτιωμένο) δίνεται στο ίδιο δείγμα δυο διαδοχικές φορές σε ένα περιορισμένο χρονικό διάστημα (π.χ. 15 ημέρες, 30 ημέρες) (test, re-test).

10 Έλεγχος Εγκυρότητας και Αξιοπιστίας Ερωτηματολογίου –Εγκυρότητα  η πιστότητα με την οποία μετράει το χαρακτηριστικό που θέλουμε να μετρήσουμε. –Αξιοπιστία = ακρίβεια  η συνέπεια με την οποία ένα ερωτηματολόγιο μετράει ένα χαρακτηριστικό. Στάθμιση Ερωτηματολογίου

11

12 Επισήμανση Προσοχή! Κάθε ερωτηματολόγιο δεν αποτελεί απαραιτήτως και μια κλίμακα μέτρησης. Παρομοίως ούτε όλες οι κλίμακες μέτρησης αποτελούν απαραιτήτως ερωτηματολόγια. Ένα ερωτηματολόγιο μπορεί να περιλαμβάνει μία ή και περισσότερες κλίμακες μέτρησης.

13 Εγκυρότητα Ερωτηματολογίου

14 Η εγκυρότητα ερωτηματολογίου Η εγκυρότητα μιας κλίμακας μέτρησης, με απλά λόγια αφορά τον βαθμό που όντως μετράει αυτό για το οποίο φτιάχτηκε να μετράει. Υπάρχουν πολλοί τύποι εγκυρότητας, όπως είναι: Η εγκυρότητα περιεχομένου (content validity). Η εγκυρότητα εννοιολογικής κατασκευής (construct validity). Η εγκυρότητα βάσει κριτηρίων (criterion validity).

15 Η εγκυρότητα ερωτηματολογίου

16 Η εγκυρότητα ερωτηματολογίου Η εγκυρότητα περιεχομένου (content validity) αφορά το βαθμό που μία κλίμακα μέτρησης μετρά το σύνολο του ζητουμένου για το οποίο έχει φτιαχτεί. Κατά τη διαδικασία εκτίμησης της εγκυρότητας του περιεχομένου, γίνεται μία καταγραφή των δεδομένων που αφορούν στην συγκεκριμένη έννοια που εξετάζεται σε μία ερώτηση. Από όλα αυτά τα δεδομένα, γίνεται η επιλογή των πιο σχετικών με το αντικείμενο της έρευνας.

17 Εγκυρότητα περιεχομένου Για παράδειγμα, εάν υποτεθεί ότι η ποιότητα ζωής περιλαμβάνει έξι διαστάσεις, και πιο συγκεκριμένα τη γενική υγεία, τη σωματική λειτουργικότητα, τη ζωτικότητα, την κοινωνική λειτουργικότητα, το συναισθηματικό ρόλο και την ψυχική υγεία, και σε μια μελέτη για την εκτίμηση της ποιότητας ζωής χρησιμοποιηθεί ένα ερωτηματολόγιο με τέσσερις διαστάσεις (γενική υγεία, σωματική λειτουργικότητα, ζωτικότητα, κοινωνική λειτουργικότητα), τότε είναι σαφές ότι το ερωτηματολόγιο αυτό έχει μειωμένη εγκυρότητα περιεχομένου, καθώς δεν μετρώνται όλες οι διαστάσεις της ποιότητας ζωής.

18 Εγκυρότητα περιεχομένου Οι δημιουργοί του ερωτηματολογίου ζητούν από μία προεπιλεγμένη ομάδα ειδικών να κρίνουν κάθε στοιχείο του ερωτηματολογίου ως ≪ απαραίτητο ≫, ≪ χρήσιμο, άλλα όχι απαραίτητο ≫ ή ≪ μη αναγκαίο ≫ και ακολούθως υπολογίζεται ο “Λόγος Εγκυρότητας Περιεχομένου” για κάθε στοιχείο του ερωτηματολογίου, σύμφωνα με την παρακάτω ισότητα (βλέπε επόμενη διαφάνεια):

19 Εγκυρότητα περιεχομένου Στην ισότητα, με Ν για ένα στοιχείο (π.χ. ερώτηση) συμβολίζεται ο συνολικός αριθμός των ειδικών που κρίνουν τα στοιχεία του ερωτηματολογίου και με n e συμβολίζεται ο αριθμός των ειδικών που χαρακτηρίζουν το συγκεκριμένο στοιχείο του ερωτηματολογίου ως ≪ απαραίτητο ≫.

20 Εγκυρότητα περιεχομένου Όταν ο λόγος εγκυρότητας περιεχομένου για ένα στοιχείο ενός ερωτηματολογίου είναι ίσος με 0, τότε οι μισοί ειδικοί θεωρούν το στοιχείο αυτό ως ≪ απαραίτητο ≫. Όταν ο λόγος εγκυρότητας περιεχομένου για ένα στοιχείο ενός ερωτηματολογίου είναι > 0, τότε περισσότεροι από τους μισούς ειδικούς θεωρούν το στοιχείο αυτό ως ≪ απαραίτητο ≫. Όταν ο λόγος εγκυρότητας περιεχομένου για ένα στοιχείο ενός ερωτηματολογίου είναι < 0, τότε λιγότεροι από τους μισούς ειδικούς θεωρούν το στοιχείο αυτό ως ≪ απαραίτητο ≫.

21 Εγκυρότητα περιεχομένου

22 Η εγκυρότητα ερωτηματολογίου Η εγκυρότητα εννοιολογικής κατασκευής (construct validity). Αυτή αφορά τον βαθμό που μια κλίμακα μέτρησης μετρά επακριβώς την έννοια που έχουμε ορίσει ότι μετράει. Η αποτίμηση της εγκυρότητας εννοιολογικής κατασκευής είναι μια διαδικασία που εφαρμόζεται κυρίως όταν δημιουργούμε “όργανα/εργαλεία” μέτρησης πιο αφηρημένων χαρακτηριστικών, όπως αντιλήψεων, ή πεποιθήσεων.

23 Η εγκυρότητα εννοιολογικής κατασκευής Ο έλεγχος της εγκυρότητας εννοιολογικής κατασκευής είναι έως ένα βαθμό υποκειμενικός και για το λόγο αυτόν απαιτείται η διεξαγωγή σημαντικού αριθμού μελετών σε διαφορετικές χώρες, σε διαφορετικούς μελετώμενους πληθυσμούς και σε διαφορετικές χρονικές στιγμές. Εν τούτοις, σε μια συγκεκριμένη μελέτη, ο έλεγχος της εγκυρότητας εννοιολογικής κατασκευής (βλέπε παρακάτω) μπορεί να επιτευχθεί με την παραγοντική ανάλυση, τη συγκλίνουσα εγκυρότητα, τη διακρίνουσα εγκυρότητα και τη μέθοδο των γνωστών ομάδων.

24 Η εγκυρότητα ερωτηματολογίου Η εγκυρότητα στη βάση κριτηρίων (criterion validity) αφορά ακριβώς αυτό που αναφέρει. Την αναζήτηση δηλαδή ενός κριτηρίου με βάση το οποίο θα αποφανθούμε ότι πράγματι η κλίμακα μετράει την έννοια που έχουμε πει ότι μετρά. Το κριτήριο είναι ισχυρά ενδεικτικό στοιχείο για να κρίνουμε ή να αξιολογήσουμε. Εάν π.χ., τα άτομα που ρωτήθηκαν εμφανίζονται ως λάτρεις της άσκησης σε σχετική κλίμακα στάσεων, τότε τα αποτελέσματα θα ήταν συναφή με την κατοχή κάρτας γυμναστηρίου (εμπειρικό κριτήριο) – δηλαδή τα υπάρχοντα ανεξάρτητα στοιχεία θα συνέκλιναν με τα αποτελέσματα της μέτρησης.

25 Αξιολόγηση εγκυρότητας ερωτηματολογίου 1). Συνήθως ψάχνουμε να βρούμε τη συσχέτιση μεταξύ της κλίμακας που φτιάχνουμε και μίας αντίστοιχής που μετρά το ίδιο χαρακτηριστικό ή παρόμοιο (συγκλίνουσα-συγχρονική εγκυρότητα ή convergent - concurent validity) ή μη συνάφεια με μία κλίμακα που μετρά διαφορετικό χαρακτηριστικό (διακρίνουσα εγκυρότητα ή discriminant validity). Ιδανικά, αν υπάρχει μία πρότυπη κοινά αναγνωρισμένη ως επαρκής ή πλέον κατάλληλη κλίμακα (gold standard), η σύγκριση γίνεται με αυτή.

26 Στάθμιση Ερωτηματολογίου Έλεγχος εγκυρότητας με πρότυπη μέθοδο –Στο ίδιο δείγμα ατόμων εφαρμόζουμε το νέο ερωτηματολόγιο και το ερωτηματολόγιο της πρότυπης μεθόδου (gold standard). Έλεγχος συμφωνίας των αποτελεσμάτων των δυο μεθόδων με γνωστούς στατιστικούς δείκτες και μέτρα. –Μέτρο συμφωνίας kappa. –Συντελεστής συσχέτισης (Pearson, Spearman).

27 Αξιολόγηση εγκυρότητας ερωτηματολογίου 2). Επίσης μπορούν να χρησιμοποιηθούν πειραματικές διαδικασίες ( π.χ. χρησιμοποιούμε την κλίμακα σε ένα πληθυσμό στόχο που γνωρίζουμε την συμπεριφορά του ως προς το χαρακτηριστικό που μελετούμε): μέθοδος των γνωστών ομάδων (known groups method). Π.χ. έλεγχος κλίμακας κατάθλιψης σε διαγνωσμένους καταθλιπτικούς, ή ανορεξίας σε διαγνωσμένους ανορεκτικούς ασθενείς.

28 3). Στην περίπτωση που η έννοια ( ή το χαρακτηριστικό που μας ενδιαφέρει) έχει πολλές διαστάσεις (π.χ. στην κλίμακα 1-5) χρησιμοποιούμε παραγοντική ανάλυση (factor analysis). H παραγοντική ανάλυση εφαρμόζεται συχνά στις περιπτώσεις της κλίμακας ίσων διαστημάτων (Likert scale) και όταν το μέγεθος του δείγματος είναι μεγάλο. Αξιολόγηση εγκυρότητας ερωτηματολογίου

29 Παραγοντική ανάλυση (Factor analysis) Εφαρμόζοντας την παραγοντική ανάλυση (factor analysis) στα στοιχεία ενός ερωτηματολογίου προκύπτουν διάφοροι παράγοντες (factors) που εκφράζουν επί μέρους διαστάσεις της έννοιας που μετρά το ερωτηματολόγιο της μελέτης. Οι παράγοντες αυτοί προκύπτουν με βάση τις συσχετίσεις που παρουσιάζουν μεταξύ τους τα διάφορα στοιχεία ενός ερωτηματολογίου. Αξιολόγηση εγκυρότητας ερωτηματολογίου

30 Παραγοντική ανάλυση (Factor analysis) Για παράδειγμα, εάν ένα ερωτηματολόγιο αποτελείται από 30 στοιχεία, εφαρμόζοντας την παραγοντική ανάλυση προκύπτουν πολύ λιγότεροι παράγοντες, καθένας από τους οποίους περιλαμβάνει ορισμένα από τα 30 στοιχεία του ερωτηματολογίου. Με τον τρόπο αυτόν, μια ευρεία έννοια απλουστεύεται, ομαδοποιείται σε επί μέρους παράγοντες και γίνεται σαφέστερη. Αξιολόγηση εγκυρότητας ερωτηματολογίου

31 Factor analysis Cronbach's alpha coefficients obtained for each factor were: Factor 1 (10 items) = 0.880, Factor 2 (five items) = and Factor 3 (five items) = Pereira, Ana Telma, Maia, Berta Rodrigues, Marques, Mariana, Bos, Sandra Carvalho, Soares, Maria João, Gomes, Ana, Macedo, António, & Azevedo, Maria Helena Pinto de. (2008). Factor structure of the Rutter Teacher Questionnaire in Portuguese children. Revista Brasileira de Psiquiatria, 30(4),

32 Παραγοντική ανάλυση (Factor analysis) –Δημιουργία παραγόντων: ομαδοποίηση μεταβλητών/ερωτήσεων που σχετίζονται μεταξύ τους. Στατιστική ανάλυση με λιγότερες μεταβλητές. –Για κάθε παράγοντα (factor) υπολογίζεται η εσωτερική συνοχή (Cronbach’s a). < 0,5  μη αποδεκτή συνοχή (αξιοπιστία), 0,5-0,6  μικρή συνοχή, 0,6-0,7  αποδεκτή, 0,7-0,9  καλή, > 0,9  εξαιρετική συνοχή (αξιοπιστία). Αξιολόγηση εγκυρότητας ερωτηματολογίου

33 4). Επίσης μπορεί να αναζητήσουμε ένα κριτήριο που προβλέπει την συμπεριφορά στο μέλλον ή σε μία άλλη περίπτωση (προβλεπτική εγκυρότητα- predictive validity). Η προβλεπτική εγκυρότητα- predictive validity μοιάζει με την συγχρονική εγκυρότητα - concurent validity σε σχέση με τον τρόπο αποτίμησής της με μόνη διαφορά τον χρόνο που δίνεται η δεύτερη κλίμακα. Αξιολόγηση εγκυρότητας ερωτηματολογίου

34 Για να αποτιμήσουμε τελικά την εγκυρότητα εννοιολογικής κατασκευής και την εγκυρότητα στη βάση κριτηρίων προχωρούμε σε μια πιλοτική έρευνα. Για το σκοπό αυτό χορηγούμε την κλίμακα σε ένα επαρκές δείγμα. Με την ίδια πιλοτική έρευνα αποτιμούμε την αξιοπιστία της κλίμακας ή του ερωτηματολογίου. Αξιολόγηση εγκυρότητας ερωτηματολογίου

35 Αξιοπιστία ερωτηματολογίου

36 Αξιολόγηση αξιοπιστίας ερωτηματολογίου Η αξιοπιστία ή, αλλιώς, η ακρίβεια ενός ερωτηματολογίου αφορά στη σταθερότητα ή, αλλιώς, στη συνέπεια με την οποία το ερωτηματολόγιο μετρά την έννοια ή, αλλιώς, τη μεταβλητή την οποία διατείνεται ότι μετρά. Η αύξηση της αξιοπιστίας ενός ερωτηματολογίου συνεπάγεται τη μείωση του τυχαίου σφάλματος.

37

38 Αξιολόγηση αξιοπιστίας ερωτηματολογίου Σε ότι αφορά την αξιοπιστία (reliability) μιας κλίμακας μέτρησης, με απλά λόγια, αυτή αφορά τη σταθερότητα – επαναληψιμότητα με την οποία η κλίμακα μετράει αυτό που επιζητούμε να μετράει. Πρέπει να έχουμε υπόψη μας ότι η αξιοπιστία αναφέρεται στα αποτελέσματα της μέτρησης μιας κλίμακας και όχι στην κλίμακα αυτή καθαυτή.

39 Αφού η αξιοπιστία αναφέρεται στα αποτελέσματα της μέτρησης, αυτό σημαίνει ότι η αξιοπιστία επηρεάζεται από τα υποκείμενα της έρευνας (για παράδειγμα από τους ερωτώμενους) και από το πρωτόκολλο της μέτρησης. Συνεπώς μια κλίμακα μπορεί να είναι αξιόπιστη σε ένα χώρο εφαρμογής και αναξιόπιστη σ ένα άλλο. Αξιολόγηση αξιοπιστίας ερωτηματολογίου

40 Υπάρχουν διάφορα είδη αξιοπιστίας και αξιολόγησής της. Για παράδειγμα: 1). Η αξιοπιστία των επαναληπτικών μετρήσεων ή ελέγχου - επανελέγχου (test, retest). 2). Η αξιοπιστία των εναλλακτικών τύπων (alternative forms of reliability or parallel-forms of reliability). 3). Η αξιοπιστία των ημίσεων (split-half reliability). 4). Η αξιοπιστία εσωτερικής συνέπειας (internal consistency). Αξιολόγηση αξιοπιστίας ερωτηματολογίου

41 1. Η αξιοπιστία των επαναληπτικών μετρήσεων (test-retest): Στην περίπτωση αυτή αξιολογούμε την σταθερότητα των απαντήσεων. Για το σκοπό αυτό εφαρμόζουμε, σε άλλους χρόνους, την κλίμακα δύο φορές στα ίδια άτομα, κάτω από τις ίδιες συνθήκες και τελικά ελέγχουμε την στατιστική συσχέτιση ανάμεσα στις δύο βαθμολογίες. Αξιολόγηση αξιοπιστίας ερωτηματολογίου

42 2. Η αξιοπιστία των εναλλακτικών τύπων (alternative-forms reliability or parallel-forms reliability). Στην περίπτωση που έχουμε δύο παράλληλους τύπους της ίδιας κλίμακας εφαρμόζουμε στα ίδια άτομα τον ένα τύπο και αργότερα τον άλλο τύπο και συσχετίζουμε τις βαθμολογίες μεταξύ τους. Αξιολόγηση αξιοπιστίας ερωτηματολογίου

43 Εναλλακτικοί τύποι ερωτηματολογίου

44 Εναλλακτικές κλίμακες πόνου

45 3. Η αξιοπιστία των ημίσεων τμημάτων (split-half reliability): Στην περίπτωση που δεν έχουμε δύο παράλληλους τύπους τότε εφαρμόζουμε την κλίμακα μία φορά αλλά βαθμολογούμε χωριστά τις άρτιες και χωριστά τις περιττές ερωτήσεις. Αξιολόγηση αξιοπιστίας ερωτηματολογίου

46 4. Η αξιοπιστία εσωτερικής συνέπειας (internal consistency): Σ αυτήν αξιολογείται η ομοιογένεια των ερωτήσεων της κλίμακας. Εφαρμόζουμε την κλίμακα μία φορά και αν οι απαντήσεις είναι δυαδικής επιλογής χρησιμοποιούμε τον συντελεστή Kuder-Richardson formula ενώ αν οι επιλογές είναι περισσότερες χρησιμοποιούμε τον συντελεστή alpha του Cronbach. Αξιολόγηση αξιοπιστίας ερωτηματολογίου

47 Αξιοπιστία εσωτερικής συνέπειας

48 Πολλοί ερευνητές προτείνουν για την αξιοπιστία: Ι). r (Pearson coefficient) = 0,90 για test-retest. ΙΙ). a = 0,90 για παραλλαγές της κλίμακας. ΙΙΙ). 1). a = 0,90 για την εσωτερικής συνοχής (συνέπειας). Αξιολόγηση αξιοπιστίας ερωτηματολογίου

49

50 Τελική Στάθμιση Ερωτηματολογίου Εγκυρότητα; ΝΑΙ Αξιοπιστία; ΝΑΙ –Σταθμισμένο και κατάλληλο το ερωτηματολόγιο. Τελικό (Ελληνικό) Ερωτηματολόγιο –Έτοιμο να διανεμηθεί στο επιλεγμένο δείγμα του υπό μελέτη πληθυσμού.