ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΤΥΠΟ ΜΕΤΑ - ΑΝΑΛΥΣΗΣ ΠΟΙΟΤΙΚΩΝ ΕΡΕΥΝΩΝ.

Παρουσίαση με θέμα: "ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΤΥΠΟ ΜΕΤΑ - ΑΝΑΛΥΣΗΣ ΠΟΙΟΤΙΚΩΝ ΕΡΕΥΝΩΝ."— Μεταγράφημα παρουσίασης:

1 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΤΥΠΟ ΜΕΤΑ - ΑΝΑΛΥΣΗΣ ΠΟΙΟΤΙΚΩΝ ΕΡΕΥΝΩΝ

2 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Μετα-ανάλυση ή «μετασύνθεση» (συνηθέστερα) είναι μια μέθοδος, ένα νέο εργαλείο στην ποιοτική έρευνα. Στόχος είναι η διατύπωση μιας επεξηγηματικής θεωρίας ή η διαμόρφωση ενός προτύπου ερμηνείας των ευρημάτων μιας ομάδας παρόμοιων - πανομοιότυπων ποιοτικών ερευνών. Ο στόχος υπογραμμίζει μια από τις βασικές διαφορές ανάμεσα σε αυτήν τη μέθοδο και τη «μετα-ανάλυση» των ποσοτικών ερευνών. Για να γίνεται εμφανής η διαφοροποίηση για μεν την περίπτωση των ποιοτικών ερευνών χρησιμοποιείται ο όρος «μετα-σύνθεση», ενώ για τις ποσοτικές έρευνες, ο όρος «μετα-ανάλυση».

3 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΣΟΧΗ: Διαφορά Η μετα-ανάλυση σκοπεύει να αυξήσει τη βεβαιότητα και την ασφάλεια των ευρημάτων αναφορικά με τη σχέση αιτίας – αποτελέσματος σε ένα συγκεκριμένο ερευνητέο πεδίο, ενώ η μετα-σύνθεση είναι ερμηνευτική μέθοδος που επιζητεί να κατανοήσει και να ερμηνεύσει πληρέστερα τα υπό διερεύνηση φαινόμενα μέσα από επανεξέταση των ευρημάτων των αρχικών ερευνών

4 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΣΟΧΗ: Διαφορά Η «μετα-σύνθεση» των ποιοτικών ερευνών πρέπει να διαφοροποιηθεί και από τη «συστηματική επισκόπηση» η οποία είναι μια συνεκτική συστηματική μέθοδος σύγκρισης ποσοτικών διερευνήσεων η οποία εξελίσσεται στη βάση πολύ καλά διαγεγραμμένων βημάτων και η οποία περιλαμβάνει και στατιστική ανάλυση των ομογενοποιημένων αποτελεσμάτων των ποσοτικών ερευνών.

5 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Τα ζητήματα και οι προκλήσεις Η επάρκεια των προς μετα-ανάλυση ποιοτικών ερευνών Τα κριτήρια επιλογής τους Η πρόσβαση στα κείμενα των ερευνών Τα κριτήρια δημοσιότητας και δημοσιοποίησής τους Το δίλημμα ανάμεσα στην ποσότητα ή την ποιότητα των πρωτογενών ερευνών Η επιλογή ή/και αποκλεισμός δεδομένων προς μετα-ανάλυση Η επιστημονική βασιμότητα και εγκυρότητα των πορισμάτων της μετα-ανάλυσης

6 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Αυτή η «στροφή στη σύνθεση» της μετα-ανάλυσης ποιοτικών ερευνών έχει αποτελέσει την αιχμή της ενάντιας κριτικής. Οι πολέμιοι διατείνονται ότι το να συνθέτει κάποιος ποιοτικά ευρήματα είναι σαν να καταστρέφει την ακεραιότητα των ατομικών ερευνητικών επιδιώξεων επί των οποίων τέτοιες περιλήψεις – συνόψεις βασίζονται, είναι σαν να αποφλοιώνει τον επιθυμητό πλούτο του ‘μερικού’… και τελικά είναι σαν να χάνει τη ζωντάνια των ανθρωπίνων εμπειριών που αναπαριστώνται στις αρχικές μελέτες.

7 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Στον αντίποδα αυτής της κριτικής βρίσκεται ο ισχυρισμός ότι οι ποιοτικές διερευνήσεις «ρισκάρουν» την όλο και μεγαλύτερη περιθωριοποίησή τους εάν η εργασία τους παραμείνει απομονωμένη, αποσπασματική και εσωτερική και εμφανώς μη δυνάμενη να επηρεάσει ούτε τη χάραξη ούτε την άσκηση πολιτικής. Εν συνεχιστεί η παραγωγή μη συμβατών νησίδων γνώσης για τα ίδια / όμοια φαινόμενα τότε η παραγωγή αυτή είναι καταδικασμένη σε άσχετη με το ερευνητέο κάθε φορά ζήτημα εικασία και στην εκ νέου ‘ανακάλυψη του τροχού’. Τόσο η παραγωγή ερμηνειών όσο και η δημιουργία θεωρίας έχουν μια μεταβατική φύση που υπόκειται σε συνεχείς αναθεωρήσεις καθώς αυτά τα ίδια τα υπό διερεύνηση φαινόμενα είναι ρευστά και μεταβαλλόμενα. Άλλωστε η συνθετική διαδικασία της μετα-ανάλυσης παρέχει τη δυνατότητα στον ερευνητή να αποκαλύψει τα κενά αλλά και την καινοτόμο σκέψη καθώς προτείνει μια νέα ανάγνωση και αφήγηση υπό το πρίσμα μιάς ενόρασης εκ νέου.

8 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Τα ουσιαστικά ζητήματα Οι ποιοτικές έρευνες χαρακτηρίζονται από μοναδικότητα τόσο ως προς το περιεχόμενο όσο και ως προς την διαδικασία διερεύνησης των σημασιών και των νοημάτων που αποδίδουν τα ίδια τα υποκείμενα της έρευνας στις εμπειρίες τους. Οι ποιοτικές έρευνες χαρακτηρίζονται από μοναδικότητα τόσο ως προς το περιεχόμενο όσο και ως προς την διαδικασία διερεύνησης των σημασιών και των νοημάτων που αποδίδουν τα ίδια τα υποκείμενα της έρευνας στις εμπειρίες τους. Άρα, η ιδέα μιας μετα-αφήγησης και μάλιστα υψηλότερης θεωρητικής τάξης των αρχικών αφηγήσεων να ενέχει τον κίνδυνο αυθαιρεσιών και παραφράσεων ουσιωδών όψεων της πρωτογενούς ποιοτικής διερεύνησης. Άρα, η ιδέα μιας μετα-αφήγησης και μάλιστα υψηλότερης θεωρητικής τάξης των αρχικών αφηγήσεων να ενέχει τον κίνδυνο αυθαιρεσιών και παραφράσεων ουσιωδών όψεων της πρωτογενούς ποιοτικής διερεύνησης. Ηαναλυτική πρόσμειξη της μετα-ανάλυσης γεννά ερωτηματικά αναφορικά με την αισθητική και συναισθηματική εμπλοκή των περιγραφών του μοναδικού περιβάλλοντος και των ιδιαίτερων νοημάτων εκάστης πρωτογενούς έρευνας. Ηαναλυτική πρόσμειξη της μετα-ανάλυσης γεννά ερωτηματικά αναφορικά με την αισθητική και συναισθηματική εμπλοκή των περιγραφών του μοναδικού περιβάλλοντος και των ιδιαίτερων νοημάτων εκάστης πρωτογενούς έρευνας.

9 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Τα ουσιαστικά ζητήματα Γεννά ερωτηματικά ο τρόπος με τον οποίο η προβληματική φύση της γλώσσας που είναι κατανοητή ή/και χρησιμοποιείται από διαφορετικούς ερευνητές σε περιγραφικές και θεματικές αναλύσεις μπορεί να ενοποιηθεί (να γίνει συμβατή) – αν δεν πρόκειται για μεθοδολογικό συμβιβασμό. Στη συνέχεια, ερωτήματα προκαλεί το γεγονός ότι μελέτες που έχουν παραχθεί από την ίδια ή πολλές διαφορετικές μεθοδολογικές προσεγγίσεις εντός του ερμηνευτικού παραδείγματος μπορούν να συντεθούν με συνέπεια. Άλλωστε ο ίδιος ο όρος «μετα-σύνθεση», υπαινίσεται επαγωγικές ιδέες της δυνατότητας επιστημονικής γενίκευσης ξένες προς τις φιλοσοφικές προϋποθέσεις του ερμηνευτικού παραδείγματος

10 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το περιεχόμενο της μεθόδου Η μετα-ανάλυση είναι ένας τύπος ποιοτικής έρευνας που χρησιμοποιεί ως δεδομένα τα ευρήματα άλλων ποιοτικών ερευνών της ίδιας ή συναφούς μεθοδολογίας. Άρα, το δείγμα της μετα-ανάλυσης κατασκευάζεται από μεμονωμένες ποιοτικές μελέτες με κριτήριο επιλογής τη συνάφεια με το ειδικό ερευνητέο ερώτημα του μετα-αναλυτή.

11 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ Τι είναι και τι δεν είναι η μέθοδος / εργαλείο Η μετα-ανάλυση δεν είναι μια συνεκτική επισκόπηση της ποιοτικής βιβλιογραφίας επί ενός συγκεκριμένου θέματος. δεν πρόκειται για δευτερογενή ανάλυση πρωτογενών δεδομένων των μεμονωμένων ερευνών. Πρόκειται για την ανάλυση των ευρημάτων αυτών των ερευνών. Αυτό σημαίνει ότι η μετα-ανάλυση είναι η μετα-ερμηνεία - μια μετα-αφήγηση - του μετα-αναλυτή των ερμηνειών των πρωτογενών δεδομένων από τον αρχικό ερευνητή. Αντίθετα από την μετα-ανάλυση των ποσοτικών ερευνών – οι οποίες επανεξετάζουν συγκεντρώνοντας τα πρωτογενή δεδομένα - η μετα-σύνθεση (μετα-ανάλυση) των ποιοτικών ερευνών αφορά τη σύγκριση, τη μετάφραση και την ανάλυση των αρχικών ευρημάτων. Μέσα από αυτήν τη διαδικασία γεννώνται νέες ερμηνείες που αγκαλιάζουν αλλά και διηθούν τις σημασίες και τα νοήματα που έχουν αποδοθεί από τον αρχικό ερευνητή στις μεμονωμένες ποιοτικές έρευνες. Πρόκειται για μια συνεκτική συνθετική μετα-αφήγηση των αρχικών ιδεών.

12 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Επιστημονικές καταβολές και διαδρομές της μεθόδου

13 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Στα βήματα της θεμελιωμένης θεωρίας - grounded theory Εδώ η μέθοδος μετα-ανάλυσης αποτελεί μια απλή προέκταση της θεμελιωμένης θεωρίας στη βάση σύγκρισης νέων δεδομένων της θεμελιωμένης θεωρίας στη βάση σύγκρισης νέων δεδομένων με ήδη υπάρχοντες «κωδικούς» και «κατηγορίες».

14 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Στα βήματα της εθνογραφίας Η μετα-εθνογραφία «επιδιώκει την αναζήτηση πέρα από το απλό περιεχόμενο ώστε να αποκαλυφθούν οι αναλογίες ανάμεσα στα περιεχόμενα». Τόσο η θεμελιωμένη θεωρία όσο και η μετα-εθνογραφία χρησιμοποιούν την αντιπαραβολή και τη σύγκριση «κωδικών» ή θεμάτων με έμφαση στην αντίφαση και την αντίθεση κατά τη διαδικασία της σύνθεσης.

15 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Αργότερα υιοθετήθηκαν περισσότερο φιλόδοξα ερευνητικά προτάγματα σύμφωνα με τα οποία, η ποιοτική μετα-σύνθεση (εδώ μετα-ανάλυση) ορίζεται ως μια μετα-μελέτη / μετα-ανάγνωση ποιοτικών ερευνών που απαρτίζεται από έξι διαφορετικά ερευνητικά στάδια

16 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΣΤΑΔΙΟ ΠΡΩΤΟ Η «προπαρασκευή του πεδίου» (“laying the groundwork”) η οποία περιλαμβάνει βήματα όπως: Η συγκρότηση της ομάδας εργασίας Ο καθορισμός του σκοπού της έρευνας Η διατύπωση της ερευνητέας υπόθεσης / ερώτησης και Η επιλογή του θεωρητικού πλαισίου αναφοράς

17 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΣΤΑΔΙΟ ΔΕΥΤΕΡΟ «Η αναζήτηση και αξιολόγηση πρωτογενούς έρευνας» (“retrieval and assessment of primary research”) περιλαμβάνει Τη διατύπωση των κριτηρίων ένταξης και αποκλεισμού ποιοτικών ερευνών Την αποτίμηση της ποιότητάς τους και Τον καθορισμό στρατηγικών διαχείρισης δεδομένων.

18 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΣΤΑΔΙΟ ΤΡΙΤΟ Η «ανάλυση μετα-δεδομένων» (“meta-data-analysis”) αφορά την επιλογή της - ‘ερμηνευτικής και διαλεκτικής’ - προσέγγισης και τη δημιουργία ενός πολύ-επιπέδου συστήματος συγκέντρωσης δεδομένων στη βάση κριτηρίων όπως η μέθοδος, το δείγμα, ημερομηνία έκδοσης και ειδικότερα ζητήματα που αφορούν το υπό διερεύνηση φαινόμενο. η μέθοδος, το δείγμα, ημερομηνία έκδοσης και ειδικότερα ζητήματα που αφορούν το υπό διερεύνηση φαινόμενο.

19 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΣΤΑΔΙΟ ΤΕΤΑΡΤΟ Η «μετα-μέθοδος» (“meta-method”) Προϋποθέτει: τη σύγκριση των ερευνητικών σχεδίων των αρχικών ερευνών τη σχετικής επιχειρηματολογίας και την αποτίμηση των θεμάτων και των μοτίβων που εντοπίζονται στις έρευνες αυτές.

20 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΣΤΑΔΙΟ ΠΕΜΠΤΟ Η «μετα-θεωρία» (“meta-theory”) Είναι στην ουσία η ανάλυση των πρωτογενών ερευνών με στόχο την ένταξη των θεωρητικών προσανατολισμών τους στο θέμα και την ερευνητέα ερώτηση της μετα-ανάλυσης καθώς και την ερευνητέα ερώτηση της μετα-ανάλυσης καθώς και την παραγωγή νέων θεωρητικών κατασκευών.

21 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΣΤΑΔΙΟ ΕΚΤΟ Η «μετα-σύνθεση» (“Meta-synthesis”) Ακολουθεί επαγωγικά τα τρία ως άνω αναλυτικά βήματα, προς την κατεύθυνση μιας δυναμικής διαδικασίας σκέψης, ερμηνείας, θεωρητικολογίας και αναστοχασμού. Ως το επιστέγασμα της μεθόδου στόχος του σταδίου είναι να αποδομήσει τρέχουσες ιδέες για το υπό διερεύνηση φαινόμενο και να αποδομήσει τρέχουσες ιδέες για το υπό διερεύνηση φαινόμενο και να δημιουργήσει μια περισσότερο σε βάθος, ξεκάθαρη και ‘κοινωνικά υπεύθυνη’ θεωρητική κατανόηση.

22 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΣΚΟΠΟΣ και ΣΤΟΧΟΙ Σκοπός: υψηλότερο επίπεδο θεωρητικής αφαίρεσης και δυνατότητας γενίκευσης ώστε τα ποιοτικά ευρήματα να γίνουν πιο προσιτά προς εφαρμογή. Τρεις είναι οι βασικοί στόχοι της μετα-σύνθεσης: Παραγωγή θεωρίας, όπου ευρήματα από διαφορετικές πηγές μπορούν να αξιοποιηθούν ώστε να προσδώσουν μεγαλύτερη ώθηση στην παραγωγή θεωρίας απ’ ότι ευρήματα από μόνο μια πηγή. Εξειδίκευση μιας θεωρίας μια επαγωγική αναλυτική διαδικασία όπου μία αφηρημένη έννοια μιας μελέτης ενισχύεται με τη σύνθεση ευρημάτων από άλλες μελέτες. Εξειδίκευση μιας θεωρίας μια επαγωγική αναλυτική διαδικασία όπου μία αφηρημένη έννοια μιας μελέτης ενισχύεται με τη σύνθεση ευρημάτων από άλλες μελέτες. Εξέλιξη μιας θεωρίας η οποία αναφέρεται στη σύνθεση ευρημάτων σε μία εννοιακή κατασκευή η οποία είναι περιγραφική, γενικεύουσα και παν-περιεκτική κι έτσι περισσότερο πλήρης από τις εννοιακές της αποκρυσταλλώσεις σε μεμονωμένες έρευνες.

23 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Ειδικότερα επιστημολογικά ζητήματα Ένα βασικό ζήτημα ανακύπτει όταν οι προς μετα-σύνθεση ποιοτικές έρευνες έχουν ακολουθήσει διαφορετικά υποδείγματα. Ποιό θα είναι σε αυτήν την περίπτωση των δείγμα των προς μετα-σύνθεση ποιοτικών ερευνών; Μεγαλύτερη συναίνεση στο ζήτημα αυτό υπάρχει σε προσπάθειες μετα- σύνθεσης που επιλέγουν αποκλειστικά και μόνον ποιοτικές έρευνες συγγενών υποδειγμάτων παρά το γεγονός ότι έχουν καταγραφεί και προσπάθειες μετα-σύνθεσης με δείγμα ερευνών διαφορετικών υποδειγμάτων. Μεγαλύτερη συναίνεση στο ζήτημα αυτό υπάρχει σε προσπάθειες μετα- σύνθεσης που επιλέγουν αποκλειστικά και μόνον ποιοτικές έρευνες συγγενών υποδειγμάτων παρά το γεγονός ότι έχουν καταγραφεί και προσπάθειες μετα-σύνθεσης με δείγμα ερευνών διαφορετικών υποδειγμάτων. Ένα άλλο συναφές ζήτημα είναι η πιθανότητα διαφορετικές επιστημολογικές δεσμεύσεις ενσωματωμένες στα διαφορετικά υποδείγματα να έχουν οδηγήσει σε διαφορετικά είδη γνώσης (τύπους γνώσεις) στις αρχικές έρευνες, το οποίο βέβαια - από την άλλη πλευρά - αυξάνει την πρόκληση διαμόρφωσης μιας θεωρίας μέσω μετα-σύνθεσης.

24 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Ειδικότερα επιστημολογικά ζητήματα Αυτή η ίδια η οπτική των διαφορετικών μεθοδολογιών μπορεί να δημιουργήσει πρόβλημα συμβατότητας στην προσπάθεια συνδυασμού τους. Για παράδειγμα, οι φαινομενολογικές μελέτες κινούνται στη μικρο-κλίμακα, τα δε ευρήματά τους προκύπτουν από εις βάθος εξερευνητικού τύπου αναλύσεις. Ως εκ τούτου δεν προσφέρονται, για ‘υψηλές αφαιρέσεις’. Εθνογραφικές μελέτες, ομοίως μπορεί να αποδειχθούν δύσκολες στο συνδυασμό και τη σύνθεση λόγω της πολιτισμικής ιδιομορφίας τους. Ερμηνευτικά παραδείγματα και κατασκευαστικές αφηγήσεις όπου η «αλήθεια» θεάται ως αποτέλεσμα κατασκευασμένων και διυποκειμενικών νοημάτων συχνά περιβάλλονται τον τύπο ιδιογραφικών γενικεύσεων. Από την άλλη πλευρά μελέτες στη θεμελιωμένη θεωρία προσφέρονται περισσότερο για θεωρητικές μετα-αφηγήσεις.

25 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Ειδικότερα επιστημολογικά ζητήματα Πώς αντιμετωπίζεται η σύνθεση διαφορετικών μεθοδολογικά αρχικών ερευνών Τα κείμενα των αρχικών μελετών μπορούν να αντιμετωπιστούν με τον ίδιο τρόπο που αντιμετωπίζεται από την ποιοτική μεθοδολογία η πολυφωνική ερμηνεία ενός φαινομένου, ακριβώς όπως και οι διαφορετικές φωνές των συμμετεχόντων σε μια μεμονωμένη ποιοτική έρευνα. Ούτε όλοι οι συμμετέχοντες έχουν την ίδια ιστορία, τις ίδιες πορείες ζωής, σύστημα αξιών, πεποιθήσεων και κοσμοθεωριών, ούτε όλες οι μεθοδολογίες αλλά και οι ερευνητές μοιράζονται τις ίδιες φιλοσοφικές ανησυχίες και δεσμεύσεις και στόχους. Με την προϋπόθεση ότι δίδεται ιδιαίτερη προσοχή στην πολυπλοκότητα των ισχυρισμών των αρχικών μελετών και τις τοποθετήσεις ερευνητών και συμμετεχόντων. Ακόμη και στην περίπτωση αντιφατικών ερμηνειών ανάμεσα στις πρωτογενείς μελέτες αυτές μπορούν να ενσωματωθούν σε ένα συνθετικό μετα-θεωρητικό σχήμα που να περιγράφει και να ερμηνεύει και αντιφατικές / αντίθετες / αντιτιθέμενες εμπειρίες ζωής.

26 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Ειδικότερα επιστημολογικά ζητήματα Ως προς την ένσταση ότι οι επιστημολογικές δεσμεύσεις και ο στόχος των αρχικών μελετών μπορεί να εξαφανιστούν μέσα από μια διαδικασία μετα-σύνθεσης Αναμφίβολα κάποια ενσωματωμένα τμήματα της αρχικής μεθόδου μπορεί να ξεπεραστούν κατά τη μετα-σύνθεση η οποία είναι μια διακριτή μέθοδος ο στόχος της οποίας είναι διάφορος από τον στόχο των αρχικών μελετών. Η θεωρητικοποίηση κατά τη μετα-σύνθεση απομακρύνει τα ευρήματα από τον αρχικό τους ‘τόπο’ ‘πλούτο’ και ‘σκοπό’ παραγωγής τους και τα επανατοποθετεί σε νέους - διαφορετικούς θεωρητικούς ‘τόπους’, επίπεδο σκέψης και σκοπούς.

27 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Τα βήματα της μετα-ανάλυσης

28 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο του σχεδιασμού Η συγκρότηση του δείγματος Ζητήματα σχετικά με τη συλλογή δεδομένων Επάρκεια του αριθμού των ποιοτικών ερευνών και κριτήρια συγκρότησης του δείγματος (« adequacy of qualified studies and inclusion criteria”). Οι ερωτήσεις: Α) Ποια είναι η ποσότητα της υπάρχουσας βιβλιογραφίας ποιοτικών ερευνών για το υπό διερεύνηση θέμα ; Β) Είναι η διαθέσιμη αυτή ποσότητα επαρκής ;

29 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Βασική συνθήκη της μετα-ανάλυσης Να τεκμηριωθεί η επάρκεια του αριθμού των διαθέσιμων ερευνών μετά από ικανό αριθμό εξαντλητικών αναζητήσεων. Η συνθήκη αυτή είναι τόσο σημαντική όσο η τυπικότητα - αντιπροσωπευτικότητα του δείγματος στην ποσοτική μεθοδολογία. Η αποτυχία διενέργειας εξαντλητικής αναζήτησης είναι η πιο σημαντική απειλή της επιστημονικής αξιοπιστίας του όλου εγχειρήματος. Στην πραγματικότητα αυτή η αναζήτηση σχετίζεται ευθέως με τα κριτήρια επιλογής των προς μετα-ανάλυση ερευνών. Η σημασία του καθορισμού των κατάλληλων κριτηρίων επιλογής (“inclusion criteria”) δεν πρέπει να υποτιμάται καθώς αυτά είναι και τα κριτήρια που καθορίζουν και την επιλογή των παραμέτρων των αρχικών ερευνών που θα επιλεγούν για τη μετα-ανάλυση και άρα επιρρεάζουν άμεσα την ποιότητα και το σκοπό της μετα-ανάλυσης.

30 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Η διαμόρφωση κριτηρίων επιλογής Λειτουργικά, μοιάζει με την οριοθέτηση των κριτηρίων διαμόρφωσης του δειγματοληπτικού πλαισίου στην ποσοτική μεθοδολογία. Τα κριτήρια επιλογής μπορούν να αποκωδικοποιηθούν σε διάφορες κατηγορίες, ενδεικτικά, ως εξής: Το κριτήριο του χρόνου (προσδιορισμός χρονικού διαστήματος δημοσιοποίησης των προς επιλογή ερευνών). Το κριτήριο του χώρου (η ‘γεωγραφία’ διεξαγωγής των αρχικών ερευνών). Το κριτήριο των συμμετεχόντων κοινωνικών υποκειμένων (ενδεικτικά, νοσοκόμες, οικιακοί βοηθοί, μετανάστες κλπ.). Το κριτήριο της γλώσσας της έκδοσης. Η ποιότητα των αρχικών ερευνών.

31 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της συλλογής Η συλλογή των δεδομένων - αρχικών ποιοτικών ερευνών Η συλλογή των δεδομένων στην μετα-ανάλυση είναι μια διαδικασία εν των γίγνεσθαι. Ανάλογα από τα αποτελέσματα που θα αποδώσει η αρχική αναζήτηση, ο μετα-αναλυτής μπορεί να αναπροσαρμόσει την ερευνητική στρατηγική του σύμφωνα με το αντικείμενο και τους στόχους της μετα-ανάλυσης. Αν για παράδειγμα εντοπιστεί πολύ μεγάλος αριθμός ερευνών στο θέμα ενδιαφέροντος της μετα-ανάλυσης μπορεί να αποφασιστεί η σμίκρυνση του χρόνου έκδοσης των ερευνών (συνυπολογιζομένης της σχέσης κόστους-ωφέλειας αυτής της επιλογής διότι για παράδειγμα μερικές πολύ σημαντικές έρευνες μπορεί να εμπίπτουν εκτός του ανα-διαμορφωμένου χρονικού πλαισίου).

32 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της συλλογής Η συλλογή των δεδομένων - αρχικών ποιοτικών ερευνών Αναφορικά με το κριτήριο της ποιότητας των αρχικών ερευνών, αυτό μπορεί να αποδειχθεί ένα παραπλανητικό / παρελκυστικό κριτήριο. Η επιστημονική συζήτηση γύρω από αυτό το θέμα συνεχίζεται, ενώ αρκετοί διατείνονται ότι δεν πρέπει να εφαρμόζεται το κριτήριο αυτό για την επιλογή ή τον αποκλεισμό των αρχικών ερευνών. Στη συνέχεια και αναφορικά με τον ικανό αριθμό των προς μετα-ανάλυση ερευνών, έχει διατυπωθεί η άποψη ότι μια μετα-ανάλυση μπορεί να διενεργηθεί σε δείγμα τουλάχιστον 10-12 αρχικών ποιοτικών ερευνών.

33 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της συλλογής Η συλλογή των δεδομένων - αρχικών ποιοτικών ερευνών Μια λίγο ως πολύ εξαντλητική βιβλιογραφική επισκόπηση για την επιλογή των αρχικών ερευνών μπορεί να συμπεριλαμβάνει αναζητήσεις του τύπου: Αναζήτηση σε βιβλιοθήκες Αναζήτηση σε ηλεκτρονικές Βιβλιογραφικές Βάσεις Αναζητήσεις σε επιστημονικά περιοδικά Αναζητήσεις με προσωπικές επαφές ειδικών στο θέμα Αναζητήσεις σε Βάσεις Διδακτορικών και Διπλωματικών Μεταπτυχιακού Επιπέδου. Αναζητήσεις μέσω περιεχομένων και βιβλιογραφιών άρθρων σε επιστημονικά περιοδικά

34 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της συλλογής Η συλλογή των δεδομένων - αρχικών ποιοτικών ερευνών Το ζήτημα της πρόσβασης στις αρχικές έρευνες. Ερώτημα: Είναι δυνατή η πρόσβαση του μετα-αναλυτή στις αρχικές ποιοτικές έρευνες; Ο προκαθορισμός ενός υπάρχοντος και διαθέσιμου στον μετα-αναλυτή στην πραγματικότητα ‘σώματος’ αρχικών ερευνών είναι κρίσιμη προϋπόθεση στη μετα-ανάλυση. Αν δεν υπάρχει βιβλιογραφία στο υπό διερεύνηση ζήτημα δεν μπορεί να διεξαχθεί μετα-ανάλυση. Εάν υπάρχει περιορισμένος αριθμός αρχικών ερευνών η μετα-ανάλυση καθίσταται προβληματική.

35 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της συλλογής Η συλλογή των δεδομένων - αρχικών ποιοτικών ερευνών Η προκατάληψη της δημοσιοποίησης - publication bias Το ζήτημα αυτό συνδέεται με το στάδιο έκδοσης – δημοσιοποίησης και το είδος δημοσίευσης των αρχικών ερευνών και το κριτήριο επιλεξιμότητας των δημοσιευμένων αρχικών ερευνών. Ερωτήματα: Συμπεριλαμβάνονται διδακτορικές εργασίες; Συμπεριλαμβάνονται διπλωματικές εργασίες μετ/κού επιπέδου; Συμπεριλαμβάνονται αδημοσίευτες έρευνες; Συμπεριλαμβάνονται ερευνητικές εκθέσεις; Συμπεριλαμβάνονται εθνικές εκθέσεις – κυβερνητικά κείμενα κλπ. ;

36 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της συλλογής Η συλλογή των δεδομένων - αρχικών ποιοτικών ερευνών Απάντηση: Συμπεριλαμβάνονται κείμενα που έχουν υποστεί κάποιου είδους κρίση α) οι δημοσιευμένες έρευνες θεωρείται πως πληρούν κατά κανόνα το κριτήριο της αξιοπιστίας - καθώς εκτίθενται σε κριτική, ιδιαίτερα όταν δημοσιεύονται μετά από κάποιου είδους κρίση, β) οι δημοσιευμένες έρευνες ανακτώνται ευκολότερα γ) διδακτορικά και διπλωματικές εντάσσονται στις προς επιλογή έρευνες καθώς τεκμαίρεται πως πληρούν τα ακαδημαϊκά κριτήρια ποιότητας. Βέβαια, μετα-αναλυτές έχουν υποκύψει στον πειρασμό να συμπεριλάβουν και αδημοσίευτες έρευνες για να περιορίσουν την προκατάληψη της δημοσιοποίησης ιδιαίτερα στην περίπτωση που δεν διαπιστώνεται κάποια παρέμβαση κρίσης ειδικών.

37 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της ανάλυσης Η ανάλυση των δεδομένων - ζητήματα και προκλήσεις Ζήτημα 1ο: Αρχικές έρευνες που εμπεριέχουν ποσοτικά και ποιοτικά δεδομένα Τι συμβαίνει στην περίπτωση που μια μελέτη έχει πρωταρχικά ποσοτικό σχεδιασμό και χαρακτήρα αλλά συμπεριλαμβάνει κάποια ποιοτικά τμήματα, όπως απαντήσεις σε «ανοικτές» ερωτήσεις ερωτηματολογίων ; Μπορεί αυτή η μελέτη να συμπεριληφθεί στη μετα-ανάλυσή μας ; Κάποιοι μετα-αναλυτές απαντούν θετικά με το επιχείρημα ότι ο ακριβής ορισμός της μετα-σύνθεσης είναι η σύνθεση ποιοτικών ευρημάτων. Άλλοι απαντούν θετικά, ιδιαίτερα για περιπτώσεις περιορισμένου αριθμού αρχικών ποιοτικών ερευνών Άλλοι απαντούν θετικά, ιδιαίτερα για περιπτώσεις περιορισμένου αριθμού αρχικών ποιοτικών ερευνών Το θέμα παραμένει ανοικτό σε συζήτηση και στην κρίση του εκάστοτε μετα-αναλυτή. Το θέμα παραμένει ανοικτό σε συζήτηση και στην κρίση του εκάστοτε μετα-αναλυτή.

38 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της ανάλυσης Η ανάλυση των δεδομένων - ζητήματα και προκλήσεις Ζήτημα 2ο: Έρευνες που βασίζονται σε ταυτόσημα δείγματα Τι συμβαίνει στην περίπτωση που δύο αρχικές έρευνες βασίζονται στο ίδιο δείγμα ; Μπορούν να επιλεγούν ως μία ή δύο διαφορετικές έρευνες ; Η απάντηση είναι θετική μόνο στην περίπτωση που οι δύο έρευνες αναφέρονται σε διαφορετικές ενότητες ή διαφορετικές όψεις των ευρημάτων. Ο λόγος είναι ότι τα ποιοτικά ευρήματα των δύο ερευνών δεν επικαλύπτονται παρά το γεγονός ότι βασίζονται στο ίδιο δείγμα.

39 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της ανάλυσης Η ανάλυση των δεδομένων - ζητήματα και προκλήσεις Ζήτημα 3ο: Προσδιορισμός των προς ανάλυση ευρημάτων Δεν προσφέρονται όλα τα ευρήματα των ποιοτικών ερευνών για μετα- ανάλυση. Ποια είναι λοιπόν τα κατάλληλα ευρήματα; Πώς προσδιορίζονται και απομονώνονται ; Ένα κριτήριο επιλογής είναι η συνάφεια των ευρημάτων με το αντικείμενο και τους στόχους της μετα-ανάλυσης. Εμπόδια: α) Σε κάποιες περιπτώσεις συναφή ευρήματα δεν μπορούν να απομονωθούν παρά το γεγονός ότι η αρχική έρευνα συνολικά εμφανίζει συνάφεια με το αντικείμενο της μετα-ανάλυσης και β) δεν είναι πάντοτε εύκολος ο προσδιορισμός των συμμετεχόντων (ως προς τα κοινωνικο-δημογραφικά χαρακτηριστικά τους για παράδειγμα.

40 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της μετα-ανάλυσης Η αξιοπιστία των ευρημάτων της μετα-ανάλυσης Στις ποιοτικές έρευνες ο συνήθης τρόπος – εργαλείο εξέτασης της αξιοπιστίας των ευρημάτων είναι ο τριγωνισμός (ως προς τα δεδομένα, ως προς τον ερευνητή, ως προς τα ευρήματα). Αυτή η στρατηγική τυγχάνει εφαρμογής ομοίως στις μετα-αναλύσεις των ποιοτικών ερευνών. Είναι σημαντική η εξέταση των κωδικών, των κατηγοριών και των ευρημάτων από περισσότερους από έναν ερευνητή. Βασικά ο μετα-αναλυτής αγωνίζεται για την αναπαραγωγικότητα των ευρημάτων η οποία μπορεί να πιστοποιηθεί ανεξάρτητα και από οποιονδήποτε άλλον ειδικό ερευνητή.

41 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της μετα-ανάλυσης Γενικές Αρχές Η ποιότητα των διαθέσιμων αρχικών ερευνών είναι περισσότερο σημαντική για τη μετα-ανάλυση από την ποσότητα, αν και η τελευταία δεν μπορεί να αγνοηθεί τελείως. Οι προκλήσεις της ποιοτικής μετα-ανάλυσης που αφορούν τόσο τη συλλογή όσο και την ανάλυση των αρχικών ερευνών απαιτούν και προϋποθέτουν δημιουργικότητα και ευελιξία που συνάδουν με τις αρχές και το πνεύμα (το γράμμα και το πνεύμα) της ποιοτικής μεθοδολογίας. Η μετα-ανάλυση υπόκειται και αυτή στη συνθήκη της ανάδυσης του απρόβλεπτου όπως ολόκληρη η ποιοτική μεθοδολογία.

42 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ Το στάδιο της μετα-ανάλυσης Γενικές Αρχές Ο βασικός κανόνας για μια μετα-ανάλυση / μετα-σύνθεση ποιοτικών ερευνών με ρεαλιστικούς όρους είναι η επάρκεια παρά η τελειότητα («adequacy versus perfection»). Καθώς η ίδια η φύση της ποιοτικής έρευνας ανθίσταται στη μετα-σύνθεση λόγω της ποικιλίας, των ιδιοσυστασιών και ιδιοσυγκρασιών που εμπεριέχει, η μετα-σύνθεση ποιοτικών ερευνών βρίσκεται ακόμη σε σπαργανώδες πειραματικό στάδιο. Κανένα πρότυπο μετα-σύνθεσης δεν είναι δεδομένο. Όλα υπόκεινται σε επεμβάσεις, τροποποιήσεις, αλλαγές και νέες προτάσεις.

43 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΚΛΗΣΕΙΣ ΚΑΙ ΑΠΑΝΤΗΣΕΙΣ Περιορισμένος αριθμός αρχικών ποιοτικών ερευνών Αξιολόγηση της ποιότητας των διαθέσιμων ερευνών. Αποτίμηση της ποιότητας απέναντι στην ποιότητα: Είναι το υπό διερεύνηση θέμα μια νέα περιοχή έρευνας ? Ποιος είναι ο εκτιμώμενος αριθμός αρχικών ερευνών επί του θέματος ? Εάν πρόκειται να καταλήξεις σε κάποια απόφαση χρησιμοποίησε το κριτήριο της ποιότητας παρά της ποσότητας προκειμένου να αποφασίσεις την επάρκεια των διαθέσιμων αρχικών ερευνών. Θεώρησε ανέφικτη επί του παρόντος τη μετα-ανάλυση αν δεν συγκεντρώνεις περισσότερες από 10-12 αρχικές έρευνες.

44 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΚΛΗΣΕΙΣ ΚΑΙ ΑΠΑΝΤΗΣΕΙΣ Κριτήρια επιλογής Κατέβαλε προσοχή στον προσδιορισμό των κριτηρίων επιλογής. Να είσαι ακριβής: Θέσε παραμέτρους (χρόνου, τόπου, ημερομηνιών έκδοσης κλπ.) και προάρμοσε τις παραμέτρους κατά περίπτωση. Αποφάσισε την επιλογή ερευνών που βασίζονται σε διαφορετικά υποδείγματα και ερευνητικές παραδόσεις. Αν ο αριθμός των αρχικών ερευνών είναι περιορισμένος να επιλέξεις έρευνες με διαφορετικά υποδείγματα. Διαφορετικά περιόρισε την επιλογή στο ίδιο ή συναφή ερευνητικά υποδείγματα και σχέδια.

45 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΚΛΗΣΕΙΣ ΚΑΙ ΑΠΑΝΤΗΣΕΙΣ Επάρκεια και Προσβασιμότητα στις αρχικές ποιοτικές έρευνες Διενέργησε συστηματική και επαρκώς εξαντλητική αναζήτηση βιβλιογραφίας χρησιμοποιώντας πολλαπλές ΒΔ και συνδυασμούς ηλεκτρονικών και επιτόπιων επισκέψεων. Αξιοποίησε γνωριμίες με ειδικούς. Επικαιροποίησε την αναζήτηση πριν προχωρήσεις στην ανάλυση. Δημιούργησε αποθετήριο με τα κείμενα των αρχικών ερευνών.

46 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΚΛΗΣΕΙΣ ΚΑΙ ΑΠΑΝΤΗΣΕΙΣ Μελέτες που περιλαμβάνουν ποσοτικά και ποιοτικά δεδομένα και ευρήματα Εάν η αρχική έρευνα περιέχει μεικτή μεθοδολογία απομόνωσε το ποιοτικό τμήμα και συμπεριέλαβέ το στη μετα-σύνθεση / μετα-ανάλυση. Εάν η αρχική έρευνα είναι ποιοτική αλλά εμπεριέχει ποιοτικού τύπου απαντήσεις σε «ανοικτές» ερωτήσεις, χρειάζεται προσοχή. Μπορεί τα ποιοτικά δεδομένα να μην επιδέχονται μετα-σύνθεσης.

47 ΕΤΕ 2011, Δράση 2.1/11, Έργο 2.1.β/11 Τσίγκανου Ιωάννα Διευθύντρια Ερευνών ΕΚΚΕ ΠΡΟΚΛΗΣΕΙΣ ΚΑΙ ΑΠΑΝΤΗΣΕΙΣ Έρευνες που βασίζονται στο ίδιο ή ταυτόσημο δείγμα Συμπεριέλαβέ τες όλες εάν η κάθε μία αναφέρεται σε διαφορετικές όψεις ή τμήμα των ευρημάτων. Δηλαδή συμπεριέλαβε κάθε έρευνα εάν τα ευρήματά τους δεν είναι επαναλαμβανόμενα. Απομόνωση δεδομένων / ευρημάτων προς ανάλυση Εάν είναι δύσκολο ίσως συζητήσεις με τον αρχικό ερευνητή για να διαχωρίσεις τις μεταβλητές που σε ενδιαφέρουν. Αξιοπιστία ευρημάτων Αξιοποίησε πολλαπλές στρατηγικές όπως τον τριγωνισμό για να επαυξήσεις την αξιοπιστία των ευρημάτων.