ΣΕΜΙΝΑΡΙΟ ΑΞΙΟΛΟΓΗΣΗΣ – ΑΠΟΤΙΜΗΣΗΣ Βασικές έννοιες οργάνωσης και μεθοδολογίες αξιολόγησης – αποτίμησης δράσεων ΕΤΑΚ Τετάρτη 13 Μαΐου 2015 Αμφιθέατρο Ινστιτούτου.

ΣΕΜΙΝΑΡΙΟ ΑΞΙΟΛΟΓΗΣΗΣ – ΑΠΟΤΙΜΗΣΗΣ Βασικές έννοιες οργάνωσης και μεθοδολογίες αξιολόγησης – αποτίμησης δράσεων ΕΤΑΚ Τετάρτη 13 Μαΐου 2015 Αμφιθέατρο Ινστιτούτου ΠΑΣΤΕΡ Βασ. Σοφίας 127 Αθήνα Γενική Γραμματεία Έρευνας και Τεχνολογίας Λένα Τσιπούρη ΕΚΠΑ

Μερικές βασικές σκέψεις - διαπιστώσεις 1. Στην Ελλάδα δεν υπάρχει κουλτούρα αξιολόγησης και θα είναι πολύ χρήσιμο να δημιουργηθεί 2. Υπάρχουν παραδείγματα χωρών που η κουλτούρα άλλαξε γρήγορα με εξαιρετικά αποτελέσματα στις επιδόσεις της οικονομική πολιτικής της χώρας 3. Βασικό πρόβλημα είναι ο τρόπος αντιμετώπισης της διοίκησης και όχι τα χρήματα ή οι κοινοτικές δεσμεύσεις Στόχος: να χτιστεί μια «κοινωνία αξιολόγησης»

Βασική ορολογία: ποιους αφορά  Αρχές ανάθεσης αξιολογήσεων ΕΤΑΚ (συνήθως υπουργεία και οργανισμούς αρμόδια για την έρευνα, την τεχνολογική ανάπτυξη και την καινοτομία, τα οποία έχουν την ευθύνη για τη θέσπιση πολιτικής και τη λήψη αντίστοιχων μέτρων και προγραμμάτων)  Αξιολογητές που εκπονούν μελέτες αξιολόγησης ΕΤΑΚ  Οργανισμούς και φορείς, οι οποίοι υπόκεινται σε αξιολογήσεις, όπως είναι οι οργανισμοί χρηματοδότησης, οι οργανισμοί δημόσιας έρευνας, τα πανεπιστήμια και ενδιάμεσοι οργανισμοί (γραφεία μεταφοράς τεχνολογίας, τεχνολογικά και επιστημονικά πάρκα, κέντρα προώθησης και καινοτομίας κλπ) Αν δε συνεργαστούν όλοι σπάει η αλυσίδα

Γιατί να συζητάμε για ορισμούς και ταξινομήσεις; ……….. γιατί πριν προκηρυχτεί μια αξιολόγηση καλό είναι να ξέρουμε ακριβώς τι είναι, ποιους στόχους έχει, τι απαιτείται από κάθε ένα που συμμετέχει ………….γιατί δεν είναι όλες οι αξιολογήσεις ίδιες και αν δεν είμαστε σε θέση να προσδιορίσουμε τι και γιατί τότε …..κυνηγάμε πολλούς λαγούς

Ορισμοί «Η αξιολόγηση μπορεί να οριστεί ως μια συστηματική και αντικειμενική διαδικασία, η οποία αποτιμά τη συνάφεια (relevance), την αποδοτικότητα και την αποτελεσματικότητα της πολιτικής, των προγραμμάτων και των έργων ως προς την επίτευξη των στόχων που έχουν αρχικά προβλεφθεί. Αποτελεί μια θεωρητική όσο και πρακτική προσέγγιση. Τα αποτελέσματα της αξιολόγησης τροφοδοτούν τη διαδικασία χάραξης πολιτικής, έτσι ώστε να αποτελεί μέρος μιας συνεχούς διαδικασίας μάθησης. Αυτό δημιουργεί διαφάνεια και λογοδοσία στη διαδικασία χάραξης πολιτικής και βοηθά στη διαμόρφωση και την αξιολόγηση της ορθολογικής πολιτικής.»(RTD Evaluation Toolbox. 2002, σ. 15.)

Ορισμοί «[Η αξιολόγηση αποτελεί μία...] συστηματική και αντικειμενική αποτίμηση του εν εξελίξει ή ολοκληρωμένου έργου, προγράμματος ή πολιτικής, του σχεδιασμού, της εφαρμογής και των αποτελεσμάτων του. Σκοπός είναι να προσδιοριστεί η συνάφεια και η εκπλήρωση των στόχων, η αποτελεσματικότητα της ανάπτυξης, η αποδοτικότητα, οι επιπτώσεις και η βιωσιμότητα. Μία αξιολόγηση θα πρέπει να παρέχει πληροφορίες που είναι αξιόπιστες και χρήσιμες, επιτρέποντας την ενσωμάτωση των συμπερασμάτων στη διαδικασία λήψης αποφάσεων τόσο των αποδεκτών και των χρηματοδοτών. Η αξιολόγηση επίσης αναφέρεται στη διαδικασία προσδιορισμού της αξίας ή της σημασίας μιας δραστηριότητας, μιας πολιτικής ή ενός προγράμματος. [Η αξιολόγηση αποτελεί μία...] αποτίμηση αποτελεσμάτων, όσο το δυνατόν πιο συστηματική και αντικειμενική, μιας προγραμματισμένης, σε εξέλιξη ή ολοκληρωμένης παρέμβασης ανάπτυξης.» (DAC’s Glossary of Key Terms in Evaluation and Results Based Management. 2010, σ.21)

Ορισμοί Η αξιολόγηση αποτελεί μια διαδικασία που επιχειρεί να προσδιορίσει όσο το δυνατόν πιο συστηματικά και αντικειμενικά γίνεται τη συνάφεια, την αποτελεσματικότητα, την αποδοτικότητα και τον αντίκτυπο των δραστηριοτήτων υπό το πρίσμα προκαθορισμένων στόχων. Αποτελεί ένα εργαλείο μάθησης και μια προσανατολισμένη στη δράση διαχείριση, όπως επίσης και μια οργανωτική διαδικασία για τη βελτίωση τόσο των τρεχουσών δραστηριοτήτων όσο και του μελλοντικού σχεδιασμού, του προγραμματισμού και της λήψης αποφάσεων. "(Ένας οδηγός της UNICEF για την Παρακολούθηση και Αξιολόγηση. 1991, σ.. 2)

Βασικές λειτουργίες ΑξιολογήσειςΑπαιτούμενη πολυπλοκότητα ανάλυσηςΠεριθώριο Πειραματισμού Νομιμοποιητική λειτουργίαΔικαιολογεί τη χρήση των δημοσίων αγαθώνυψηλήυψηλό Λειτουργία παροχής πληροφοριών Ευαισθητοποιεί την κοινή γνώμη και ενημερώνει την πολιτική μπορεί να είναι χαμηλή ή υψηλήαρκετά υψηλό Λειτουργία Εκμάθησης Παρέχει ανατροφοδότηση στους ασκούντες πολιτική υψηλήυψηλό Λειτουργία συντονισμού Προετοιμάζει για τη λήψη αποφάσεων και καθορίζει μελλοντικές πολιτικές υψηλήχαμηλό Λειτουργία ελέγχουΕλέγχει αν τηρούνται οι κανόνεςεξαρτάται, αλλά συνήθως είναι χαμηλήχαμηλό Λειτουργία διαμεσολάβησηςΣυνδέει τα ενδιαφερόμενα μέρηουδέτερηουδέτερος

Στόχοι - προσδοκίες  Εκπαιδευτική (formative) αξιολόγηση: «αξιολόγηση, η οποία ασχολείται με την εξέταση τρόπων βελτίωσης και ενίσχυσης της εφαρμογής και της διαχείρισης των παρεμβάσεων. Οι εκπαιδευτικές αξιολογήσεις τείνουν να διεξάγονται προς όφελος εκείνων που διαχειρίζονται την παρέμβαση με σκοπό να βελτιώσουν την εργασία τους.» (RTD Toolbox: 2002, 259)  Αθροιστική (summative) αξιολόγηση: «αξιολόγηση, η οποία ασχολείται με τον προσδιορισμό της αποτελεσματικότητας των προγραμμάτων. Οι αθροιστικές αξιολογήσεις τείνουν να πραγματοποιούνται προς όφελος των εξωτερικών αποδεκτών (ομάδες που δεν εμπλέκονται άμεσα στη διαχείριση ενός προγράμματος), για λόγους λογοδοσίας ή για να συμβάλλουν στην κατανομή των πόρων του προϋπολογισμού.» (RTD Toolbox: 2002, 266)

Επίπεδα αξιολόγησης  Αξιολογήσεις πολιτικής (π.χ. έρευνα ή / και πολιτική καινοτομίας σε διαφορετικά επίπεδα όπως εθνικό, περιφερειακό ή τοπικό): Η πολιτική συνήθως περιγράφεται ως ένα προμελετημένο σχέδιο δράσης και περιλαμβάνει: την αξιολόγηση των αναγκών, την ατζέντα, το σχεδιασμό / χάραξη πολιτικής, την εφαρμογή της, τη συστηματική παρακολούθηση, την αξιολόγηση και την αναθεώρηση. Ενώ ο νόμος μπορεί να υποχρεώνει ή να απαγορεύει, η πολιτική απλώς καθοδηγεί τις δράσεις ώστε να επιτευχθεί το επιθυμητό αποτέλεσμα.  Αξιολογήσεις συστημάτων: π.χ. το συνολικό σύστημα χρηματοδότησης ΕΤΑΚ που συμπεριλαμβάνει άμεσες ή έμμεσες χρηματοδοτικές συνιστώσες και όχι τα επί μέρους προγράμματα.  Αξιολογήσεις τομέα: π.χ. τους βασικούς βιομηχανικούς κλάδους ή έναν τομέα υπηρεσιών στο σύνολό του.  Αξιολογήσεις οργανισμών: κάθε οργανισμός μπορεί να αξιολογηθεί πανεπιστήμια (που συνδυάζουν έρευνα και διδασκαλία), τα ερευνητικά ιδρύματα και οι οργανισμοί χρηματοδότησης ή οι υπηρεσίες, όπως και οι ενδιάμεσοι φορείς.  Αξιολογήσεις χαρτοφυλακίου: π.χ. κατανοώντας μία σειρά προγραμμάτων, μέτρων, οργανισμών κλπ, που στοχεύουν σε παρόμοιους σκοπούς  Αξιολογήσεις προγράμματος: Ένα πρόγραμμα είναι ένα σύνολο οικονομικών, οργανωτικών και ανθρώπινων παρεμβάσεων (χρονοδιάγραμμα, προϋπολογισμός, στόχοι)  Αξιολογήσεις έργου: Ένα έργο είναι μία ενιαία παρέμβαση

Χρονική στιγμή αξιολόγησης  Εκ των προτέρων αξιολόγηση- η αξιολόγηση διενεργείται πριν από την εφαρμογή της στρατηγικής, του νομοθετήματος, του προγράμματος ή του έργου  Ενδιάμεση αξιολόγηση- η αξιολόγηση διενεργείται κατά τη διάρκεια της εφαρμογής μιας στρατηγικής, ενός προγράμματος, ενός έργου ή κατά τη διάρκεια των εργασιών ενός οργανισμού  Τελική αξιολόγηση- η αξιολόγηση διενεργείται αμέσως μετά το τέλος της εφαρμογής της στρατηγικής, του προγράμματος, του έργου ή του νομοθετήματος  Εκ των υστέρων αξιολόγηση- η αξιολόγηση διενεργείται σε σύντομο χρονικό διάστημα από το τέλος της εφαρμογής μιας στρατηγικής, ενός προγράμματος, ενός έργου ή του νομοθετήματος  Περιοδική αξιολόγηση- η αξιολόγηση διενεργείται τακτικά σε όλη τη διάρκεια υλοποίησης μιας στρατηγικής, ενός προγράμματος ή ενός οργανισμού, π.χ. δύο φορές το χρόνο  Αξιολόγηση «επί τούτω» (ad hoc) - η αξιολόγηση δεν είχε προβλεφθεί κατά την εξέλιξη της εφαρμογής μιας στρατηγικής, ενός οργανισμού, ενός προγράμματος ή ενός έργου, αλλά γίνεται για να καλύψει μια ειδική ανάγκη που προέκυψε αργότερα.

Περιεχόμενο αξιολογήσεων  Οι εννοιολογικές αξιολογήσεις (concept evaluation) εξετάζουν την αποστολή, τις παραδοχές, τις θεμελιώδεις υποθέσεις και τις βασικές συνθήκες των προγραμμάτων (θεσμών ή έργων). Αξιολογούν το βαθμό μέχρι τον οποίο δικαιολογείται η χρήση μιας συγκεκριμένης πολιτικής, προγράμματος ή έργου (συμπεριλαμβανομένων των οποιωνδήποτε μεθόδων ανάλυσης χρησιμοποιηθούν) με σκοπό την έγκαιρη αντιμετώπιση των προβλημάτων που εντοπίζονται. Οι αξιολογήσεις της γενικής ιδέας αποτελούν τυπικό συστατικό μέρος των εκ των προτέρων αξιολογήσεων.  Οι αξιολογήσεις σχεδιασμού αφορούν την αποτελεσματικότητα του σχεδιασμού μιας παρέμβασης και της οργανωτικής δομής της. Αξιολογούν το βαθμό στον οποίο οι λειτουργικοί στόχοι που έχουν οριστεί είναι κατάλληλοι για τα προβλήματα που θέλουν να αντιμετωπίσουν, καθώς επίσης και αν τα μέσα που χρησιμοποιούνται είναι κατάλληλα για την επίτευξη των καθορισμένων στόχων και αν είναι ή ήταν δυνατόν να τους εκπληρώσουν. Οι αξιολογήσεις του σχεδιασμού αποτελούν τυπικά συστατικό μέρος όλων των σταδίων της αξιολόγησης προγραμμάτων (εκ των προτέρων, ενδιάμεση και εκ των υστέρων).

Περιεχόμενο αξιολογήσεων  Οι αξιολογήσεις διαδικασίας: Στα αρχικά στάδια ενός νέου προγράμματος ή νέων πρωτοβουλιών ενός προϋπάρχοντος προγράμματος, οι ερωτήσεις αξιολόγησης συχνά επικεντρώνονται στις διαδικασίες του προγράμματος, π.χ. πόσο ικανοποιητικά εκτελούνται οι εγκεκριμένες δραστηριότητες και κατά πόσο επηρεάζουν τους φορείς για τους οποίους προορίζονται. Οι μελέτες αξιολόγησης, που σχεδιάζονται για να παρέχουν ποιότητα, αποτελεσματικότητα και απόδοση στις λειτουργίες ενός προγράμματος, συχνά αναφέρονται ως αξιολόγηση της διαδικασίας ή της εφαρμογής. Οι αξιολογήσεις της διαδικασίας αποτελούν τυπικά συστατικά μέρη μιας ενδιάμεσης αξιολόγησης και συχνά λαμβάνουν χώρα σε προγράμματα τα οποία απαιτούν προσεκτική διαχείριση όσον αφορά στην προώθηση, στην επικοινωνία, στην προθεσμία, στην παροχή επιχειρηματικών συμβουλών και στον έλεγχο.  Η αξιολόγηση επιπτώσεων επιδιώκει να απαντήσει στις ερωτήσεις αιτίου-αποτελέσματος και στις αλλαγές που οφείλονται άμεσα σε μία πολιτική, ένα πρόγραμμα ή ένα έργο. Οι αναλύσεις αντίκτυπου αξιολογούν το βαθμό στον οποίο οι στόχοι του προγράμματος έχουν επιτευχθεί και προσπαθούν να προσδιορίσουν και να ποσοτικοποιήσουν, στο μέτρο του δυνατού, όλα τα αποτελέσματα που προέκυψαν από το πρόγραμμα, άμεσα ή έμμεσα, εκ προθέσεως ή όχι. Κατ’ αυτό τον τρόπο, πραγματοποιείται ένας διαχωρισμός μεταξύ της άμεσης «απόδοσης» ενός προγράμματος, (π.χ. τον αριθμό των έργων που χρηματοδοτούνται), του αποτελέσματος ή της «έκβασης», (π.χ. τον αριθμό των χρησιμοποιημένων εφαρμογών-ευρεσιτεχνιών) και των επιπτώσεων ή του «αντίκτυπου» (π.χ. τα κέρδη στην αγορά ή την αύξηση του κύκλου εργασιών). Για τον ιδιωτικό τομέα τα αποτελέσματα των προγραμμάτων ΕΤΑΚ πρέπει να εντοπιστούν εκεί όπου οι εφευρέσεις και η ανάπτυξη αλληλεπιδρούν με την αγορά. Συνήθως εκφράζονται σε οικονομικούς όρους. Αντίθετα η δημόσια ΕΤΑΚ μπορεί να μετρηθεί και σε μη οικονομικούς όρους (π.χ. ρυθμός δημοσιεύσεων, ετεροαναφορών, κοινωνικοί και περιβαλλοντικοί δείκτες). Πέρα από το ιδιωτικό όφελος, σκοπός είναι πάντα η εντόπιση της απόδοσης ενός προγράμματος/έργου σε κοινωνικούς όρους. Οι αξιολογήσεις επιπτώσεων αποτελούν σημαντικά συστατικά στοιχεία των εκ των υστέρων αξιολογήσεων.

Κριτήρια αξιολόγησης  Συνάφεια: μετρά κατά πόσο η δραστηριότητα είναι κατάλληλη για τις προτεραιότητες και την πολιτική της ομάδας στόχου, του παραλήπτη και του χορηγού.  Αποδοτικότητα: μετρά την απόδοση - ποιοτικά και ποσοτικά - σε σχέση με τις εισροές.  Αποτελεσματικότητα: είναι ο βαθμός στον οποίο επιτεύχθηκαν ή αναμένεται να επιτευχθούν οι στόχοι της παρέμβασης, λαμβάνοντας υπόψη τη σχετική σημασία τους.  Επιπτώσεις: μπορούν να είναι θετικές ή αρνητικές, και προέρχονται από πρωτογενή και δευτερογενή μακροπρόθεσμα αποτελέσματα που παράγονται από μια παρέμβαση, άμεσα ή έμμεσα, εκούσια ή ακούσια.  Βιωσιμότητα: είναι η διαχρονικότητα του οφέλους από μία παρέμβαση αφού έχει ολοκληρωθεί ένα πρόγραμμα υποστήριξης με μεγάλο προϋπολογισμό. Αυτό περιλαμβάνει την εκτίμηση της πιθανότητας μακροπρόθεσμων οφελών. Tα έργα πρέπει να είναι περιβαλλοντικά και οικονομικά βιώσιμα.

Προγραμματισμός: κύκλος προγράμματος Αξιολόγηση Σχεδιασμός Παρακολούθηση Εφαρμογή Implementation Προγραμματισμός

Προγραμματισμός: κύκλος πολιτικής Εφαρμογή των αποτελεσμάτων της αξιολόγησης Evaluation Results Εφαρμογή Αξιολόγηση(ενδιάμεση, συνοδευτική, εκ των υστέρων) Ex post) Ανάπτυξη, Σχεδιασμός, Ανασχεδιασμός Redesign Εκ των προτέρων αξιολόγηση

Πίνακας σχεδιασμού αξιολόγησης Ερευνητικές ερωτήσειςΑπαραίτητες πληροφορίες και πηγέςΠεδίο Εφαρμογής και ΜεθοδολογίαΠεριορισμοί Τι θα μας επιτρέψει η αξιολόγηση να συμπεράνουμε? Τι είδους ερωτήσεις θα προσπαθήσει να απαντήσει η ομάδα αξιολόγησης? Ποιες πληροφορίες πρέπει να διαθέτει η ομάδα για κάθε ερώτημα αξιολόγησης και πώς θα πρέπει να ληφθούν; Πώς θα απαντήσει η ομάδα την κάθε ερώτηση αξιολόγησης? Ποια είναι τα όρια του σχεδιασμού και πώς θα επηρεάσουν το αποτέλεσμα; Ποια είναι τα αναμενόμενα αποτελέσματα? Αυτά τα ερωτήματα θα πρέπει να βασίζονται στην επίτευξη των στόχων της αξιολόγησης, όπως ορίζονται στο πρόγραμμα ή στα έγγραφα πολιτικής. Οι ερωτήσεις θα πρέπει να είναι συγκεκριμένες, αντικειμενικές, μετρήσιμες και κατανοητές. Τα είδη των εγγράφων και των πληροφοριών που απαιτούνται Προσδιορισμός των πηγών των απαιτούμενων πληροφοριών, όπως βάσεις δεδομένων, μελέτες, ειδικοί στο συγκεκριμένο πεδίο έρευνας, στελέχη του προγράμματος, μαθηματικά υποδείγματα και άλλοι Οι μέθοδοι που θα χρησιμοποιηθούν για τη συλλογή πληροφοριών / δεδομένων (π.χ. ερωτηματολόγια, μελέτες περίπτωσης, χρήση των υφιστάμενων βάσεων δεδομένων) Μια περιγραφή του τρόπου υλοποίησης κάθε στρατηγικής με την πάροδο του χρόνου Οι τεχνικές που θα χρησιμοποιηθούν για την ανάλυση των δεδομένων (παλινδρόμηση ανάλυση κόστους- οφέλους, περιλήψεις μελετών περίπτωσης κ.λπ.) Αμφιβόλου ποιότητας δεδομένα Αδυναμία πρόσβασης σε ορισμένους τύπους δεδομένων ή δεδομένων από ορισμένες χρονικές στιγμές Δεν είναι δυνατή η γενίκευση από τα δεδομένα με ακρίβεια Συζήτηση για το πώς θα επηρεάσουν οι περιορισμοί το τελικό προϊόν Λαμβάνοντας υπόψη τα διαθέσιμα δεδομένα, το χρόνο και τους οικονομικούς περιορισμούς, τις διαθέσιμες μεθόδους και τους δικούς τους περιορισμούς, μπορούν να απαντηθούν ερευνητικά ερωτήματα; Εάν όχι, η αξιολόγηση πρέπει να επανασχεδιαστεί.

Θεσμικά θέματα  Δεσμεύσεις για αξιολόγηση  Νομική βάση (υποχρεωτική αξιολόγηση?)  Ξεκάθαρες απαιτήσεις - στόχοι  Πόροι  Σχέση κόστους-οφέλους της ίδιας της αξιολόγησης

Κανόνες δεοντολογίας Πως εξασφαλίζεται ο σεβασμός τους

Κανόνες δεοντολογίας  Υπεύθυνη συμπεριφορά από όλα τα ενδιαφερόμενα μέρη, ιδίως αυτά που επηρεάζονται από τις παρεμβάσεις στο πλαίσιο της αξιολόγησης  Αξιοπιστία των αποτελεσμάτων της αξιολόγησης, μέσω της δημιουργίας αμεροληψίας, κάλυψης και πληρότητάς των εργασιών που πραγματοποιήθηκαν με την εφαρμογή κατάλληλων προσεγγίσεων και μεθόδων και  Υπεύθυνη χρήση των πόρων.

Ικανότητες των αξιολογητών  Δεξιότητες (σύνθεση ομάδας)  Στρατηγική για κάθε συγκεκριμένη αξιολόγηση  Αμεροληψία (σύγκρουση συμφερόντων) και ανεξαρτησία (από την αναθέτουσα αρχή)  Διαφάνεια και συενργασία!

Δυνητική σύγκρουση συμφερόντων «Χάσμα προσδοκίας»«Χάσμα πελάτη»«Χάσμα διαχείρισης» Τι θέλουν οι εισηγητές πολιτικής… Τι απαντούν οι αξιολογητές… Τι θέλουν οι αξιολογητές… Τι απαντούν οι εισηγητές πολιτικής… Τι λένε οι διαχειριστές των προγραμμάτων… Τι απαντούν οι αξιολογητές… Έγκαιρες πληροφορίες για τη λήψη αποφάσεων Η έρευνα μπορεί να χρειαστεί χρόνια να αποδώσει αποτελέσματα Σαφώς καθορισμένους ιεραρχικά στόχους για κάθε παρέμβαση Τα προγράμματα είναι ένας συμβιβασμός που συνεπάγεται πολλά και αντικρουόμενα συμφέροντα Έχω τόνους δουλειάς και πολλές πελατειακές σχέσεις Τέλεια! Που είναι η τεκμηρίωση? Καθαρή συνεισφορά των αποτελεσμάτων στις επενδύσεις Τα γραμμικά μοντέλα είναι σπάνια και είναι περίπλοκο να αξιολογηθεί η προσθετικότητα Εξασφαλισμένη ανεξαρτησία Οι συστάσεις θα πρέπει να παραμένουν εντός των περιορισμών ρεαλιστικής πολιτικής Κοίτα τι σωστή ανάπτυξη! Πού είναι οι κοινωνικές αποδόσεις? Απόδειξη της αξίας της έρευνας από ανεξάρτητη αρχή Ισότιμοι αξιολογητές συνήθως υπερασπίζονται τον τομέα του αντικειμένου τους και τους συναδέλφους τους Χρόνο και πηγές για να κάνουν τη δουλειά Θέλουν αποτελέσματα σε 3 μήνες! Συλλέξαμε πολλά στοιχεία για το έργο μας! Ναι, αλλά ούτε ένας αριθμός δεν είναι χρήσιμος για τη μέτρηση της προσθετικότητας. Βασικούς δείκτες για την παρακολούθηση και τη συγκριτική αξιολόγηση Πολύ άκαμπτα συστήματα παραμορφώνουν τη μέτρηση της απόδοσης και μπορούν να χειραγωγούνται Πλήρη πρόσβαση σε πληροφορίες και σε ενδιαφερόμενα μέρη όλοι μας έχουμε υπερβολικό φόρτο εργασίας και είμαστε απασχολημένοι

Πιθανές περιοχές συγκρούσεων  Σε μια κατάσταση αξιολόγησης υπάρχει περίπτωση να αμφισβητηθεί η ικανότητα και η αξιοπιστία των αξιολογητών, ειδικά όταν υπάρχουν συγκρούσεις και προστριβές.  Τα τρίτα μέρη μπορεί να έχουν έννομο συμφέρον, το οποίο να έρχεται σε σύγκρουση με το συμφέρον του οργανισμού που αναθέτει την αξιολόγηση.  Τα αποτελέσματα που ανακύπτουν και οριστικοποιούνται καθώς εξελίσσεται η αξιολόγηση, ενδέχεται να έχουν αρνητικές συνέπειες για ορισμένα μέρη, οι οποίες γίνονται όλο και πιο εμφανείς. Το γεγονός αυτό μπορεί να αποτελέσει αιτία σύγκρουσης.  Η έλλειψη κατάλληλων δεδομένων είναι σύνηθες φαινόμενο, ιδιαίτερα σε χώρες με καθεστώτα αξιολόγησης λιγότερο ανεπτυγμένα, γεγονός το οποίο αυξάνει τη σημασία της εξάρτησης από ποιοτικές μεθόδους έρευνας των κοινωνικών επιστημών. Τα δεδομένα αυτά υπόκεινται συχνά σε λογοκρισία, διάλογο και κριτική.  Οι αξιολογητές μπορεί να έχουν κοινά συμφέροντα σε σχέση με το αντικείμενο της αξιολόγησης και, ως εκ τούτου, η ερμηνεία των αποτελεσμάτων της αξιολόγησης από τρίτους μπορεί να είναι διαφορετική από τη δική τους.

Χρήση αποτελεσμάτων αξιολόγησης Να μη μπαίνουν σε συρτάρια!  Νομικές δεσμεύσεις (απάντηση στις συστάσεις, γιατί οι συστάσεις δεν είναι δεσμευτικές)  Σωστή παρουσίαση συμπερασμάτων – συστάσεων Όσο πιο ώριμοι οι θεσμοί τόσο πιο πιθανή είναι η χρήση των αποτελεσμάτων

Απαιτούμενες δεξιότητες 1.Ιστορικό και λογική 2.Ειδικοί στόχοι της Αξιολόγησης και των Ερωτημάτων 3. Πεδίο εφαρμογής της αξιολόγησης: Η ενότητα αυτή παρουσιάζει το πεδίο εφαρμογής και τα όρια της αξιολόγησης. Το πεδίο εφαρμογής θα πρέπει να είναι ρεαλιστικό, δεδομένου του χρόνου και των πόρων που διατίθενται για την εφαρμογή της αξιολόγησης. 4. Προσέγγιση και μεθοδολογία 5. Διακυβέρνηση και Λογοδοσία 6. Κατευθυντήριες Αρχές και Αξίες: Οι Όροι Προκήρυξης καθορίζουν τη δεοντολογία της έρευνας 7. Επαγγελματικά προσόντα: 8. Παράδοση και χρονοδιάγραμμα: 9. Προϋπολογισμός και πληρωμή: Δομή της πρότασης και κατευθυντήριες γραμμές για την υποβολή: Στο πλαίσιο μιας ανταγωνιστικής διαδικασίας υποβολής προσφορών, οι Όροι Προκήρυξης μπορούν να χρησιμοποιηθούν για να ζητηθούν προτάσεις από τους πιθανούς αξιολογητές ως 10. Πρόσθετες αναφορές ή πηγές

Κύκλος αξιολόγησης: μέτρηση πολιτικής

Μέτρηση Στόχων ΣτόχοιΠαρέμβασηΕισροές Εκροές Αποτελέσματα Επιπτώσεις Οικονομία-Κοινωνία Αποτελεσματικότητα Αποδοτικότητα

Εισροές – Εκροές στα Προγράμματα ΕΤΑΚ  Εισροές  Πόροι που χρησιμοποιούνται για την εφαρμογή (χρηματοδό- τηση, χρόνος, προσωπικό, υπηρεσίες)  Δαπάνες Ε&Α  Απασχόληση Ε&Α  Κόστος εφαρμογής  Άμεσες και έμμεσες δαπάνες του κλάδου έρευνας Εκροές Συμμετοχή στην παραγωγή γνώσης Δημοσιεύσεις Βιβλιοαναφορές Γενικές ή ειδικές τεχνολογίες που αναπτύχθηκαν Αριθμός εταιρειών που χρησιμοποιούν την τεχνολογία Αριθμός νεοφυών επιχειρήσεων IP-διπλώματα ευρεσιτεχνίας και άδειες Βιομηχανικά πρότυπα

Αποτελέσματα των Προγραμμάτων ΕΤΑΚ  Επιχειρηματικά αποτελέσματα  Πωλήσεις από τα νέα προϊόντα  Βελτιωμένη παραγωγικότητα  Προστιθέμενη αξία / Εργασία  Έσοδα / επενδυμένο κεφάλαιο  Έσοδα / Εργασία  Βελτίωση της ποιότητας των προϊόντων, απόδοση, αξιοπιστία  Βελτιωμένα κέρδη  Κερδοφορία  Βελτιωμένη ανταγωνιστική θέση  Μερίδιο αγοράς  Εξαγωγές Οικονομικά αποτελέσματα Φορολογικά έσοδα που δημιουργούνται Συμβολή σε εθνικό ή περιφερειακό ΑΕΠ Βελτιωμένη ανταγωνιστικότητα Εμπορικό έλλειμμα Εξαγωγές / Εισαγωγές Εμπορικό ισοζύγιο της υψηλής τεχνολογίας Ένταση Ε & Α των εξαγωγών Τεχνολογικό ισοζύγιο πληρωμών Δημιουργία θέσεων εργασίας Επενδύσεις / Νέες (καθαρά ή μικτά) θέσεις εργασίας

Αποτελέσματα των Προγραμμάτων ΕΤΑΚ  Άλλα αποτελέσματα:  Ιδιωτικές-Δημόσιες συνεργασίες  Συνεργασία για διπλώματα ευρεσιτεχνίας  Συνέκδοση  Διεθνής συνεργασία  Συνεργασία για διπλώματα ευρεσιτεχνίας με την εμπλοκή διαφορετικών χωρών  Συνεργασία στη συγγραφή με την εμπλοκή διαφορετικών χωρών  Αριθμός ερευνητών σε βραχύχρονη κινητικότητα σε άλλες χώρες  ΑΞΕ με αντικείμενο Ε & Α  Διατομεακή κινητικότητα  Αριθμός ακαδημαϊκών ερευνητών με θέση στη βιομηχανία στο παρελθόν  Αριθμός προσωπικό Ε & Α στον τομέα της βιομηχανίας θέση στα πανεπιστήμια στο παρελθόν

Μεθοδολογίες: δείκτες και ερωτηματολόγια

Μέτρηση πολιτικής  Οι δείκτες χρησιμοποιούνται για τη μέτρηση:  Εισροών: πόροι που συμβάλλουν στην εφαρμογή της πολιτικής  Εκροών: τελικά προϊόντα της δραστηριότητας της πολιτικής, αγαθά ή υπηρεσίες που παράγονται  Αποτελέσματα: Οι βραχυπρόθεσμες ή μακροπρόθεσμες επιπτώσεις  Διεργασίες: διαδικασίες που χρησιμοποιούνται για την υλοποίηση της παρέμβασης  Η σύνδεση των διαφόρων συνιστωσών που οι πρόσθετες μετρήσεις μπορούν να παραχθούν: αποτελεσματικότητα, αποδοτικότητα  Ενώ η μέτρηση των εισροών και εκροών είναι μάλλον άμεση, η απόδοση των αποτελεσμάτων σε συγκεκριμένες εισόδους και εξόδους συχνά είναι πολύπλοκη

Χαρακτηριστικά των "καλών" δεικτών (I)  Σχετικοί: σαφής σύνδεση μεταξύ του δείκτη και του επιθυμητού στόχου  Οριοθετημένοι: Εστίασμένοι σε ένα περιορισμένο αριθμό από τους πιο σημαντικούς δείκτες  Κατανοητοί: Θα πρέπει να απευθύνονται σε όλες τις κύριες πτυχές των δραστηριοτήτων και των επιδόσεων των αξιολογούμενων προγραμμάτων  Αποδεκτοί: Συμφωνία με τους κύριους ενδιαφερόμενους φορείς και άλλα ενδιαφερόμενα μέρη σχετικά με τις μετρήσεις που χρησιμοποιούνται  Αξιόπιστοι: Εύκολο να ερμηνευτούν, σαφείς σε μια ποικιλία από ενδιαφερόμενα μέρη  Προσβάσιμοι: Εύκολη πρόσβαση στην πηγή, ευκολία στην καταγραφή και τη χρήση 

Χαρακτηριστικά των "καλών" δεικτών(II)  Αξιόπιστοι και ισχυροί: κατάλληλο επίπεδο ακρίβειας, απόδειξη μη χειραγώγησης και στρέβλωσης από τους χρήστες  Συνεπείς: Σταθερός ορισμός και μέθοδος μέτρησης  Συγκρίσιμοι: επιτρέπουν τη σύγκριση μεταξύ χωρών, προγραμμάτων, οργανώσεων  Ελέγξιμοι: Δυνατότητα ανεξάρτητου ελέγχου, δηλαδή διαθέσιμοι προς διαχείριση από τρίτα πρόσωπα

Πηγές των δεικτών  Eurostat: Προσφορές συγκρίσιμων δεικτών σε όλες τις 27 χώρες της ΕΕ καθώς και ορισμένες υπό ένταξη και τρίτων χωρών  ΟΟΣΑ: Κατάλληλο για μη ΕΕ27 χώρες  Εθνικές Στατιστικές Υπηρεσίες: Συχνά προσφέρουν ένα ευρύτερο χαρτοφυλάκιο των δεικτών, αν και δεν είναι όλοι τους συγκρίσιμοι με εκείνους από άλλες χώρες  Εξειδικευμένες πηγές:  ΕΡΟ και USPO για τα διπλώματα ευρεσιτεχνίας,  Web of Science, NSI και NCR της Thomson Reuters και το Scopus για βιβλιομετρία  «Επί τούτω» έρευνες:  Ποσοτικά στοιχεία (π.χ. αριθμός προσωπικού, δαπάνες, διπλώματα ευρεσιτεχνίας, δημοσιεύσεις)  Ποιοτικά στοιχεία (αντίληψη των δικαιούχων σχετικά με την έκβαση και τα οφέλη) που αποτυπώνονται σε ποσοτική μορφή, π.χ. κλίμακα Likert, βαθμολογίες

Ερωτηματολόγια  Περιεχόμενα:  QIFC - ορισμοί, λειτουργίες, σκοποί  Περιεχόμενο και σχεδιασμός της QIFC. Πλαίσιο για QIFC  Σχεδιασμός ερωτηματολογίου, πεδίο εφαρμογής και δειγματοληψίας, προ της δοκιμής ή της πιλοτικής έρευνας  Συλλογή και την επεξεργασία δεδομένων  Ανάλυση και παρουσίαση  Μελέτη περίπτωσης: Αξιολόγηση του προγράμματος ΕΤΑ  Διδάγματα - Διάλεξη ευρήματα και αξιολόγηση!

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου - Περιγραφή της μεθόδου :  Η κοινωνική έρευνα αποτελείται από την άσκηση μιας σειράς τυποποιημένων ερωτήσεων με δομημένη μορφή σε ένα δείγμα των ατόμων που συνήθως επιλέγονται ως αντιπροσωπευτικά του πληθυσμού υπό παρατήρηση. Η ανάπτυξη των ερωτηματολογίων και η δειγματοληψία βασίστηκε στις πρώτες ακριβείς προβλέψεις των εκλογικών αποτελεσμάτων που λαμβάνονταν κατά τη διάρκεια του μεσοπολέμου, από φορείς δημοσκοπήσεων. Θεωρούμενο ως ένα από τα βασικά εργαλεία των κοινωνικών επιστημών, οι έρευνες ερωτηματολογίου χρησιμοποιούνται σήμερα από τους περισσότερους δημόσιους και ιδιωτικούς φορείς έρευνας, μελέτης στατιστικής και αξιολόγησης.  Ορισμένες κοινωνικές έρευνες είναι εξαντλητικές, καλύπτουν το σύνολο του πληθυσμού, όπως στην περίπτωση της Απογραφής Πληθυσμού που διενεργήθηκε στις περισσότερες χώρες, ή το σύνολο του πληθυσμού-στόχου.  Μια ιδιαίτερη περίπτωση της χρήσης των ερευνών είναι να αποσπάσουν πληροφορίες από τους δικαιούχους των προγραμμάτων, και αυτό εξετάζεται ξεχωριστά στην ενότητα για τους δικαιούχους έρευνες.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου - Ο σκοπός της μεθόδου :  Οι έρευνες ερωτηματολογίου χρησιμοποιούνται για τη συλλογή πολλών ομοιογενών δεδομένων που μπορούν να χρησιμοποιηθούν για στατιστικούς σκοπούς.  Στο πλαίσιο της αξιολόγησης της κοινωνικοοικονομικής ανάπτυξης, οι κοινωνικές έρευνες που χρησιμοποιείται συνήθως σε συνδυασμό με άλλες τεχνικές, ως μέσο για την εκτίμηση των αποτελεσμάτων, των επιπτώσεων και της αποτελεσματικότητας των παρεμβάσεων.  Περιπτώσεις στις οποίες εφαρμόζεται :  ο πληθυσμός που παρατηρείται είναι μεγάλος και ομοιογενής (π.χ. εργοδότες σύμφωνα με το μέγεθος ή τον τομέα, κλπ)  ο ερευνητής έχει μια συγκεκριμένη και σαφή ιδέα για το τι θέλει να παρατηρήσει. (Στην περίπτωση αυτή, η απλούστερη έρευνα αποτελείται από ερωτήσεις κλειστού τύπου με την οποία μια σειρά από απαντήσεις δίδονται από έναν αριθμό προκαθορισμένων απαντήσεων)  οι αξιολογητές θέλουν να ελέγξουν μια υπόθεση ή να συλλέξουν αντικειμενικά γεγονότα (τα υποκειμενικά δεδομένα πρέπει να ερμηνεύονται με προσοχή, όταν η αξιολόγηση προσπαθεί να αποδείξει αιτιότητα ή να παρέχει κανονιστικές πληροφορίες).

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου – Τα κύρια βήματα:  Βήμα 1. Σχεδιασμός ερωτηματολογίου: Το πρώτο βήμα είναι να προσδιοριστούν με ακρίβεια οι στόχοι της έρευνας και να αναπτυχθούν κατάλληλες ερωτήσεις. Οι ερωτήσεις θα πρέπει να δηλώνονται σαφώς και να διατυπώνονται με έναν ενδιαφέροντα τρόπο. Είναι σημαντικό να μην πολλαπλασιάσουμε δευτερεύοντα ερωτήματα που θα μπορούσαν να μπερδέψουν τους ερωτηθέντες ή / και συνεντευξιαζόμενους υπονομεύοντας έτσι την ποιότητα της έρευνας. Σε περίπτωση που χρησιμοποιούνται συγκρίσεις με άλλα σύνολα δεδομένων, οι όροι που χρησιμοποιούνται στο ερωτηματολόγιο πρέπει να επιλέγονται προσεκτικά, έτσι ώστε να εξασφαλιστεί η συνοχή τους. Ο καλός σχεδιασμός των μέσων έρευνας είναι ζωτικής σημασίας για την επιτυχία του εγχειρήματος. Αυτό περιλαμβάνει την προσεκτική κατασκευή των ερωτήσεων και κατάλληλη εξέταση των κλιμάκων μέτρησης στάσεων. Υπάρχει ένα ευρύ πεδίο της βιβλιογραφίας σχετικά με το θέμα αυτό, απ’ όπου μπορούν να αντληθούν σημαντικές συμβουλές. Επιπλέον, το ερωτηματολόγιο δεν θα ολοκληρωθεί πλήρως, αλλά χρειάζονται δοκιμές (βλέπε παρακάτω). Μη διατάζετε να χρησιμοποιείτε το υπάρχοντα ερωτηματολόγια, επειδή θα έχουν δοκιμαστεί αυστηρά, ιδιαίτερα αυτά που χρησιμοποιούνται από την κυβέρνηση, π.χ. ερωτηματολόγια που χρησιμοποιούνται για τη συλλογή πληροφοριών για τις απογραφές πληθυσμού και της Έρευνας Εργατικού Δυναμικού. Τα περισσότερα ερωτηματολόγια σχεδιασμένα για να ρωτούν κυρίως ερωτήσεις κλειστού τύπου (επιλογή μεταξύ ενός περιορισμένου αριθμού των απαντήσεων), αν και πολλοί τα συνδυάζουν με ένα μικρό αριθμό ανοικτών (χώροι που πρέπει να συμπληρωθούν από τους ίδιους τους ερωτώμενος) ή ημι-ανοικτές ερωτήσεις (μια λίστα επιλογών με την απάντηση «άλλο» ώστε να μπορέσουν οι ερωτηθέντες για να δώσουν άλλες απόψεις / απαντήσεις σε εκείνους που προβλέπονται από τον ερευνητή). Στις δύο τελευταίες περιπτώσεις, ωστόσο, η ανάγκη να κωδικοποιηθούν απαντήσεις μετά τη συλλογή των δεδομένων, μπορεί να δημιουργήσει προβλήματα ερμηνείας και συγκρισιμότητας εάν οι ερωτηθέντες εγείρουν πολύ διαφορετικά θέματα μεταξύ τους. Ωστόσο, είναι επίσης συχνά ένας χρήσιμος τρόπος για να εξασφαλιστεί ότι τα θέματα που αγνοούνται από τον ερευνητή από την αρχή δεν εξαιρούνται από την τελική ανάλυση εάν προκύψουν ως σημαντικά για τους αποδέκτες του προγράμματος.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου – Τα κύρια βήματα:  Βήμα 1. Σχεδιασμός ερωτηματολογίου:… Είναι σημαντικό να εξασφαλιστεί ότι η διατύπωση των ερωτήσεων δεν επηρεάζει τις απαντήσεις. Θα πρέπει επίσης να σημειωθεί ότι οι ερωτήσεις που απαιτούν από τους ερωτηθέντες να θυμηθούν προηγούμενα γεγονότα, καταστάσεις και αποφάσεις συνήθως θεωρούνται προβληματικές. Το ίδιο ισχύει για τις ερωτήσεις «διπλής άρνησης». Η σημαντικότητα της διατύπωσης των ερωτήσεων εξαρτάται από τη μέθοδο της μεθόδου που θα χρησιμοποιηθεί. Έτσι, στην περίπτωση των ταχυδρομικών ερευνών των αυτοσυμπληρούμενων ερευνών από άλλους είναι απολύτως ζωτικής σημασίας να διασφαλιστεί ότι οι ερωτήσεις δεν μπορεί να παρερμηνευθούν από τους ερωτηθέντες. Αυτό μπορεί να είναι λιγότερο σημαντικό όταν οι έρευνες χορηγούνται πρόσωπο με πρόσωπο και ο ερευνητής έχει την ευκαιρία να διευκρινίσει ερωτήσεις ή να ενθαρρύνει τους ερωτηθέντες που αδυνατούν να καταλάβουν την ερώτηση. Η ικανότητα να το κάνουμε αυτό θα εξαρτηθεί από το επίπεδο της εμπειρίας και της κατανόησης των συνεντευξιαζομένων και, αν δεν είναι έμπειροι και ανώτεροι αξιολογητές, δεν είναι σοφό να στηριχθεί πάνω τους για να επιλύσει τις ασάφειες στο σχεδιασμό του ερωτηματολογίου. Οι ερωτήσεις μπορεί να είναι ονομαστικές (π.χ. Δραστηριότητα του οργανισμού σας: γεωργία, βιομηχανία, το εμπόριο, και άλλα), τακτικές (π.χ. Τι σας άρεσε περισσότερο σε αυτή την εκπαίδευση: η ποιότητα, η τιμή, η σημασία της) ή το αριθμητικές (π.χ. Πόσες μέρες της κατάρτισης λάβατε;). Εάν οι ερωτήσεις είναι κανονιστικές ή συναφείς, θα χρειαστεί να χρησιμοποιήσετε τριγωνοποίηση. Ο τριγωνισμός συνίσταται στην άσκηση πολλών παρόμοιων ερωτήσεων που καθιστούν δυνατό να προσδιοριστούν τα όρια μιας απάντησης που παρουσιάζει κίνδυνο μεροληψίας. Για παράδειγμα, τα ακόλουθα τρία ερωτήματα επιτρέπουν να εκτιμηθεί το απόβαρο: «Χωρίς την υποστήριξη, θα είχατε κάνει μια επένδυση του ιδίου μεγέθους, λίγο μικρότερου, πολύ μικρότερου;... Κατά την ίδια ημερομηνία, λίγο αργότερα, πολύ αργότερα;... Με την ίδια τεχνολογία, με διαφορετική τεχνολογία; »

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου – Τα κύρια βήματα:  Βήμα 2. Δειγματοληψία Ο πληθυσμός προς έρευνα, πρέπει να προσδιορίζεται επακριβώς (π.χ. όλες οι επιχειρήσεις με 1 έως 50 υπαλλήλους, οι οποίες έλαβαν βοήθεια κατά τα τελευταία 5 χρόνια) και πρέπει να συλλέγονται όλες οι διαθέσιμες πληροφορίες σχετικά με τη δομή αυτού του πληθυσμού. Κάποιος πρέπει επίσης να ελέγξει αν ο πληθυσμός είναι γνωστός (ονόματα, διευθύνσεις και αριθμούς τηλεφώνου) ή άγνωστος. Όταν χρησιμοποιείται ένα δείγμα, αποτελεί ένα μοντέλο του συνόλου του πληθυσμού. Προκειμένου να είναι αντιπροσωπευτικό, πρέπει να είναι αρκετά μεγάλο και πρέπει να συμμορφώνεται με ακριβείς στατιστικούς κανόνες. Οι παρακάτω ενδείξεις είναι πολύ απλουστευμένοι κανόνες που πρέπει να επαληθευτούν για κάθε περίπτωση χωριστά από έναν επαγγελματία. Αρκετές τεχνικές μπορούν να χρησιμοποιηθούν για την κατασκευή ενός αντιπροσωπευτικού δείγματος. Μόνο οι δύο τελευταίες έχουν εφαρμογή αν ο πληθυσμός είναι άγνωστος ή ελάχιστα γνωστός. Το μέγεθος του δείγματος δεν εξαρτάται από εκείνο του πληθυσμού· ένα δείγμα 1.000 ατόμων μπορεί να αντιπροσωπεύει έναν πληθυσμό 2.000.000 ατόμων ή ένα από 6.000 άτομα. Το μέγεθος του δείγματος, ωστόσο, εξαρτάται σε μεγάλο βαθμό από την απαιτούμενη ακρίβεια. Πρέπει να πολλαπλασιάζεται ο αριθμός των ερωτηματολογίων από επί τέσσερα για να διπλασιάζεται η ακρίβεια. Τέλος, για το μέγεθος του δείγματος θα πρέπει επίσης να λάβει υπόψη την ετερογένεια των απαντήσεων. Για τα πιο σημαντικά ζητήματα, πρέπει να γίνει μια πρώιμη εκτίμηση του ποσοστού των ερωτηθέντων που αναμένεται να δώσει μια συγκεκριμένη απάντηση. Εάν 20-80% των ερωτηθέντων αναμένεται να επιλέξει μία από τις απαντήσεις, ένα δείγμα 1.000 ατόμων θα είναι αρκετό για να θεωρηθεί η απάντηση έγκυρη. Αν το 5% ή λιγότεροι ερωτηθέντες επιλέξουν μία από τις απαντήσεις, το δείγμα θα πρέπει να είναι μεγαλύτερο. Η έρευνα παρέχει μια έγκυρη εικόνα για μια απάντηση, εάν τουλάχιστον 100 ερωτηθέντες επέλεξαν αυτή την απάντηση. Ομοίως, στην ανάλυση των αποτελεσμάτων της έρευνας, είναι σημαντικό να εξεταστεί το προφίλ των ερωτηθέντων, προκειμένου να ελεγχθεί αν τα αποτελέσματα θα είναι στατιστικά σημαντικά.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου – Τα κύρια βήματα:  Βήμα 3. Προ – έλεγχος ή πιλοτική εξέταση Ένας προ – έλεγχος ή πιλοτική εξέταση του ερωτηματολογίου, σε έναν περιορισμένο αριθμό των ερωτηθέντων, είναι απαραίτητη. Παρέχει μια κριτική θεώρηση της μορφής και του περιεχομένου του ερωτηματολογίου, επιτρέποντας έτσι να εκτιμηθεί τη συνάφειά της. Στη συνέχεια θα καταρτισθεί η τελική έκδοση του ερωτηματολογίου. Αυτό είναι ιδιαίτερα σημαντικό στην περίπτωση των αυτοσυμπληρούμενων ερευνών και εκείνων που αφορούν πολύπλοκες απαντήσεις ή «φίλτρα» (τρόποι κατεύθυνσης των ερωτηθέντων μέσω έρευνας στις ερωτήσεις που είναι σχετικές με τις εμπειρίες τους - εξασφαλίζοντας έτσι, για παράδειγμα, ότι μόνο οι χρήστες της υπηρεσίας να δώσουν απόψεις γι 'αυτό και ότι όσοι δεν έχουν καμία βάση για την λήψη αποφάσεων που δε θα το κάνουν). Η πειραματική την έρευνα είναι χρήσιμη στην μετατροπή ανοικτών σε κλειστές ερωτήσεις. Για παράδειγμα, στην πιλοτική ρωτήσατε όπου οι άνθρωποι έμαθαν για το πρόγραμμα και έδωσαν πέντε οργανισμούς στις ανοιχτές απαντήσεις τους, αυτές θα μπορούσαν να αποτελέσουν τη βάση των επιλογών για μια κλειστή ερώτηση.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου – Τα κύρια βήματα:  Βήμα 4. Διαχείριση του ερωτηματολογίου Τα ερωτηματολόγια μπορεί να είναι αυτο-χορηγούμενα ή να χορηγηθούν από ένα μέλος της ομάδας αξιολόγησης: Είναι αυτοδιαχειριζόμενα ερωτηματολόγια που διανέμονται συνήθως μέσω ταχυδρομείου, ή πλέον με e-mail (ανάλογα με τον πληθυσμό και τη διαθεσιμότητα των διευθύνσεων ηλεκτρονικού ταχυδρομείου). Θα μπορούσαν επίσης να διανέμονται με το χέρι - για παράδειγμα, σε μια συγκεκριμένη περίπτωση που ο ερευνητής αναζητά ανατροφοδότηση. Έρευνες που χορηγούνται με τη βοήθεια ενός ερευνητή, τείνουν να πραγματοποιούνται μέσω τηλεφώνου ή πρόσωπο με πρόσωπο. Το κόστος είναι ένας σημαντικός παράγοντας στην απόφαση σχετικά με το ποια μέθοδο θα χρησιμοποιηθεί: Τα αυτο-χορηγούμενα ερωτηματολόγια είναι συνήθως σχετικά φθηνά για να τα διαχειριστεί σε ένα μεγάλο δείγμα, αλλά τείνουν να έχουν χαμηλό ποσοστό ανταπόκρισης (μερικές φορές αναμένεται το 20% για τις απαντήσεις σε πρώτη φάση). Οι έρευνες από το τηλέφωνο ή πρόσωπο με πρόσωπο τείνουν να είναι δαπανηρές, αλλά συχνά μπορεί να πετύχουν καλύτερο ποσοστό ανταπόκρισης και να επιτρέψουν την καλύτερη ποιότητα των δεδομένων με τη χρήση μεγαλύτερων ερωτηματολογίων με πιο ανοιχτές ερωτήσεις.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου – Τα κύρια βήματα:  Βήμα 5. Κωδικοποίηση δεδομένων Το επόμενο στάδιο είναι να κωδικοποιηθούν και να καταγράφουν οι απαντήσεις τους - σχεδόν πάντα σε ηλεκτρονική μορφή, για περαιτέρω ανάλυση. Σε αυτό το στάδιο γίνονται συνήθως προσαρμογές για να ληφθούν υπόψη οι ατέλειες στο δείγμα, και ιδιαίτερα για τη διόρθωση της μεροληψίας που εισήχθησε με μη-απαντήσεις. Αν πρόκειται για ποσόστωση ή στρωματοποιημένο δείγμα, και να είστε βέβαιοι ότι ορισμένες ομάδες δεν αντιπροσωπεύονται στο δείγμα σας σε σχέση με τον πληθυσμό στο σύνολό του, θα μπορείτε να ζυγίσετε τις απαντήσεις σας. Στάθμιση σημαίνει πολλαπλασιασμό των απαντήσεων μιας συγκεκριμένης ομάδας (π.χ. άνεργοι), έτσι ώστε ο συνολικός τους αριθμός να είναι παρόμοιος με το ποσοστό τους στον πληθυσμό ως σύνολο.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες Ερωτηματολογίου – Τα κύρια βήματα:  Βήμα 6. Ερμηνεία και διάδοση των αποτελεσμάτων Το τελικό στάδιο είναι να διεξάγει ανάλυση της σημασίας των αποτελεσμάτων της έρευνας. Αυτό προϋποθέτει την κατανόηση του σκοπού της έρευνας και των περιορισμών της - για παράδειγμα περιορισμοί που σχετίζονται με το μέγεθος του δείγματος, την αξιοπιστία των απαντήσεων και ούτω καθεξής. Η αξιοπιστία των συμπερασμάτων θα εξαρτηθεί από την στατιστική σημασία των ευρημάτων, η οποία εξαρτάται από το μέγεθος και το προφίλ των ερωτηθέντων σε σχέση με τον σχετικό πληθυσμό. Είναι σημαντικό το γεγονός η φάση της ανάλυσης να διεκπεραιώνεται από έναν έμπειρο ερευνητή ο οποίος αντιλαμβάνεται τα προβλήματα αυτά και συμμετείχε στο σχεδιασμό της έρευνας από την αρχή. Για να έχει η έρευνα οποιαδήποτε πρακτική χρήση, τα αποτελέσματά της θα πρέπει να παρουσιάζονται με τρόπο που να είναι προσιτή και στους φορείς χάραξης πολιτικής. Πολλά εξειδικευμένα προγράμματα ηλεκτρονικών υπολογιστών μπορούν να βοηθήσουν σε αυτό το βήμα. Είναι συνήθως σημαντικό επομένως να εξασφαλιστεί ότι η τελική έκθεση παρέχει επαρκείς λεπτομέρειες σχετικά με τον τρόπο με τον οποίο η έρευνα διεξήχθη (να παρέχεται σε τεχνικό παράρτημα για όσους επιθυμούν να ελέγξουν το κύρος της), αλλά να περιορίζει την αναφορά στο κύριο κείμενο σε μια απλή και σαφής εξήγηση των ευρημάτων.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες ερωτηματολογίου - Πλεονεκτήματα και περιορισμοί της προσέγγισης: Η έρευνα με ερωτηματολόγιο έχει το πλεονέκτημα της παραγωγής δομημένων, ποσοτικοποιημένων και γενικεύσιμων πληροφοριών, υπό την προϋπόθεση να έχει επιλεγεί σωστά το δείγμα. Επομένως, είναι ιδιαίτερα χρήσιμη για την ποσοτικοποίηση των δεικτών, συμπεριλαμβανομένων των δεικτών παρακολούθησης. Αυτή η τεχνική είναι δαπανηρή αφού ένα δείγμα πρέπει να περιέχει περισσότερο από 1.000 μονάδες για να εξασφαλιστεί ότι οι πληροφορίες που παρέχονται είναι στατιστικά σημαντικές. Από την άλλη πλευρά, επιτρέπει σε ένα ευρύ πληθυσμό να προσεγγιστεί με σχετικά χαμηλό κόστος. Μερικές φορές είναι δύσκολο να γνωρίζουμε τον πληθυσμό που θα ερωτηθεί, ειδικά εάν ο πληθυσμός είναι μεγάλος και δεν είναι αρκετά καλά προσδιορισμένος από το σύστημα παρακολούθησης. Σε αυτή την περίπτωση το εργαλείο χάνει ένα από τα κύρια πλεονεκτήματά του: η γενίκευση των παρατηρήσεων.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Έρευνες ερωτηματολογίου - Πλεονεκτήματα και περιορισμοί της προσέγγισης …: Η ανάγκη τυποποίησης των απαντήσεων μέσω κλειστών ερωτήσεων μπορεί να οδηγήσει σε απλούστευση. Για το λόγο αυτό το ερωτηματολόγιο είναι συνήθως επιφυλάσσεται για τις περιπτώσεις όπου οι επιπτώσεις της παρέμβασης έχουν προσδιοριστεί εκ των προτέρων και να είναι σαφώς κατανοητές. Αντιθέτως, οι επιπτώσεις μιας ιδιαίτερα καινοτόμου δράσης θα πρέπει να αξιολογούνται καλύτερα με ανοιχτές ερωτήσεις και μια ποικιλία άλλων τεχνικών χωρίς έρευνα. Η ποιότητα της έρευνας με ερωτηματολόγιο μπορεί να υπονομευθεί εάν κάποιες απαντήσεις μεροληπτούν συνειδητά από τους ερωτηθέντες οι οποίοι είναι συνήθως υπέρ της παρέμβασης από την οποία επωφελούνται. Η έρευνα έδειξε επίσης ότι πολλοί άνθρωποι απαντούν σε ερωτήσεις, σε μια προσπάθεια να είναι ευγενικοί ή να αποφύγουν να φανούν ανίδεοι όταν στην πραγματικότητα δεν γνωρίζουν την απάντηση ή δεν αισθάνονται σε θέση να πάρουν απόφαση. Για να είναι αξιόπιστο το ερωτηματολόγιο θα πρέπει, συνεπώς, να αποτελείται από ερωτήσεις που όλοι οι ερωτηθέντες ερμηνεύουν με τον ίδιο τρόπο και μπορούν να απαντήσουν με ακρίβεια.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης Ατομικές συνεντεύξεις με τους ενδιαφερόμενους - Περιγραφή του εργαλείου Συνήθως οι ατομικές συνεντεύξεις αποτελούνται από μια εις βάθος συζήτηση με ένα άτομο, πραγματοποιούνται από ειδικά εκπαιδευμένο προσωπικό. Ο σκοπός είναι να συλλέγει συνήθως συγκεκριμένες πληροφορίες που σχετίζονται με το άτομο. Η τεχνική της συνέντευξης χρησιμοποιείται για τη συλλογή ποιοτικών πληροφοριών και τις απόψεις των ατόμων που επηρεάζονται από ένα συγκεκριμένο πρόγραμμα ή έργο, το πλαίσιο, την υλοποίηση, τα αποτελέσματα και τις επιπτώσεις του. Πολλές μορφές της συνέντευξης μπορούν να διακριθούν, καθεμία από τις οποίες εξυπηρετεί διαφορετικό σκοπό: την άτυπη συνέντευξη συνομιλία· η ημι-δομημένη, καθοδηγούμενη συνέντευξη· και η δομημένη συνέντευξη (η πιο άκαμπτη προσέγγιση).

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Ατομικές συνεντεύξεις με τους ενδιαφερόμενους - Περιγραφή του εργαλείου Οι ατομικές συνεντεύξεις, όπως δηλώνεται από τον όρος, είναι το μέσο για την απόκτηση πληροφοριών μέσω της άμεσης ανάκρισης. Οι σε βάθος συνεντεύξεις μπορεί να βοηθήσουν στην:  Ανατροφοδότηση για όλες τις πτυχές των εισροών ενός Προγράμματος, τις δραστηριότητες, τις εκροές, τα αποτελέσματα και τις επιπτώσεις. Αυτό το είδος της έρευνας είναι ένας τρόπος να μάθουν και να εξετάσουν τις απόψεις των φορέων (δικαιούχων και άλλων ενδιαφερομένων μερών) για ένα έργο ή πρόγραμμα, π.χ. σε ποιο βαθμό το έργο ή το πρόγραμμα ανταποκρίνεται στις ανάγκες, ή τα αποτελέσματά του σε σχέση με τις προσδοκίες. Συνεντεύξεις χρησιμοποιούνται επίσης στις κοινωνικές επιστήμες ως εργαλείο για τη διερεύνηση της συλλογιστικής των χρηστών.  Παροχή ιστορικού συμπεριφοράς. Όταν διεξάγονται περισσότερες από μία φορά ή όταν διεξάγονται με κάποιον ο οποίος έχει εμπλακεί σε προγράμματα για μεγάλο χρονικό διάστημα, οι συνεντεύξεις μπορεί να δείξουν εάν έχει προκύψει κάποια αλλαγή με την πάροδο του χρόνου. Η προσωπική συνέντευξη είναι μια διερευνητική τεχνική που χρησιμεύει για να λαμβάνουν χρήσιμες πληροφορίες σχετικά με το σκεπτικό, αντιλήψεις και αναπαραστάσεις των ατόμων που ερωτήθηκαν σχετικά με το έργο ή το πρόγραμμα. Πέρα από τις υποκειμενικές αναπαραστάσεις, χρησιμεύει επίσης για τη συλλογή πληροφοριών σχετικά με ατομικές πρακτικές. Είναι ιδιαίτερα πολύτιμη για τη διερεύνηση των τρόπων με τους οποίους έχει εφαρμοστεί η παρέμβαση και για τον εντοπισμό ορθών πρακτικών.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Ατομικές συνεντεύξεις με τους ενδιαφερόμενους - Περιγραφή του εργαλείου Οι ατομικές συνεντεύξεις, όπως δηλώνεται από τον όρο, είναι το μέσο για την απόκτηση πληροφοριών μέσω της άμεσης ανάκρισης. Οι σε βάθος συνεντεύξεις μπορεί να βοηθήσουν στην:  Εστίαση στις ατομικές έναντι των ομαδικών ανησυχιών. Θέματα που δεν μπορούν να προκύψουν σε μια ομαδική κατάσταση μπορεί να αναδυθούν σε μεμονωμένες συνεντεύξεις.  Αποκάλυψη αποκλινόντων εμπειριών και συμπεριφορών «ακραίας τιμής». Οι ομάδες συχνά δεν επιτρέπουν να φανεί ότι η εμπειρία μπορεί να διαφέρει από άτομο σε άτομο.  Παροχή μιας συντόμευσης των κοινοτικών προτύπων. Συνέντευξη με βασικούς ηγέτες κοινοτήτων (μπάρμαν, αγαπημένοι τους εκπαιδευτικοί, αστυνομικοί) μπορεί να δώσει μια γρήγορη επισκόπηση της κοινότητας και τις ανάγκες και τις ανησυχίες της.  Ανάπτυξη άλλων ερευνητικών εργαλείων. Ορισμένοι αξιολογητές χρησιμοποιούν σε βάθος συνεντεύξεις για να λάβουν πληροφορίες που θα μπορέσουν να χρησιμοποιήσουν για την ανάπτυξη ποσοτικών ερευνών από τη στιγμή που θα έχουν μια καλύτερη εικόνα για το τι συμβαίνει με το πρόγραμμα και ποια είναι τα βασικά θέματα. Άλλοι θεωρούν ότι οι συνεντεύξεις τους δίνουν όλες τις πληροφορίες που χρειάζονται χωρίς να προβούν σε μεταγενέστερη έρευνα. Τα αποτελέσματα από μια συνέντευξη μπορεί να χρησιμοποιηθούν για να δημιουργηθούν ερωτήσεις για την ομάδα εστίασης ή να τους βοηθήσουν να διαμορφώσουν ερωτήσεις για ερωτήσεις για τη διεξαγωγή έρευνας. Οι σε βάθος συνεντεύξεις μπορεί να είναι διαφορετικές από τις ομάδες εστίασης με διάφορους τρόπους.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Ατομικές συνεντεύξεις με τους ενδιαφερόμενους - Περιγραφή του εργαλείου Οι ατομικές συνεντεύξεις, όπως δηλώνεται από τον όρο, είναι το μέσο για την απόκτηση πληροφοριών μέσω της άμεσης ανάκρισης  Σε βάθος συνεντεύξεις είναι επίσης συχνά το να παρθούν προκαταρκτικές ιδέες από τους ενδιαφερόμενους  Συχνά χρησιμοποιείται ως μέρος μιας διαμορφωτικής αξιολόγησης που έχει σχεδιαστεί για να δοκιμάσει μια θεωρία της δράσης ή / και να παρέχει καθοδήγηση σχετικά με την τελειοποίηση μιας πολιτικής και του προγράμματος.  Είναι χρήσιμη για την παροχή μιας τελικής αξιολόγησης του προγράμματος, που έχει ως στόχο την επίτευξη αλλαγών στη συμπεριφορά ή τις αντιλήψεις των συμμετεχόντων (όπως προγράμματα μεταφοράς ή κατάρτισης στην πληροφορική), σε αντίθεση με την πιο απτή, «σκληρότερων» αποτελεσμάτων (όπως η δημιουργία νέων θέσεων εργασίας ή την κατασκευή νέων εγκαταστάσεων).

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Ατομικές συνεντεύξεις με τους ενδιαφερόμενους – Τα κύρια εμπλεκόμενα βήματα:  Βήμα 1. Επιλογή των συνεντευξιαζόμενων Τα δείγματα που χρειάζονται για τη διεξαγωγή συνεντεύξεων είναι μικρότερα από ό, τι για τις έρευνες ερωτηματολογίου. Οι πληροφορίες που ελήφθησαν επικυρώνονται από το πλαίσιο και όχι από την πιθανότητα εμφάνισης που προσιδιάζουν σε ερωτηματολόγια. Ο αριθμός των συνεντεύξεων εξαρτάται από το αντικείμενο της μελέτης, την ποικιλία των αντιδράσεων για το θέμα, καθώς και τους διαθέσιμους (γενικά 20 έως 60 συνεντεύξεις) πόρους. Το δείγμα που επιλέγεται συνήθως βασίζεται στην επιλογή των συστατικών, χαρακτηριστικό του πληθυσμού (διαφοροποιημένο δείγμα). Το δείγμα μπορεί να επιλεγεί είτε με άμεση πρόσβαση (π.χ. μέσω των διοικητικών τους καταλόγους, τις συμμετοχές των διαφόρων σχετικών φορέων / οργανισμών) ή μέσω της παρέμβασης ενός τρίτου μέρους, το οποίο επιτρέπει την πιο στοχευμένη επιλογή, αλλά παρουσιάζει κινδύνους στρέβλωσης.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Ατομικές συνεντεύξεις με τους ενδιαφερόμενους – Τα κύρια εμπλεκόμενα βήματα:  Βήμα 2. Σχεδιασμός συνέντευξης Ο σχεδιασμός της συνέντευξης περιλαμβάνει την εκπόνηση ενός οδηγού συνέντευξης. Αυτή αποτελείται από τον καθορισμό των θεμάτων που ο ερευνητής θέλει να προσεγγίσει. Δεν είναι απαραίτητο να ακολουθηθεί ο οδηγός συνέντευξης με κάποια συγκεκριμένη σειρά. Αυτός ο οδηγός είναι περισσότερο ένα είδος καταλόγου ελέγχου που επιτρέπει σε αυτόν που παίρνει τη συνέντευξη να βεβαιωθεί ότι ασχολείται με τα ουσιαστικά ζητήματα. Ο ερευνητής μπορεί να διαφοροποιήσει την παρέμβαση του σε σχέση με τον ερωτώμενο και να διατυπώσει νέες ερωτήσεις. Οι πρώτες συνεντεύξεις μπορεί να οδηγήσουν σε αναπροσαρμογές ή τροποποιήσεις στον ορισμό των ερωτημάτων εάν οι ερωτώμενοι έχουν κάποιες δυσκολίες με αυτές. Σε πολλές περιπτώσεις, είναι επίσης χρήσιμο να συγκεντρωθούν βασικές πληροφορίες από τους ερωτηθέντες εκ των προτέρων για να εξοικονομηθεί χρόνος κατά τη διάρκεια της ίδιας της συνέντευξης. Μπορεί επίσης να είναι χρήσιμο να παρασχεθεί στον ερωτώμενο με ένας οδηγός με τα θέματα που πρέπει να καλυφθούν, ώστε να μπορεί να συγκεντρώσει όλες τις αναγκαίες τεκμηριωμένες πληροφορίες πριν από τη συνεδρίαση. Σίγουρα αξίζει συνήθως η σύμβαση ενός «συμβολαίου» με τον συνεντευξιαζόμενο, που θα εξηγεί το σκοπό της συνέντευξης, πόσο καιρό θα διαρκέσει, το επίπεδο εμπιστευτικότητας, τη χρήση των πορισμάτων κλπ Είναι χρήσιμο να κατανοήσει ο ενδιαφερόμενος πριν τη συνέντευξη το ρόλο του καθώς τα χρονοδιαγράμματα των συνεντεύξεων θα ποικίλουν ανάλογα με το τη σχέση τους με το πρόγραμμα. Σχεδιασμός και πιλοτική εφαρμογή των ερωτήσεων - αυτό θα μπορούσε να κυμαίνεται από μια λίστα ελέγχου έως ένα ημι-δομημένο ερωτηματολόγιο.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Ατομικές συνεντεύξεις με τους ενδιαφερόμενους – Τα κύρια εμπλεκόμενα βήματα:  Βήμα 3. Επιλογή και εκπαίδευση των ερευνητών Εάν πρόκειται να διεξαχθούν σωστά, οι συνεντεύξεις απαιτούν υψηλό βαθμό επαγγελματισμού από τον ερευνητή. Θα πρέπει να έχουν δεξιότητες στην επικοινωνία, ακρόαση και λήψη σημειώσεων. Για να διευκολυνθεί η ομαλή λειτουργία της συνέντευξης και να διασφαλιστεί ότι ο ερωτώμενος αισθάνεται άνετα, μπορεί να είναι χρήσιμο για να εξασφαλιστεί ότι υπάρχει κοινωνική εγγύτητα μεταξύ του ερευνητή και του υποψηφίου. Οι λιγότερο δομημένες συνεντεύξεις απαιτούν επίσης από τον ερευνητή να έχει ουσιαστική γνώση του πεδίου.  Βήμα 4. Διάρκεια της συνέντευξης Ένας ερευνητής πρέπει να έχει μια στάση «σεβασμού» απέναντι στον ερωτώμενο και τις πληροφορίες που συγκεντρώθηκαν, αλλά και να είναι σε θέση να μεταφέρει μια καλή κατανόηση του θέματος και του πλαισίου. Η πρώτη επαφή είναι πολύ σημαντική, γιατί είναι η βάση της επικοινωνίας. Ο ερευνητής πρέπει να είναι προσεκτικός ώστε να μην επηρεάσει τον ερωτώμενο με την έγκριση ή να προσανατολίζει την / τις απαντήσεις του. Η συνέντευξη μπορεί να καταγραφεί, για να εξασφαλιστεί ότι οι ισχυρισμοί του ερωτώμενου δεν νοθεύονται και ότι δεν έχουν παραληφθεί οι σημαντικότερες παρατηρήσεις από την έκθεση. Ωστόσο, σε ορισμένες περιπτώσεις, οι ερωτηθέντες μπορεί να αισθάνονται λιγότερο σε θέση να δώσουν πλήρεις και ειλικρινείς απαντήσεις στο μαγνητόφωνο, και πρέπει να λαμβάνεται υπόψη κατά το σχεδιασμό του προϋπολογισμού της αξιολόγησης και το χρονοδιάγραμμα, το κόστος της απομαγνητοφώνησης συνεντεύξεων. Το κείμενο της συνέντευξης ή η περίληψη μπορεί να ελεγχθεί με τους ερωτηθέντες και μπορεί σε αυτό το στάδιο να είναι χρήσιμο για την παρακολούθηση τυχόν αναπάντητων ερωτημάτων. Μπορεί επίσης να είναι χρήσιμο να σταλεί ευχαριστήρια επιστολή στους ερωτηθέντες για τη συμβολή τους.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Ατομικές συνεντεύξεις με τους ενδιαφερόμενους – Τα κύρια εμπλεκόμενα βήματα:  Βήμα 5. Ανάλυση αποτελεσμάτων Η τελική αυτή φάση συνίσταται στην ανάλυση των συνομιλιών, την ερμηνεία και τη σύγκριση των πληροφοριών που παρέχονται από τους ερωτηθέντες, και την εξεύρεση κοινών και αποκλινόντων απόψεων, έτσι ώστε να εκπονήσει η επισκόπηση της αξιολόγησης. Μπορεί να συνταχθεί μια σύνοψη εστιασμένη στη συνοχή της κάθε συνέντευξης, ή σε μια εγκάρσια θεματική ανάλυση που να ταιριάζει περισσότερο στην αναζήτηση για μοντέλα ικανά να εξηγήσουν ατομικές πρακτικές. Για να παραχθούν αποτελέσματα και στη συνέχεια να συζητηθούν στη συνέχεια, ο ερευνητής δημιουργεί ένα πλέγμα ανάλυσης με βάση την ανάγνωση των συνεντεύξεων και των περιγραφικών υποθέσεων. Αυτό το πλέγμα είναι ένα επεξηγηματικό εργαλείο που εφαρμόζεται σε κάθε έκθεση συνέντευξης. Μόλις η έρευνα έχει διεξαχθεί και συντάσσεται, όλα τα έγγραφα, κασέτες, κ.λπ., θα πρέπει να φυλάσσονται με ασφάλεια. Ιδανικά, μόνο επιλεγμένο προσωπικό πρέπει να έχει πρόσβαση στα δεδομένα, όπως ερευνητές, επόπτες, προσωπικό που καταγράφει ή την επαληθεύει τα δεδομένα, και οι αναλυτές δεδομένων.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Παράδειγμα ορθής πρακτικής σε ατομικές συνεντεύξεις:  Να μη συμπεραίνουμε ότι οι συμμετέχοντες έχουν απεριόριστο διαθέσιμο χρόνο  Καμία συνέντευξη δε θα πρέπει να διαρκέσει περισσότερο από μία ώρα.  Περισσότερος χρόνος αποδίδει επαναλήψεις, όχι περισσότερες πληροφορίες  Ενημερώνοντας τους συμμετέχοντες ότι θα διαρκέσει μια ώρα θα διευκολύνεται η διάρθρωση της συνέντευξης.  Εξηγήστε τι προσπαθούμε να επιτύχουμε και τη συμμετοχή του ερωτώμενου παιχνίδι σε αυτό.  Ένας καλός εμπειρικός κανόνας για μια συνέντευξη μίας ώρας είναι να επικεντρωθεί σε πέντε βασικά ζητήματα  Οι ερωτώμενοι έχουν το δικαίωμα να διαβάσουν ό, τι σημειώνει ο ερευνητής. Αυτό βοηθά στη μείωση της έντασης και την εξισορρόπηση ισχύος  Σημειώνετε μόνο τα βασικά σημεία – κατά λέξει καταγραφή δεν είναι χρήσιμη  Μοιραστείτε και διευκρινίστε τα βασικά σημεία με τους άλλους.  Η άδεια χρήσης του υλικού από τη συνέντευξη πρέπει να χορηγείται επίσημα - αυτό δεν είναι μόνο προς το συμφέρον της δίκαιης εκπροσώπησης, αλλά διασφαλίζει επίσης ότι εάν το περιεχόμενο του έργου αμφισβητείται αργότερα, η κοινότητα θα σας υποστηρίξει.  Θα πρέπει να δοθεί ανατροφοδότηση για τα συνολικά αποτελέσματα της διαδικασίας στον ερωτώμενο σε μεταγενέστερη ημερομηνία.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτες περίπτωσης- Περιγραφή της μεθόδου Η μέθοδος μελέτη περίπτωσης περιλαμβάνει σε βάθος μελέτη ενός φαινομένου σε ένα φυσικό περιβάλλον, αντλώντας από ένα πλήθος προοπτικών. Αυτές οι πολλαπλές οπτικές γωνίες μπορεί να προέρχονται από διάφορες μεθόδους συλλογής δεδομένων (ποιοτική και ποσοτική), ή να προέρχονται από πολλαπλές επιπτώσεις των διαφόρων παραγόντων στο περιβάλλον. Τα φαινόμενα μπορούν να αφορούν ιδιώτες, προγράμματα, οργανισμούς, έργα, ομάδες ατόμων ή διαδικασίες λήψης αποφάσεων. Οι μελέτες περιπτώσεων που περιγράφονται ως ενσωματωμένες όπου υπάρχουν περισσότερα του ενός σημεία εστίασης ή μονάδα ανάλυσης. Οι μελέτες περιπτώσεων είναι πλούσιες σε πληροφορίες. Έχουν δημιουργήσει πολύ λεπτομερή σε βάθος κατανόηση των πολύπλοκων αλληλεπιδράσεων και των διαδικασιών της πραγματικής ζωής. Το χαρακτηριστικό στοιχείο της μελέτης περίπτωσης είναι ότι είναι ολιστική, δίνοντας ιδιαίτερη προσοχή στα πλαίσια και στο περιβάλλον. Η μελέτη περίπτωσης μπορεί να είναι μια μεμονωμένη περίπτωση, ή μπορεί να περιλαμβάνει πολλαπλές περιπτώσεις. Υπό την προϋπόθεση ότι υπάρχουν επαρκείς πόροι, οι περιπτωσιολογικές μελέτες multi-site παρέχουν πλούσιες δυνατότητες για θεωρητικά ενημερωμένη ποιοτική αξιολόγηση. Οι μελέτες περιπτώσεων εγείρουν μια σειρά από ζητήματα στο στάδιο του σχεδιασμού. Τι θα μετρήσει ως «περίπτωση»; Ποια είναι η βάση για την επιλογή περιπτώσεων, και πόσες; Ποιες μονάδες ανάλυσης θα πρέπει να περιλαμβάνονται στην περίπτωση, και πώς πρέπει να οργανωθούν τα δεδομένα, ώστε να γίνουν οι συγκρίσεις; Τι είδους γενίκευση είναι εφικτή;

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτες περίπτωσης- Ο σκοπός του εργαλείου  Οι μελέτες περιπτώσεων είναι χρήσιμες στα παρακάτω:  απεικόνιση: η μελέτη περίπτωσης είναι ένα εργαλείο που μπορεί να χρησιμοποιηθεί για να προσθέσετε ρεαλισμό σε μια αξιολόγηση όταν παρουσιάζεται σε αφηγηματική μορφή. Η περίπτωση πρέπει, ωστόσο, να επιλέγεται προσεκτικά, διότι πρέπει να είναι αντιπροσωπευτική του προγράμματος στο σύνολό του ή να παρουσιάζει ένα συγκεκριμένο σημείο - για παράδειγμα, μια ιδιαίτερα αποτελεσματική δράση ή μια προσέγγιση η οποία βρέθηκε να έχει σοβαρές ελλείψεις και οι οποίες θα πρέπει να αποφεύγονται στο μέλλον.  εξερεύνηση: διατυπώνοντας υποθέσεις για μελλοντικές έρευνες, προσδιορίζοντας τις διάφορες απόψεις των ενδιαφερόμενων μερών.  κριτική ανάλυση: ελέγχει και επικυρώνει μια δήλωση σχετικά με το πρόγραμμα, σχέδιο ή στρατηγική.  ανάλυση της εφαρμογής: εξετάζει τη διάδοση των υπηρεσιών και των μηχανισμών της, συχνά σε διάφορα μέρη.  ανάλυση των επιπτώσεων των προγραμμάτων: την κατανόηση της φύσης των διεργασιών παραγωγής επιπτώσεων.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτες περίπτωσης- Περιστάσεις όπου εφαρμόζονται  Η μελέτη περίπτωσης είναι μια μέθοδος ολιστικής ανάλυσης που εφαρμόζεται σε πολύπλοκες καταστάσεις. Αυτό σημαίνει ότι η χρήση της είναι κατάλληλη για την εις βάθος κατανόηση των συμπεριφορών και κοινωνικών φαινομένων, χρησιμοποιώντας τα πρόσωπα και τους οργανισμούς που αναλύονται ως πλαίσιο αναφοράς. Οι μελέτες περιπτώσεων είναι πολύτιμες για τον προσδιορισμό των επιπτώσεων των προγραμμάτων επαγωγικά, με την ανάπτυξη παραδοχών σχετικά με τα φαινόμενα που συνδέουν αιτία και αποτέλεσμα. Οι παραδοχές αυτές πρέπει στη συνέχεια να υποστηρίζονται από πληροφορίες που προέρχονται από τις διάφορες μελέτες περίπτωσης και δοκιμές μέσω της αναζήτησης εναλλακτικών εξηγήσεων.  Αυτό μπορεί να αποδειχθεί χρήσιμο για την παρατήρηση των αναμενόμενων αποτελεσμάτων και επιπτώσεων, αλλά και για την αποκάλυψη απροσδόκητων αποτελεσμάτων. Η προσέγγιση είναι λιγότερο κατάλληλη για τον προσδιορισμό των αιτιωδών συνδέσεων, αν και μπορεί να χρησιμοποιηθεί για να καταδείξει ότι είναι πιθανόν να υπάρχουν.  Η μελέτη περίπτωσης προτίθεται να είναι η πληρέστερη δυνατή απεικόνιση μιας δεδομένης κατάστασης, έτσι ώστε να δώσει μια ακριβή εικόνα των τρέχοντων φαινομένων και την κατανόηση των αιτίων τους. Αυτό επιτυγχάνεται με τη βοήθεια της περιγραφής και, στη συνέχεια, την ανάλυση των παραδειγμάτων που τοποθετούνται στο πλαίσιο τους. Συνεπώς, αυτός ο τύπος της ανάλυσης πρέπει να βασίζεται σε πολλαπλές πηγές δεδομένων, όπως συνεντεύξεις, παρατηρήσεις πάροδο του χρόνου, στατιστικά στοιχεία, φυσικές πληροφορίες, κλπ Τα δεδομένα πρέπει επίσης να διασταυρωθούν προκειμένου να εξασφαλιστεί η συνοχή της. Η έννοια του «πλαισίου» περιλαμβάνει όλους τους παράγοντες που θα μπορούσαν να επηρεάσουν την υπόθεση που μελετήθηκε. Έτσι, για παράδειγμα, οι επιπτώσεις ενός συγκεκριμένου έργου για τους δικαιούχους επηρεάζεται από έναν μεγάλο αριθμό εξωτερικών παραγόντων.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτες περίπτωσης- τα κύρια εμπλεκόμενα στάδια :  Βήμα 1. Επιλογή μελετών προς μελέτη Υπάρχουν τουλάχιστον τρία κριτήρια για την επιλογή των περιπτώσεων: εξυπηρέτησή / πρόσβαση, ο σκοπός τον οποίο θέτουν και ο βαθμός στον οποίο μπορεί να θεωρηθεί ότι παρέχουν ευρύτερες γνώσεις πέρα από τη συγκεκριμένη υπόθεση. Η επιλογή των περιπτώσεων είναι ένα κρίσιμο βήμα για τη γενίκευση και την απάντηση σε ερωτήσεις αξιολόγησης. Είναι δύσκολο να δικαιολογηθεί μια επιλογή που βασίζεται μόνο στην ευκολία (εύκολη πρόσβαση σε δεδομένα) και πιθανοτικές έρευνες είναι μερικές φορές δύσκολο να πραγματοποιηθούν. Έτσι, μια επιλογή που βασίζεται στο σκοπό είναι η κατάλληλη στις περισσότερες περιπτώσεις.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτες περίπτωσης- τα κύρια εμπλεκόμενα στάδια:  Βήμα 2. Συλλογή δεδομένων και επεξεργασία Θεωρητικά, η συλλογή δεδομένων καλύπτει όλες τις διαθέσιμες πληροφορίες σχετικά με την υπόθεση, συμπεριλαμβανομένων εκείνων που προέρχονται από τα έγγραφα του έργου, τις εκθέσεις των συναντήσεων του έργου, και συλλέγονται στα διάφορα λειτουργικά επίπεδα: συνεντεύξεις με τους ηγέτες του έργου και το προσωπικό· παρατήρηση της θέσης του έργου· έρευνες μεταξύ των επωφελούμενων των υπηρεσιών που παρέχονται από το έργο στους οποίους απευθύνεται. Τα στοιχεία αυτά πρέπει να συλλέγονται, καταγράφονται (σύνταξη ενός «μητρώο») και ενοποιούνται έτσι ώστε να μπορούν να χρησιμοποιηθούν στην τελική έκθεση.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτες περίπτωσης- τα κύρια εμπλεκόμενα στάδια:  Βήμα 3. Μελέτη περίπτωσης Η σύνταξη της έκθεσης σχετικά με την υπόθεση προϋποθέτει την οργάνωση όλων των πρώτων στοιχείων για την υπόθεση σε μία ενοποιημένη αξιοποιήσιμη πληροφορία. Αυτό στη συνέχεια υπόκειται σε επεξεργασία, εξαλείφονται οι πλεονάζουσες πληροφορίες, και συνδυάζονται τα διάφορα μέρη μαζί. Η έκθεση οργανώνεται με τέτοιο τρόπο ώστε να είναι εύκολο να συμβουλεύεται, είτε χρονολογικά ή θεματικά. Η έκθεση πρέπει να περιλαμβάνει όλες τις πληροφορίες που απαιτούνται για την επακόλουθη ανάλυση, δηλαδή, για την κατασκευή ενός απολογισμού της μελέτης περίπτωσης.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτες περίπτωσης- τα κύρια εμπλεκόμενα στάδια:  Βήμα 4. Απολογισμός Η μονογραφία της περίπτωσης πρέπει να δίνει στον αναγνώστη άμεση πρόσβαση στις σχετικές πληροφορίες και στη συγκεκριμένη κατάσταση της περίπτωσης - την κατάσταση του έργου - και να παρέχει μια κατανόηση του έργου στο σύνολό του. Κάθε μελέτη περίπτωσης, στην έκθεση αξιολόγησης, πρέπει να απομονωθεί (το μέγεθος μπορεί να κυμαίνεται μεταξύ μιας και πέντε σελίδων). Παρ‘ όλα αυτά, στα τελευταία στάδια της ανάλυσης, οι περιπτώσεις μπορεί να χρησιμοποιηθούν ως αντιθέσεις ή συγκρίσεις, ανάλογα με τους στόχους της αξιολόγησης.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτη περίπτωσης- Πλεονεκτήματα και περιορισμοί της προσέγγισης:  Η μελέτη περίπτωσης είναι κατάλληλη για να δοθεί μια άποψη των διαδικασιών και των πολυπλοκοτήτων που είναι αδύνατο να δούμε με οποιοδήποτε άλλο τρόπο. Μπορεί να έχει να κάνει ακόμη και με εξωτερικά πρόσωπα, όπως οι Ευρωπαϊκοί διαχειριστές οι οποίοι δεν έχουν ιδιαίτερη συμμετοχή σε αυτόν τον τομέα, μιας και έχουν επίγνωση της πραγματικότητας των καθημερινών ενεργειών. Τους παρέχει μια σαφέστερη εικόνα του τρόπου με τον οποίο το πρόγραμμα θα τεθεί σε εφαρμογή όταν η απόφαση έχει ληφθεί με τις εθνικές αρχές.  Οι μελέτη περίπτωσης επιτρέπουν ένα διαφορετικό είδος γενίκευσης από μία βασισμένη σε πιθανοτική δειγματοληψία και δοκιμές στατιστικής σημαντικότητας. Ο σχεδιασμός μελέτης περίπτωσης που ισορροπεί σε βάθος και εύρος, και έχει λάβει στοχευμένα δείγματα, θα επιτρέψει στον αξιολογητή να κάνει αναγωγές, ή μετριοπαθείς εικασίες, σχετικά με την πιθανή εφαρμογή των πορισμάτων σε άλλες περιπτώσεις υπό παρόμοιες, αλλά όχι ταυτόσημες, συνθήκες. Οι στρατηγικές δειγματοληψίας θα πρέπει να προγραμματίζονται με την επιθυμία των ενδιαφερομένων για την παρέκταση στο μυαλό.  Αυτή η προσέγγιση είναι λιγότερο κατάλληλη για τη μέτρηση του εύρους των επιπτώσεων ή για την εξαγωγή συμπερασμάτων για την αιτιότητα.

Ερωτηματολόγια, συνεντεύξεις και μελέτες πεδίου / περίπτωσης  Μελέτη περίπτωσης- Πλεονεκτήματα και περιορισμοί της προσέγγισης:  Λόγω του κόστους της δημιουργίας για μια καλή περίπτωση μελέτης (που απαιτεί πηγές πολλαπλών δεδομένων και των αρμόδιων αξιολογητών), είναι αναγκαίο να περιοριστεί ο αριθμός των παρατηρήσεων. Η μελέτη περίπτωσης μπορεί, ωστόσο, να επαναχρησιμοποιείται και εφαρμόζεται σε άλλο πλαίσιο, παρέχοντας έτσι οικονομίες κλίμακας.  Η αξιοπιστία των αποτελεσμάτων της μελέτης περίπτωσης είναι πιθανό να υπονομευθεί εάν η μέθοδος δεν εφαρμόζεται σωστά: ελλιπής, αυθαίρετη επιλογή των πληροφοριών, σχόλια συντομευμένα, στρέβλωση των αποτελεσμάτων, κλπ Για να ενισχυθεί η αξιοπιστία της μελέτης περίπτωσης, συνιστάται πολλές προφυλάξεις, για παράδειγμα: ξαναδιαβάζοντας τις μελέτες περίπτωσης από τους ενδιαφερόμενους, προκειμένου να εξακριβωθεί η ακρίβεια και η ειλικρίνεια των δεδομένων και η ερμηνεία τους· ή με δύο διαφορετικούς αξιολογητές να γράψουν τις παρατηρήσεις τους σχετικά με την ίδια υπόθεση· τη συμμετοχή εξωτερικών επαγγελματιών (όπως οι δημοσιογράφοι) στη συγγραφή των σχολίων.

Περιεχόμενα  Ο ρόλος και η λειτουργία στην ΕΤΑΚ αξιολογήσεις:  Ομάδες εστίασης  Ομάδες εμπειρογνωμόνων  Προσέγγιση Συμμετοχικής Αξιολόγησης

 Ομάδες εστίασης  (focus groups)

Σκοπός των ομάδων εστίασης  Ποιοτική μέθοδος  Δομημένη συζήτηση  Ομαδική συνέντευξη  Υποστηρίζει την αλληλεπίδραση μέσα στην ομάδα  Παροχή Θεμάτων/ ερωτήσεις αξιολόγησης από έναν ερευνητή/αξιολογητή  Μετριοπάθεια ερευνητή/αξιολογητή

Πότε πρέπει να χρησιμοποιούμε ομάδες εστίασης;  Ποιοτικές πληροφορίες για αξίες και απόψεις θεωρούνται σημαντικές  Διερευνητική προσέγγιση, π.χ. να στηριχθεί η επιλογή ή η ιεράρχηση των σημαντικών ερωτημάτων αξιολόγησης (π.χ. για μια έρευνα που ακολουθεί)  Ερμηνεία των δεδομένων και των αποτελεσμάτων από άλλες έρευνες  Πρέπει να διερευνηθεί η αλληλεπίδραση των διαφόρων ομάδων

Τοποθέτηση Ομάδων εστίασης  Πιθανές ομάδες / φορείς που εμπλέκονται στην αξιολόγηση ΕΤΑΚ  Οι διεθνείς οργανισμοί (όπως η ΓΔ Περιφερειακής Πολιτικής στα ΕΠ)  Ενδιαφερόμενοι σε εθνικό επίπεδο της NIS (Υπουργεία, εκτελεστικοί φορείς, οργανώσεις διεύθυνσης όπως και τα εθνικά συμβούλια, εθνικές αρχές ελέγχου)  Άμεση συμμετοχή των ενδιαφερομένων:  Διαχειριστές προγραμμάτων  Γραφεία εφαρμογής κανόνων ΕΤΑΚ  Άμεσοι δικαιούχοι και έμμεσα οι οργανισμοί υποδοχής τους (ΑΕΙ, ACAD, ΜΜΕ, κλπ)  Οι ειδικοί σε ένα συγκεκριμένο τομέα (θεματικό πεδίο)  Δημόσια ενημερωμένοι  Πλήθος παραγόντων σε μια ομάδα εστίασης

Σύνθεση των μελών της ομάδας εστίασης  Ομοιογένεια ≠ Αντιπροσωπευτικότητας  Διαφορετικότητα αλλά όχι ανισορροπία της κατάστασης στην ομάδα  Ένα δείγμα προκατάληψης είναι ένα πρόβλημα μόνο αν αγνοηθεί  Πρέπει να διασφαλιστεί η ποικιλία των απόψεων  Ομοιογένεια... Διευκολύνει τη συνεισφορά κατά τη διάρκεια ομάδων εστίασης και ενθαρρύνει την ανάλυση  Αντιπροσωπευτικότητα …Προσφέρει μια ποικιλία απόψεων στις ερωτήσεις

Λειτουργία των ομάδων εστίασης  Συλλογή ποιοτικών στοιχείων, όπως  Αξίες  Γνώμες  Στάσεις  Αντιλήψεις  Εμπλέκει διαφορετικές ομάδες σε ένα συγκεκριμένο ζήτημα  Ο Συντονιστής / αξιολογητής παρέχει θέματα και μπορεί να ζητήσει συμπληρωματικές ερωτήσεις  Οι αντιδράσεις και οι Θέσεις της ομάδας μπορούν να παρατηρηθούν και να αναλυθούν  Η δυναμική της ομάδας δημιουργήσει νέες πληροφορίες πέρα από τις ατομικές συνεντεύξεις

Δυνατά και Αδύνατα σημεία των ομάδων εστίασης  Δυνατά σημεία  Ανοιχτές ερωτήσεις – μη αναμενόμενα αποτελέσματα  Μπορούν να απαντηθούν σύνθετες ερωτήσεις  Ευελιξία  Επικέντρωση στο περιεχόμενο  Επιτρέπει την ανταλλαγή και τη σύγκριση  Χρονική αποδοτικότητα της μεθόδου Αδυναμίες Στατιστικά μη αντιπροσωπευτικά αποτελέσματα Κυριαρχία των συμμετεχόντων Κίνδυνος συμμόρφωσης στην ομάδα Έλεγχος της δυναμικής της ομάδας Logistics (... πραγματική συνάντηση αλλά και εικονικές ομάδες εστίασης είναι εφικτές) Επιλεκτική προσοχή του αξιολογητή/μεσολαβητή

Ομάδες εστίασης: Θέματα οργάνωσης  Σχεδιασμός  Ερωτήσεις που θα τεθούν  Αριθμός ΟΕ  Σύνθεση ομάδας  Πρακτική Εφαρμογής μιας ομάδας εστίασης  Πρόσκληση  Διενέργεια Ομάδας Εστίασης  Τεκμηρίωση  Ανάλυση (συνεχής με έναρξη την πρώτη ΟΕ)  Σύνταξη περίληψης  Κωδικοποίηση  Σύγκριση αποτελεσμάτων  Συλλογή αποτελεσμάτων  Αξιολόγηση  Προετοιμασία αποτελεσμάτων για περαιτέρω ανάλυση  Αξιολόγηση από αξιολογητή 3-5 Focus Groups

Χαρακτηριστικά της ανάλυσης  Επαληθεύσιμη ανάλυση:  - Οποιοσδήποτε άλλος κάνει την ίδια ανάλυση της ομάδας εστίασης θα πρέπει να πάρει τα ίδια αποτελέσματα!  Συστηματική:  -Τεκμηριωμένη, ανιχνεύσιμη, κατανοητή ανάλυση με βάση τα δεδομένα  Εργασία σε εξέλιξη, διαδοχική :  - Η ανάλυση ξεκινά με την πρώτη ομάδα εστίασης, διερευνητική προσέγγιση που αναπτύσσεται σε μια σαφή εικόνα

Κωδικοποίηση της καταγραφής  Επίπεδο  Η ανάλυση αφορά την ομάδα  Η ανάλυση αφορά μεμονωμένα άτομα  Πρότυπο κωδικοποίησης  Μπορεί να επεκταθεί με νέα αποτελέσματα από την Ομάδα Εστίασης  Διαφοροποίηση από:  Αρχική υπόθεση  Αποσπάσματα του μεσολαβητή της Ομάδας Εστίασης  Σε βάθος ανάλυση των Ομάδων Εστίασης

Γενικές Ερωτήσεις  Μέγεθος: 6-10 συμμετέχοντες  Χρόνος περίπου 2 ώρες  Παροχές, καφές…  Επαναληπτικές της ομάδας εστίασης 3-5 φορές (ομοιογένεια / εκτιμήσεις ποικιλομορφίας) Προσχεδιασμένο εγχειρίδιο του πεδίου στα σχετικά θέματα Πληροφορίες με σκοπό τη διευκόλυνση της εμπιστοσύνης Μεσολαβητικές τεχνικές για τη διευκόλυνση της δυναμική της ομάδας Τεκμηρίωση / Καταγραφή και μεταγραφή για την προετοιμασία της κωδικοποίησης και ανάλυσης

Ομάδες εστίασης: Νέες Εξελίξεις  Αμφίδρομες Ομάδες Εστίασης: Η ΟΕ2 παρατηρεί την ΟΕ1 και σχολιάζει, και συζητά τα αποτελέσματά της(αυτή η προσέγγιση μειώνει το πρόβλημα της συμμόρφωσης στην ομάδα)  Μίνι- Ομάδες Εστίασης: έως 4 άτομα για να συζητήσουν περισσότερο προσωπικά και ευαίσθητα θέματα  Τηλε- Ομάδες Εστίασης: με βάση την τηλεφωνική συνδιάλεξη (περιορισμένες αλληλεπιδράσεις, λιγότερη συμμόρφωση στην ομάδα, οικονομικές)

Ομάδες εστίασης: Νέες Εξελίξεις  Δυνητικές Ομάδες Εστίασης: σε απευθείας σύνδεση δωμάτια επικοινωνίας/ διαδικτυακές κάμερες που καθοδηγούνται από το ερωτηματολόγιο, τα εργαλεία αξιολόγησης, φατσούλες, ασκήσεις σε πίνακα, εικόνες, κείμενα, βίντεο (φθηνές, διαδραστικές, αλλά η τεχνολογία είναι απαραίτητη)  Ομάδες Εστίασης Δημαρχείου: έως 40 άτομα χωρίζονται σε ομοιογενείς υπο-ομάδες (π.χ. μαθητές-ομάδα, δάσκαλος-ομάδα, γονείς-ομάδα), τα ερευνητικά ερωτήματα είναι ένα μετά το άλλο και απαντώνται με διαομαδικές και ενδο-ομαδικές συζητήσεις· πριν και μετά το σχηματισμό ομαδικών ατομικών απόψεων θα πρέπει να τεθούν οι ατομικές απόψεις

 Ομάδες Εμπειρογνωμόνων

Τοποθέτηση της ομάδας εμπειρογνωμόνων  Πιθανές ομάδες / φορείς που εμπλέκονται στην αξιολόγηση ΕΤΑΚ  Διεθνείς οργανισμοί (όπως η ΓΔ Περιφερειακής Πολιτικής στα ΕΠ)  Ενδιαφερόμενοι σε εθνικό επίπεδο της NIS (Υπουργεία, εκτελεστικoί φορείς, οργανώσεις διεύθυνσης, εθνικά συμβούλια, εθνικές αρχές ελέγχου)  Άμεση συμμετοχή των ενδιαφερομένων:  Διαχειριστής προγράμματος  Γραφείο εφαρμογής κανόνων ΕΤΑΚ  Άμεσοι δικαιούχοι και έμμεσα οργανισμοί υποδοχής τους (ΑΕΙ, ACAD, ΜΜΕ, κλπ)  Ειδικοί σε ένα συγκεκριμένο τομέα (θεματικό πεδίο)  Δημόσια ενημερωμένοι  Αξιολογητές που αναζητούν μια εφικτή δουλειά...

Τύποι εμπειρογνωμόνων επανεξέτασης - ομάδες εμπειρογνωμόνων θέσης Source: RTD-Evaluation Toolbox Assessing the Socio-Economic Impact of RTD-Policies (2002)

Ομάδες Εμπειρογνωμόνων  Βασικές αρχές  Συνθέτει πληροφορίες από διάφορες πηγές, να εξετάζει όλα τα δεδομένα  Αναγνωρίζονται ανεξάρτητοι ειδικοί στις θεματικές του τομέα  Πρόεδρος της επιτροπής, υποστήριξη από τη γραμματεία  Αποφάσεις συναίνεσης  Απόφαση με βάση τις εμπειρίες και τις πληροφορίες που συλλέγονται

Σκοπός των Ομάδων Εμπειρογνωμόνων  Τι μπορεί να παράσχει ως γενικό εργαλείο η ομάδα εμπειρογνωμόνων;  Σύνθεση απόφασης βασισμένης σε ποιοτικά και ποσοτικά δεδομένα (αν και ατελής)  Συμπεράσματα που μπορούν να σεβαστούν πολλά σημεία των απόψεων, ανάλογα με τους εμπειρογνώμονες που συμμετέχουν  Η αξιοπιστία και αποδοχή των αποτελεσμάτων της αξιολόγησης μπορεί να ενισχυθεί

Σύσταση μιας Ομάδας Εμπειρογνωμόνων  Μια ακριβής περιγραφή του σκοπού και των ερωτήσεων αξιολόγησης αποτελεί προϋπόθεση (όπως στην ΟΕ)!  Προσδιορισμός σχετικών κόμβων, οι ειδικών στο στενό πεδίο, παρέχοντας σαφείς δηλώσεις της ανεξαρτησίας  Διορισμός πρόεδρου της επιτροπής και μελών της ομάδας  Όταν συσταθεί, θα πρέπει να συμφωνηθεί η διαδικασία λειτουργίας και κανόνες  Υποστήριξη από γραμματεία για τα πρακτικά, τις προσκλήσεις, την εξεύρεση νέων μελών  Εξωτερικοί συνεργάτες μπορούν να υποστηρίξουν με τη γνώση, όπως μεθοδολογιών αξιολόγησης (θα μπορούσε να είναι επίσης γραμματέας)  Διαθέσιμα εξωτερικά δεδομένα / που απαιτούνται για την εργασία των εμπειρογνωμόνων  Αναμενόμενα παραδοτέα όπως εκθέσεις (ενδιάμεση, τελική)

Καλές πρακτικές για τη σύσταση μιας Ομάδας Εμπειρογνωμόνων  Μη εξαντλητική λίστα:  Οι ειδικοί πρέπει να δηλώνουν τις συγκρούσεις συμφερόντων για τη διασφάλιση της φήμης  Περιορισμός του χρόνου ή τον αριθμό των αξιολογήσεων για τη μείωση της προκατάληψης χρόνου (ανάλογα με τα συμφραζόμενα)  Το μέγεθος των ομάδων πρέπει να είναι διαχειρίσιμο  Αποφασίστε αν η τεχνογνωσία των μελών πρέπει να είναι διαφανής  Η συνέχεια μπορεί να διασφαλιστεί με τον επαναδιορισμό του προέδρου της ομάδας σε περίπτωση που επαναληφθεί  Διορισμός διεθνών εμπειρογνωμόνων στην ομάδα (!!!)

Παραδείγματα Ομάδων Εμπειρογνωμόνων  Ομότιμη αξιολόγηση: εκ των προτέρων τις επιλογές για τη χρηματοδότηση / κατανομή των επιδοτήσεων  Επιτροπή αξιολόγησης: εκ των υστέρων αξιολόγηση του προγράμματος, ιδρύματος, τομέα πολιτικής  Πίνακας καθορισμού των δεικτών για την αξιολόγηση του έργου που αναφέρεται στις προτάσεις ή την παροχή πληροφοριών για τον σχεδιασμό της αξιολόγησης (χρονοδιάγραμμα, εστίαση)  Ευρωπαϊκό πλαίσιο  Χρησιμοποιείται ευρέως για τη «Χώρα αξιολογήσεις από ομοτίμους», μια συνολική αξιολόγηση του εθνικού συστήματος έρευνας και καινοτομίας από την ERAC (Επιτροπή Ευρωπαϊκού Χώρου Έρευνας)  Αξιολόγηση της βασικής έρευνας στο Πρόγραμμα Ανώτατης Εκπαίδευσης CRDF που υλοποιείται στη Ρωσία  Αξιολόγηση Eureka (π.χ. Eurostars Ενδιάμεση Έκθεση για το 2010)

 Συμμετοχική Αξιολόγηση

Τι είναι η συμμετοχή;  Λατινικά, σημαίνει "συμμετοχή, παρεύρεση, προσφορά, συνδιαχείριση, συμπερίληψη"  Συμμετοχή σημαίνει συνεργασία με πρόσωπα  οι οποίοι θεωρούνται ως εταίροι  οι οποίοι είναι ειδικοί του περιβάλλοντος τους  Η συμμετοχή δεν είναι μια μέθοδος, αλλά μια βασική προσέγγιση, μια νοοτροπία

Τι είναι η συμμετοχική αξιολόγηση;  Η συμμετοχική αξιολόγηση περιλαμβάνει τα κύρια ενδιαφερόμενα μέρη σε όλα τα στάδια της ερευνητικής διαδικασίας, που είναι:  σχεδιασμός,  εφαρμογή,  ερμηνεία,  λήψη αποφάσεων για την αξιολόγηση και τα αποτελέσματα της  Πιθανοί βασικοί ενδιαφερόμενοι για τη συμμετοχική αξιολόγηση:  Οι δικαιούχοι, οι εμπειρογνώμονες του τομέα, (τελικά οι διαχειριστές του προγράμματος, φορείς χρηματοδότησης που εμπλέκονται)

Γιατί θα πρέπει να συμμετάσχουν οι εμπλεκόμενοι παράγοντες;  Διαφορετικά ενδιαφερόμενα μέρη να συμβάλουν από κοινού για:  Διαπραγμάτευση και συναίνεση σχετικά με το τι πρέπει να αξιολογηθεί και πώς τα αποτελέσματα θα πρέπει να ερμηνευθούν και να χρησιμοποιηθούν  Συνεχής μάθηση που οδηγεί στην ανάπτυξη ικανοτήτων και την ενσωμάτωση των διδαγμάτων που αποκομίστηκαν κατά τη διαδικασία λήψης αποφάσεων  Μια μεγαλύτερη σημασία της αξιολόγησης και μεγαλύτερη ακρίβεια τα πορίσματα της αξιολόγησης, μέσω της ενσωμάτωσης των διαφορετικών απόψεων των ενδιαφερόμενων μερών

Παραδείγματα συμμετοχικής μεθοδολογίας αξιολόγησης  Συνέντευξη: π.χ. ομάδες εστίασης, ημι-δομημένες συνεντεύξεις  Ομάδα έργων: π.χ. εργαστήρια σχεδιασμού, διαδρομές τεχνουργημάτων  Οπτικοποίηση: π.χ. δημιουργία μήτρας, χρονοδιάγραμμα, φωτο-συνέντευξη, τοποθετήσεις  Εικαστικές παρεμβάσεις: π.χ. θεατρικές συνέχειες, συγγραφή σεναρίων

Οπτικοποιήσεις και καλλιτεχνικά στοιχεία Βοήθεια στην απεικόνιση απόψεων από διαφορετικούς συμμετέχοντες σε μία εικόνα Υποστήριξη αυτο-αντανάκλασης, «Επαναπλαισίωση» Μη-λεκτική τεχνικές που φέρνουν νέες πτυχές και τονώνουν την περαιτέρω συζήτηση Διευκολύνουν την επικοινωνιακή επικύρωση των (προκαταρκτικών) αποτελεσμάτων

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Περιεχόμενα:  ΣΕΣ - ορισμοί, λειτουργίες, σκοποί, επίπεδα, και χρονοδιάγραμμα  Το περιεχόμενο και ο σχεδιασμός της ΣΕΣ. Πλαίσιο για την ΣΕΣ?  Μεθοδολογίες και τεχνικές της ΣΕΣ  Διδάγματα - Ευρήματα διάλεξης και αξιολόγηση!

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Μελέτες για το μέλλον (futures studies) – Ορισμός :  Μελλοντικές μελέτες (γνωστές και ως μελλοντολογία) είναι η μελέτη του πιθανού αξιώματος, η πιθανότητα και τα προτιμώμενα μέλλοντα και οι κοσμοθεωρίες και οι μύθοι που τα διέπουν Υπάρχει φιλονικία για το κατά πόσον αυτή η σχολή είναι τέχνη ή επιστήμη. Σε γενικές γραμμές, μπορεί να θεωρηθεί ως κλάδος των κοινωνικών επιστημών και παράλληλος προς το πεδίο της ιστορίας. Με τον ίδιο τρόπο που η ιστορία μελετά το παρελθόν, οι μελέτες του μέλλοντος εξετάζουν το μέλλον. Οι σπουδές πάνω στο μέλλον(κοινώς ονομάζονται "futures" από τους επαγγελματίες του πεδίου) προσπαθούν να καταλάβουν τι είναι πιθανό να συνεχιστεί και τι θα μπορούσε να αλλάξει πειστικά. Μέρος της επιστήμης επιδιώκει έτσι μια συστηματική και βάσει προτύπων κατανόηση του παρελθόντος και του παρόντος, για να καθορίσει την πιθανότητα μελλοντικών γεγονότων και τάσεων. Σε αντίθεση με τις φυσικές επιστήμες, όπου μελετάται ένα στενότερο και πιο συγκεκριμένο σύστημα, οι μελλοντικές μελέτες αφορούν ένα πολύ μεγαλύτερο και πιο περίπλοκο παγκόσμιο σύστημα. Η μεθοδολογία και η γνώση είναι πολύ λιγότερο αποδεδειγμένες σε σύγκριση με τη φυσική επιστήμη ή ακόμη και τις κοινωνικές επιστήμες, όπως η κοινωνιολογία, τα οικονομικά και πολιτικές επιστήμες.

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Μελλοντικές μελέτες– Ορισμός:  Τρεις παράγοντες διακρίνουν συνήθως τις μελλοντικές μελέτες από την έρευνα που διεξάγεται από άλλους κλάδους (αν και όλοι οι κλάδοι αυτοί συμπίπτουν, σε διάφορους βαθμούς). Πρώτον, η μελλοντολογία μελετά συχνά όχι μόνο το δυνατό αλλά και το πιθανό, κατά προτίμηση, και "μπαλαντέρ" μέλλοντα. Δεύτερον, οι μελέτες μελλοντολογίας συνήθως προσπαθούν να αποκτήσουν μια ολιστική ή συστημική προσέγγιση βασισμένη σε στοιχεία που προέκυψαν από μια σειρά διαφορετικών κλάδων. Τρίτον, οι μελέτες μελλοντολογίας προκαλούν και αποσυμπιέζουν τις υποθέσεις πίσω από τις κυρίαρχες και υποστηριζόμενες απόψεις για το μέλλον. Το μέλλον έτσι δεν είναι άδειο, αλλά γεμάτο με κρυφές υποθέσεις. Για παράδειγμα, πολλοί άνθρωποι περιμένουν την κατάρρευση του οικοσυστήματος του πλανήτη στο εγγύς μέλλον, ενώ άλλοι πιστεύουν ότι η τρέχουσα οικοσύστημα θα επιβιώσει επ‘ αόριστον. Μια προσέγγιση πρόβλεψης θα επιδιώξει να αναλύσει και να τονίσει τις παραδοχές στις οποίες στηρίζονται τέτοιες απόψεις.  Οι μελέτες μελλοντολογίας δεν επικεντρώνονται κατά κανόνα σε βραχυπρόθεσμες προβλέψεις, όπως τα επιτόκια κατά τον επόμενο κύκλο των επιχειρήσεων ή των διαχειριστών ή επενδυτών με βραχυπρόθεσμους χρονικούς ορίζοντες. Ούτε οι περισσότεροι στρατηγικοί σχεδιασμοί, που αναπτύσσουν επιχειρησιακά σχέδια για καλύτερο μέλλον με χρονικό ορίζοντα ενός έως τριών χρόνων, δεν θεωρούνται μελλοντικές μελέτες. Σχέδια και στρατηγικές με μακρύτερους χρονικούς ορίζοντες που προσπαθούν ειδικά να αποτρέψουν ενδεχόμενα μελλοντικά γεγονότα είναι σίγουρα μέρος του πεδίου.  Το πεδίο μελλοντικής εκπλήρωσης αποκλείει επίσης εκείνους που κάνουν τις μελλοντικές προβλέψεις με φανερά υπερφυσικά μέσα. Ταυτόχρονα, οφείλει να επιδιώξει να κατανοήσουμε τα μοντέλα που χρησιμοποιούν τέτοιες ομάδες και τις ερμηνείες που δίνουν σε αυτά τα μοντέλα.

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Μελλοντικές μελέτες – Πιθανότητα και Προβλεψιμότητα:  Ορισμένες πτυχές του μέλλοντος, όπως η ουράνια μηχανική, είναι εξαιρετικά προβλέψιμες, και μπορεί ακόμη να περιγραφούν με σχετικά απλά μαθηματικά μοντέλα. Προς το παρόν όμως, η επιστήμη έχει δώσει μόνο μια ειδική μειοψηφία αυτών των «εύκολο να προβλεφθούν» φυσικών διαδικασιών. Θεωρίες όπως η θεωρία του χάους, η μη γραμμική επιστήμη και η τυπική εξελικτική θεωρία μας επέτρεψαν να κατανοήσουμε πολλά πολύπλοκα συστήματα, ως ενδεχόμενα (η ευαισθησία εξαρτάται από πολύπλοκες συνθήκες του περιβάλλοντος) και στοχαστικά (τυχαία μέσα στους περιορισμούς), καθιστώντας τη συντριπτική πλειοψηφία των μελλοντικών γεγονότων απρόβλεπτη, σε κάθε συγκεκριμένη περίπτωση.  Δεν αποτελεί έκπληξη το ότι η ένταση μεταξύ προβλέψιμου και απρόβλεπτου είναι μια πηγή διαμάχης και συγκρούσεων μεταξύ των μελετητών και επαγγελματιών της μελλοντολογίας. Ορισμένοι υποστηρίζουν ότι το μέλλον είναι ουσιαστικά απρόβλεπτο, και ότι «ο καλύτερος τρόπος για να προβλέψεις το μέλλον είναι να το δημιουργήσεις.» Άλλοι πιστεύουν, ότι η πρόοδος στην επιστήμη, την πιθανότητα, μοντελοποίηση και οι στατιστικές θα μας επιτρέψουν να συνεχίσουμε να βελτιώνουμε την κατανόησή μας για τα πιθανά μέλλοντα, ενώ το πεδίο παραμένει προς το παρόν λιγότερο ανεπτυγμένο από τις μεθόδους για να εξερευνήσετε το δυνατόν και το προτιμότερο μέλλον.

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Μελλοντικές μελέτες – Μεθοδολογίες:  Μία από τις βασικές παραδοχές στις μελλοντικές μελέτες είναι ότι το μέλλον είναι στον πληθυντικό όχι στον ενικό, δηλαδή, ότι αποτελείται από εναλλακτικά μέλλοντα ποικίλης πιθανότητας, αλλά ότι είναι αδύνατο, κατ 'αρχήν να ειπωθεί με βεβαιότητα ποια θα προκύψει. Η κύρια προσπάθεια των μελλοντικών μελετών, ως εκ τούτου, είναι να εντοπίσουν και να περιγράψουν τα εναλλακτικά μέλλοντα. Η προσπάθεια αυτή περιλαμβάνει τη συλλογή ποσοτικών και ποιοτικών δεδομένων για τη δυνατότητα, πιθανότητα, και την επιθυμία της αλλαγής. Η πολλαπλότητα του όρου "futures" μελλοντικές μελέτες υποδηλώνει την πλούσια ποικιλία των εναλλακτικών μελλόντων, συμπεριλαμβανομένου του υποσυνόλου του προτιμότερου μέλλοντος (κανονιστικά μέλλοντα), που μπορεί να μελετηθεί.  Οι επαγγελματίες της σχολής στο παρελθόν επικεντρώθηκαν στην προέκταση των σύγχρονων τεχνολογικών, οικονομικών και κοινωνικών τάσεων, ή προσπάθησαν να προβλέψουν τις μελλοντικές τάσεις, αλλά πιο πρόσφατα έχουν αρχίσει να εξετάζουν τα κοινωνικά συστήματα και τις αβεβαιότητες και να χτίζουν τα σενάρια, αμφισβητούν τις κοσμοθεωρίες πίσω από τέτοια σενάρια μέσω της αιτιώδους μεθόδου πολυεπίπεδης ανάλυσης (και άλλων), να δημιουργούν προτιμώμενη σενάρια για το μέλλον, και να χρησιμοποιούν backcasting για να αντλήσουν εναλλακτικές στρατηγικές υλοποίησης. Εκτός από την προβολή και σενάρια, πολλές μέθοδοι και τεχνικές που χρησιμοποιούνται στη μελλοντολογία (βλέπε παρακάτω).

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Μελλοντικές μελέτες – Μεθοδολογίες:  Οι μελλοντικές μελέτες περιλαμβάνουν επίσης το κανονιστικό ή προτιμότερο μέλλον, αλλά μια σημαντική συμβολή περιλαμβάνει τη σύνδεση της κατά παρέκταση (διερευνητικής) και της κανονιστικής έρευνας για να βοηθήσει τα άτομα και τις οργανώσεις να χτίσουν καλύτερα μέλλοντα μέσα σε ένα (υποτιθέμενο) πεδίο μετατόπισης κοινωνικών αλλαγών. Οι επαγγελματίες χρησιμοποιούν διάφορες αναλογίες έμπνευσης και έρευνας. Οι μελλοντικές μελέτες σπανίως χρησιμοποιούν την επιστημονική μέθοδο, κατά την έννοια των ελεγχόμενων, επαναλαμβανόμενων και παραποιημένων πειραμάτων με άκρως τυποποιημένες μεθόδους, δεδομένου ότι οι περιβαλλοντικές συνθήκες για την επανάληψη μιας πρόβλεψης στο σύστημα είναι συνήθως αρκετά δύσκολο να ελεγχθούν. Ωστόσο, πολλοί φουτουριστές ενημερώνονται από επιστημονικές τεχνικές. Μερικοί ιστορικοί προβάλλουν μοτίβα του έργου που παρατηρήθηκαν σε παλαιότερους πολιτισμούς στη σημερινή κοινωνία να προβλέψουν τι θα συμβεί στο μέλλον.  Οι εκτιμήσεις των πιθανοτήτων που εμπλέκονται με δύο από τις τέσσερις κεντρικές ανησυχίες των επαγγελματιών, προνοητικότητα (διακρίνοντας και ταξινομώντας, τόσο πιθανές όσο και μπαλαντέρ εκδηλώσεις), λαμβάνοντας υπόψη το εύρος των πιθανών μελλοντικών εξελίξεων, αναγνωρίζοντας την πληθώρα των υφιστάμενων εναλλακτικών μελλοντικής εκπλήρωσης, που χαρακτηρίζουν και την προσπάθεια για την επίλυση των διαφωνιών σχετικά με κανονιστικό το μέλλον, και οράματα και η δημιουργία προτιμότερων μελλόντων είναι οι άλλες μείζονες περιοχές της σχολής. Οι περισσότερες εκτιμήσεις για την πιθανότητα στις μελλοντικές μελέτες έχουν κανονιστικό χαρακτήρα και είναι ποιοτικές, αν και σημαντική πρόοδος σχετικά με τις στατιστικές και ποσοτικές μεθόδους (την τεχνολογία και την ανάπτυξη των πληροφοριών καμπύλες, cliometrics, η έξυπνη ψυχολογία, τις αγορές πρόβλεψης, κ.λπ.) έχει γίνει τις τελευταίες δεκαετίες.

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Μελλοντικές μελέτες– Μεθοδολογίες :  Συχνά συνοψίζεται ότι οι μελλοντικές μελέτες ασχολούνται με "three Ps and a W", or possible, probable, and preferable futures, plus wildcards («δύο Π, ένα Δ και ένα ΜΠ», ή δυνατόν, πιθανόν, και προτιμότερο μελλοντικής εκπλήρωσης, καθώς και ένα μπαλαντέρ), που είναι χαμηλή πιθανότητα, αλλά υψηλής επίπτωσης γεγονότα (θετική ή αρνητική), εφόσον συμβούν. Πολλοί φουτουριστές, ωστόσο, δεν χρησιμοποιούν την προσέγγιση μπαλαντέρ. Αντίθετα, χρησιμοποιούν μια μέθοδο που ονομάζεται Ανάλυση Αναδυόμενων Ζητημάτων. Ψάχνει για τους σπόρους της αλλαγής, ζητήματα που είναι πιθανό να περάσουμε από άγνωστο στο γνωστό, από το χαμηλό αντίκτυπο στην υψηλή επίπτωση.

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Μελλοντικές μελέτες – Μελλοντικές τεχνικές :  Πρωτόκολλα σκέψης αναμονής:  Αιτιώδης πολυεπίπεδη ανάλυση (CLA)  Περιβαλλοντική σάρωση  Η μέθοδος των σεναρίων  μέθοδος Delphi  Μελλοντική ιστορία  Παρακολούθηση  Αναδρομικός υπολογισμός (οικο-ιστορία)  Ανάλυση καθρέφτη, οπίσθια οπτική  Ανάλυση διασταυρούμενων επιπτώσεων  futures εργαστήρια  Τρόποι αποτυχίας και ανάλυση επιπτώσεων Μελλοντικές μελέτες – Μελλοντικές τεχνικές : Μελλοντικές βιογραφίες Τροχό του μέλλοντος Συντακτική χαρτογράφηση Τεχνολογία οδικού χάρτη Δέντρο της σχετικότητας Δευτεροβάθμια απεικόνιση Sio Προσομοίωση και μοντελοποίηση Η ανάλυση των κοινωνικών δικτύων Συστήματα μηχανικής Ανάλυση των τάσεων Μορφολογική ανάλυση Τεχνολογικές προβλέψεις

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Πρόβλεψη:  Σε μελέτες μελλοντικών εξελίξεων, ο όρος «πρόβλεψη» χρησιμοποιείται ευρέως για να περιγράψει δραστηριότητες:  κριτικής σκέψης σχετικά με τις μακροπρόθεσμες εξελίξεις,  συζήτησης και προσπάθειας δημιουργίας ευρύτερης συμμετοχικής δημοκρατίας,  διαμόρφωση του μέλλοντος, ιδιαίτερα επηρεάζοντας τη δημόσια πολιτική.  Κατά την τελευταία δεκαετία, οι σεναριακές μέθοδοι, για παράδειγμα, έχουν γίνει ευρέως διαδεδομένες στις ευρωπαϊκές χώρες κατά τη χάραξη πολιτικής. Το δίκτυο ΔΕΣ ΤΗΝ ΨΗΦΙΑΚΑ συγκεντρώνει εθνικές ομάδες Προοπτικής Διερεύνηση από τις περισσότερες ευρωπαϊκές χώρες, και το Πρόγραμμα Ευρωπαϊκής Προοπτική Παρακολούθησης αντιπαραβάλει υλικό για τις δραστηριότητες Προοπτικής Διερεύνησης σε όλο τον κόσμο. Επιπλέον, οι μέθοδοι πρόβλεψης χρησιμοποιούνται όλο και περισσότερο στον περιφερειακό σχεδιασμό και τη λήψη -αποφάσεων(«περιφερειακή πρόβλεψη»).  Την ίδια στιγμή, η χρήση της πρόβλεψης για τις εταιρείες («εταιρική πρόβλεψη») γίνεται όλο και πιο επαγγελματική και διαδεδομένη. Εταιρική πρόβλεψη χρησιμοποιείται για να υποστηρίξει τη στρατηγική διαχείριση, τον εντοπισμό νέων επιχειρηματικών πεδίων και να αυξήσει την ικανότητα καινοτομίας μιας επιχείρησης.

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Πρόβλεψη:  Προοπτική Διερεύνηση δεν είναι το ίδιο με τις μελλοντικές έρευνες ή το στρατηγικό σχεδιασμό. Περιλαμβάνει μια σειρά από προσεγγίσεις που συνδυάζουν τις τρεις συνιστώσες που αναφέρθηκαν παραπάνω, η οποία μπορεί να αναδιατυπωθεί ως εξής:  Μελλοντολογία (πρόβλεψη, προοδευτική σκέψη, προοπτικές),  Προγραμματισμός (στρατηγική ανάλυση, καθορισμός προτεραιοτήτων), και  Δικτύωση (συμμετοχική, διαλογική) των εργαλείων και των προσανατολισμών  Πολλές μελλοντικές έρευνες υπήρξαν μάλλον εργασίες σε γυάλινο πύργο, αλλά η Προοπτική Διερεύνηση των προγράμματα έχει σχεδιαστεί για να επηρεάσουν την πολιτική - συχνά την πολιτική Ε & Α. Μεγάλο μέρος της τεχνολογίας ήταν πολύ ελιτίστικη· η Προοπτική Διερεύνηση επιχειρεί να προχωρήσει πέρα από τις «συνήθεις υπόπτους» και να συγκεντρώσει ευρέως κατανεμημένη ευφυΐα. Αυτές οι τρεις ομάδες εργασίας ήταν ήδη γνωστές σε Γαλλόφωνες μελλοντικές μελέτες με την ονομασία la prospective. Όμως, στη δεκαετία του 1990 άρχισε να φαίνεται αυτό που έγινε μια έκρηξη συστηματικής οργάνωσης των μεθόδων αυτών σε μεγάλης κλίμακας προγράμματα ΠΡΟΒΛΕΨΗΣ ΤΗΣ ΤΕΧΝΟΛΟΓΙΑΣ στην Ευρώπη και ευρύτερα. Η Προοπτική Διερεύνηση έτσι αντλεί από τις παραδόσεις των εργασιών στο σχεδιασμό μεγάλου βεληνεκούς και του στρατηγικού σχεδιασμού, οριζόντια χάραξη πολιτικής και δημοκρατικό σχεδιασμό και συμμετοχικής μελλοντικής μελέτη- αλλά επίσης επηρεάζεται έντονα από την συστημική προσέγγιση σε μελέτες της καινοτομίας, της επιστήμης και της τεχνολογίας, καθώς και η ανάλυση των «κρίσιμων τεχνολογιών».

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Πρόβλεψη :  Πολλές από τις μεθόδους που συνήθως συνδέονται με την Προοπτική Διερεύνηση - έρευνες Delphi, εργαστήρια σεναρίων, κλπ - προέρχονται από το πεδίο μελλοντoλογίας. Έτσι, η Προοπτική Διερεύνηση ασχολείται με:  Τα μακροπρόθεσμα – μέλλοντα που είναι συνήθως τουλάχιστον 10 χρόνια μακριά (αν και υπάρχουν κάποιες εξαιρέσεις σε αυτό, ειδικά στην χρήση της σε ιδιωτικές επιχειρήσεις). Δεδομένου ότι η Προοπτική Διερεύνηση είναι προσανατολισμένη στη δράση (ο σύνδεσμος του σχεδιασμού) σπάνια θα προσανατολιστεί προς τις προοπτικές πέρα από μερικές δεκαετίες μετά (αν και όταν πρόκειται για αποφάσεις όπως ο σχεδιασμός ενός αεροσκάφους, η κατασκευή ενός σταθμού παραγωγής ηλεκτρικής ενέργειας ή άλλων σημαντικών αποφάσεων των υποδομών, τότε ο χρονικός ορίζοντας μπορεί να είναι το ήμισυ αιώνα).  Εναλλακτικά μέλλοντα: είναι χρήσιμο να εξεταστούν εναλλακτικές διαδρομές της ανάπτυξης, όχι μόνο ό, τι πιστεύεται σήμερα ότι είναι πιο πιθανό ή ως συνήθως. Συχνά η Προοπτική Διερεύνηση θα κατασκευάσει πολλαπλά σενάρια. Αυτά μπορεί να είναι ένα ενδιάμεσο βήμα στο δρόμο για τη δημιουργία αυτού που μπορεί να γίνει γνωστό ως θετικά οράματα, επιτυχή σενάρια, φιλόδοξα μέλλοντα. Μερικές φορές τα εναλλακτικά σενάρια είναι σημαντικό μέρος των αποτελεσμάτων των εργασιών Πρόβλεψης, με την απόφαση για το ποιο είναι το μέλλον να οικοδομήσουμε και να αφήνεται σε άλλους μηχανισμούς.

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Αξιολόγηση της Τεχνολογίας - Ορισμός :  Μια κατηγορία μελετών πολιτικής, η οποία εξετάζει συστηματικά τις επιπτώσεις που μπορεί να προκύψουν στην κοινωνία όταν εισάγεται μια τεχνολογία, επεκτείνεται, ή να τροποποιείται. Τονίζει αυτές τις ακούσιες, έμμεσες, ή με καθυστέρηση συνέπειες. Αυτή είναι μια μορφή αξιολόγησης των επιπτώσεων, μαζί με την εκτίμηση των περιβαλλοντικών επιπτώσεων, Κοινωνικών Επιπτώσεων κ.λπ. Ο προσδιορισμός των «ακούσιων, έμμεσων, ή με καθυστέρηση» κοινωνικών επιπτώσεων της μελλοντικής τεχνολογικής καινοτομίας ενέχει σοβαρές προκλήσεις. Ο καθορισμός σχέσεων αιτίου και αιτιατού σε σύνθετα, διαδραστικά κοινωνικο-τεχνικά συστήματα είναι εξαιρετικά δύσκολος - ακόμη και ιστορικά (δηλαδή, κοιτώντας πίσω, δεν είναι λιγότερο ανυπομονούμε) (Tarr, 1977). Δεν υπάρχει καμία ελπίδα να προβλέψουμε τα πλήρη και ακριβή αποτελέσματα από την αλλαγή της τεχνολογίας· ακόμη λιγότερο τον τρόπο με τον οποίο οι συνέπειες αυτές θα αλληλεπιδρούν μεταξύ τους και με τις άλλες κοινωνικο-οικονομικές δυνάμεις.

Προοπτική Διερεύνηση και τεχνολογική αξιολόγηση  Αξιολόγηση της Τεχνολογίας – Μορφές ΤΑ :  συμμετοχική ΤΑ η οποία τονίζει την κοινωνική φύση της τεχνολογίας, ότι οι εμπειρογνώμονες δεν μπορούν να εκτιμήσουν την κοινωνική αντίδραση, και την ανάγκη συμμετοχής της κοινότητας στη λήψη αποφάσεων  διαδραστική ΤΑ η οποία επιδιώκει να επηρεάσει τη διαδικασία της καινοτομίας μέσω της έγκαιρης αλληλεπίδρασης μεταξύ των προμηθευτών, των χρηστών και των μερών που θίγονται χρησιμοποιώντας διαδικασίες τύπου Delphi  εποικοδομητική TA η οποία υποστηρίζει ότι τα κοινωνικά ζητήματα πρέπει να αντιμετωπιστούν από μια διαδικασία συν-δημιουργίας, όπου τα κοινωνικά ζητήματα επηρεάζουν το σχεδιασμό της τεχνολογίας σε ένα πολύ πρώιμο στάδιο  σε πραγματικό χρόνο TA που επιδιώκει να ενσωματώσει φυσικές επιστήμες και τη μηχανική έρευνας με την κοινωνική επιστήμη και την έρευνα πολιτικής από την αρχή.

Τι είναι η πρόβλεψη; http://foresight.jrc.ec.europa.eu

Άσκηση Πρόβλεψης  Λειτουργίες μιας Άσκησης Πρόβλεψης  Διάγνωση: Κατανόηση πού βρισκόμαστε...  Πρόγνωση: Προοπτική διερεύνηση του τι θα μπορούσε να συμβεί...  Συνταγή: Να αποφασιστεί τι πρέπει να γίνει...  Αυτές οι λειτουργίες μπορεί να σχετίζονται με συγκεκριμένες φάσεις της διαδικασίας ή μπορεί και να προκύψουν σε περισσότερες από μία χρονικές στιγμές κατά τη διάρκεια της άσκησης. Μπορεί να θελήσετε να ορίσετε συγκεκριμένες μεθόδους για να εκπληρώσετε συγκεκριμένες λειτουργίες. 

Methods: Scenarios

Σενάρια [1]  Περιγραφή των σεναρίων  Τα σενάρια ξεκινούν από μια αρχική κατάσταση (συνήθως το παρόν) και να εξελίσσονται σε μια τελική κατάσταση σε ένα συγκεκριμένο χρονικό ορίζοντα.  Τα σενάρια είναι υποθετικά, περιγράφουν εναλλακτικά μέλλοντα και πιθανές πορείες προς αυτά αντικατοπτρίζοντας το πώς μπορούν να προκύψουν από το παρόν.  Τα σενάρια περιγράφουν δυναμικές διεργασίες οι οποίες αποτελούνται από καταστάσεις, κινητήριες δυνάμεις, γεγονότα, συνέπειες και δράσεις που σχετίζεται αιτιολογικά στη διάρκεια μιας χρονικής περιόδου.  Τα σενάρια δεν είναι προβλέψεις ή εκτιμήσεις, αλλά οι προβλέψεις για το μέλλον.  Scenarios are not predictions or forecasts, but rather projections of the future.

Σενάρια [2]  Σκοπός των σεναρίων  Ο σκοπός των σεναρίων είναι (συστηματικά) να εξερευνήσουν, να δημιουργήσουν και να δοκιμάσουν τις πιθανές μελλοντικές συνθήκες, επιθυμητές και ανεπιθύμητες.  Τα σενάρια μπορεί να βοηθήσουν στη δημιουργία μακροπρόθεσμων πολιτικών, στρατηγικών και σχεδίων, τα οποία βοηθούν στο να φέρουν επιθυμητές και τις πιθανές μελλοντικές συνθήκες σε πιο κοντινή εναρμόνιση περιγράφοντας σημαντικά ορόσημα στην πορεία.  Τα σενάρια επιτρέπουν στους ιθύνοντες να κατανοήσουν τις μακροπρόθεσμες απαιτήσεις για διαρκές πλεονέκτημα, ανάπτυξη, και αποφυγή προβλημάτων με την ανάπτυξη προσαρμοστικών στρατηγικών.

Χάρτης πορείας υλοποίησης

Ως βοήθημα λήψης απόφασης, οι χάρτες πορείας υλοποίησης αποτελούν χρήσιμα εργαλεία για την Στρατηγική και επιχειρησιακή λήψη αποφάσεων και τον σχεδιασμό δράσης Επίτευξη μιας επιθυμητής μελλοντικής κατάσταση της ανάπτυξης Απεικόνιση δομικών σχέσεων μεταξύ Ε & Τ και εφαρμογών Βελτίωση του συντονισμού των δραστηριοτήτων και των πόρων Εντοπισμός, αξιολόγηση και επιλογή των εναλλακτικών στρατηγικών Επικοινωνία οραμάτων για την προσέλκυση πόρων Ενίσχυση ερευνών Παρακολούθηση της προόδου Χάρτες πορείας υλοποίησης

Τα στοιχεία των χαρτών πορείας Ένας οδικός χάρτης Ε & T αποτελείται από κόμβους (παρελθόν, παρόν, μέλλον) και συνδέσμους (αιτιώδεις ή χρονικές σχέσεις). Τα στοιχεία αυτά μπορούν να έχουν ποσοτικά και ποιοτικά χαρακτηριστικά. Η κατασκευή ενός χάρτη πορείας απαιτεί την ταυτοποίηση των κόμβων και τις ιδιότητές τους, που τους ενώνουν με συνδέσμους, και προσδιορισμό του χαρακτηριστικού συνδέσμου Χάρτες πορείας υλοποίησης

1. Στόχος και το χρονοδιάγραμμα Ορισμός θέματος και του σημαντικού έτους-στόχο για τη δημιουργία οδικού χάρτη 2. Όραμα Καθορισμός του επιθυμητού μέλλοντος 3. Μήτρα Αναγνώριση των κύριων εξελίξεων στις διαστάσεις του οδικού χάρτη 4. Χάρτης πορείας υπλοποίησης Ορισμός της απαιτούμενης χρονολογικής συνέχειας των βασικών εξελίξεων προς την κατεύθυνση του οράματος (πλοκή) 4 Βήματα στη δημιουργία Χαρτών πορείας

Διαστάσεις του χάρτη πορείας

ΔιαστάσειςΒασικές έννοιες Κοινωνική αλλαγήΣυμπεριφορά, ρουτίνες, προτιμήσεις, αξίες Αλλαγή πολιτικής Κανονισμοί, οικονομικά εργαλεία, διακυβέρνηση, συμφωνίες, επικοινωνία, συντονισμός Βιομηχανική αλλαγή Πρότυπα, διαλειτουργικότητα, αλυσίδες αξίας και δίκτυα, οργανωτικές ιεραρχίες και πρακτικές Τεχνολογική αλλαγή Κυρίαρχα σχέδια, αναδυόμενες τεχνολογίες, διαλειτουργικότητα, υποδομές Διαστάσεις του χάρτη πορείας

Αρχιτεκτονική ενός Χάρτη πορείας Phaal (2003) Δημιουργία Χαρτών πορείας

Phaal, 2006 Συνδέοντας το παρελθόν με το παρόν Δημιουργία Χαρτών πορείας

ΠαρόνΜεσοπρόθεσμαΌραμα ή στιγμιότυπο Κοινωνική αλλαγή Αλλαγή πολιτικής Βιομηχανική αλλαγή (αγορές) Τεχνολογική αλλαγή Συστημική αλλαγή (οριζόντια γεγονότα) Μήτρα Χάρτη πορείας Συλλογή περιεχομένου

Τεχνολογι- κή αλλαγή Βιομηχανι- κή αλλαγή (αγορές) Αλλαγή πολιτικής PresentDesirable future Κοινωνική αλλαγή Mid-term ΟΡΑΜΑ Δομή του Χάρτη πορείας

Σχεδιασμός Δράσης ΔράσηΥποσύστημαΠαράγοντας Χρονικό πλαίσιο Χρηματοδότηση

Ενσωμάτωση Σεναρίων και Χάρτη πορείας  Η συνδυασμένη χρήση των μεθόδων μπορεί να προσφέρει σαφέστερες ιδέες υπό συνθήκες αβεβαιότητας σε ένα ευρύ φάσμα εναλλακτικών τεχνολογιών ή / και των κοινωνικών, πολιτικών και οικονομικών αποτελεσμάτων  TF and TR έχουν πολλά κοινά. Και οι δύο είναι:  Συμμετοχικές και διαδραστικές  Προσανατολισμένες στην πολιτική και τη δράση  Έχουν γίνει προσπάθειες για την ενσωμάτωση σεναρίων και χαρτών πορείας, όπου σενάρια έχουν χρησιμοποιηθεί για να ρυθμιστούν τα οράματα για τη διαδικασία TR από την εξέταση των μελλοντικών επιλογών (π.χ. Lizaso και Reger, 2004· Drew, 2006· και Gerdsri, 2007)  Τα μέχρι στιγμής σενάρια δεν έχουν πραγματικά ενσωματωθεί στη διαδικασία οδικού χάρτη Σενάρια και δημιουργία Χάρτη πορείας

 Η χρήση των σεναρίων σε όλη την άσκηση οδικού χάρτη - από την αρχή μέχρι το τέλος μέσω – Σύνθεσης ενός πλαισίου για την άσκηση, και ενημερώνοντας έτσι τον σχεδιασμό των οδικών χαρτών – Καθορισμού οραμάτων για οδικούς χάρτες με την εξέταση εναλλακτικών μελλόντων-εισαγωγή μιας διερευνητικής πτυχής – Απεικόνισης εναλλακτικών οδών για τους χάρτες πορείας – Ελέγχου της αξιοπιστίας των προτεινόμενων χαρτών πορείας – Ενίσχυσης της επεξηγηματικής δύναμης του οδικού χάρτη, και ως εκ τούτου – Επιρροής στο ευρύτερο πλαίσιο πολιτικής Μεθοδολογική Προσέγγιση Σενάρια και δημιουργία Χάρτη πορείας

 Επιφέρει τη διερευνητική πτυχή  Αποτρέπει την γραμμικότητα και την απομόνωση των οδικών χαρτών με την εισαγωγή μιας δημιουργικής, διαδραστικής και συνεργατικής διαδικασίας στο σενάριο  Εσωτερική συνοχή αφηγήσεων του δυνατού, εύλογα και επιθυμητά μέλλοντα θα παρουσιαστούν, τα οποία θα γίνουν κατανοητά όχι μόνο από ειδικούς, αλλά και από ευρύτερα μέλη της κοινωνίας Μεθοδολογική Προσέγγιση Σενάρια και δημιουργία Χάρτη πορείας

 Πριν από την άσκηση οδικού χάρτη: Σενάρια, στο πλαίσιο των προπαρασκευαστικών ενεργειών για την κατασκευή οδικού χάρτη. Σενάρια «βάσης» βοηθούν την κάλυψη των αβεβαιοτήτων που σχετίζονται με το τρέχον θέμα. Πιθανά και αληθοφανή μέλλοντα αναμένονται με τη χρήση των σεναρίων πριν από την άσκηση  Κατά τη διάρκεια της άσκησης οδικού χάρτη : Σενάρια βοηθούν στην εξήγηση των χαρτών πορείας και των παραρτημάτων τους, ως αφηγήσεις με εσωτερική συνοχή. Εάν ένας οδικός χάρτης είναι ένας «σκελετός», τα σενάρια αποτελούν το «κρέας» γύρω από αυτό  Μετά την άσκηση οδικού χάρτη : Τα σενάρια χρησιμοποιούνται για να ελεγχθεί η αξιοπιστία των χαρτών πορείας και να αναπτυχθεί μια συνολική εικόνα για την μελλοντική πορεία Χρήση Σεναρίων στη διδικασία δημιουργίας Χάρτη πορείας Σενάρια και δημιουργία Χάρτη πορείας

Από το γραμμικό στο δικτυακό μοντέλο καινοτομίας  Αλυσιδωτό μοντέλο  Η σχέση επιστήμης - καινοτομίας δεν είναι γραμμική, αλλά αμφίδρομη  Προκύπτει το «πρόβλημα της αιτιότητας»: δεν είναι σαφές ποια είναι τα οφέλη που μπορεί να αποδοθούν σε ένα συγκεκριμένο συντελεστή  Διάφοροι απρόβλεπτοι και δύσκολο-να-μετρηθούν συντελεστές σε κάθε στάδιο του κύκλου ζωής της καινοτομίας (έρευνα αγοράς, σχόλια χρηστών, οργανωτικές βελτιώσεις, διάδοση γνώσεων, κλπ)  Η αξιολόγηση της έρευνας σε μια δεδομένη χρονική στιγμή θα μπορούσε να οδηγήσει σε μέτρα (πολιτικές) που υπερτονίζουν τους ερευνητικούς συντελεστές, φέρνοντας έτσι βραχυπρόθεσμα ή ιδιαίτερα οφέλη εις βάρος των μακροπρόθεσμων Based on B.R. Martin 2007

Από το γραμμικό στο δικτυακό μοντέλο καινοτομίας  Δικτυακό μοντέλο  Η τεχνολογική αλλαγή είναι ενδογενής παράγοντας της διαδικασίας της καινοτομίας και της οικονομικής ανάπτυξης· παράγει κοινωνικο-οικονομικά οφέλη.  Ετερογενείς παράγοντες  Οι φορείς έχουν συγκεκριμένους τύπους γνώσεων που σχετίζονται με το κοινωνικό, οικονομικό και τεχνολογικό τους υπόβαθρο  Εξαρτάται από το συγκεκριμένο φορέα ποιους άλλους φορείς θα κινητοποιήσει και θα χρησιμοποιήσει στις διαδικασίες που συνιστούν και συντηρούν το δικού του δίκτυο  Κάθε δίκτυο θα μπορούσε να θεωρηθεί ως εγγενές σε μεγαλύτερα - και πάλι, ετερογενή, δίκτυα  Το «πρόβλημα απόδοσης» - Τι όφελος θα μπορούσε να αποδοθεί στους ερευνητικούς συντελεστές και τι σε άλλους συντελεστές (π.χ. κοινωνικό κεφάλαιο.)  Η άρρητη γνώση είναι σημαντική ως ειδικός συντελεστής· η ροή του ανθρώπινου κεφαλαίου αποτελεί αναπόσπαστο μέρος της διάδοσης της τεχνολογίας (ή διάχυση των καινοτομιών)

Εφαρμογές της ανάλυσης του δικτύου  Διάδοση των καινοτομιών: σύνδεση δομής κοινωνικών δικτύων με τη διευκόλυνση ή παρεμπόδιση της εξάπλωσης της καινοτομίας  Στόχευση στη βαθύτερη κατανόηση μιας συγκεκριμένης μελέτης περίπτωσης καινοτομίας  Αξιολόγηση της ετερογένειας των κοινωνικο-οικονομικών-τεχνολογικών επιπτώσεων της έρευνας  Εστίαση στις αποτυχίες της έρευνας και όχι μόνο την επιτυχή έρευνα  Εστίαση στη «δίνη» των σχέσεων (αμφίδρομη, πολλαπλές επαναλήψεις) μεταξύ ετερογενών παραγόντων· αναδυόμενες απροσδόκητες διαχύσεις  Αξιολόγηση του δικτύου οντοτήτων (π.χ. clusters, επιχειρηματικά δίκτυα, δικτυωμένες επιχειρήσεις, δίκτυα αριστείας, κλπ)  Αντίληψη επιστημονικών διαφωνιών ή επιστημονικών διαμαχών  Συμμετοχή των μη ειδικών στη λήψη αποφάσεων σχετικά με την ανάπτυξη της επιστήμης  Επιστήμη εφαρμογής- δυναμική του δικτύου

Προσεγγίσεις ανάλυσης δικτύου  Κοινωνικο-τεχνική προσέγγιση δικτύου/ μέσα ΑΝΤ εφ./  Αναδύεται η έννοια της τεχνο-επιστήμης  Νέα κατανόηση της φύσης της επιστημονικής-και-τεχνολογικής γνώσης  κωδικοποιημένη γνώση  τεχνική  ειδικές άρρητες δεξιότητες  Δίκτυο κέντρων επιστημονικά βασισμένων και σχέσεις μεταξύ τους  Η επιστήμη δεν είναι πλέον "δημόσιο αγαθό"  Η κεντρική έννοια στην ΑΚΔ είναι η "μετάφραση"· η μετάφραση περιλαμβάνει όλες τις στρατηγικές μέσω των οποίων ένας δράστης αναγνωρίζει άλλους δράστες και τους ταξινομεί βάσει της σχέσης μεταξύ τους (Callon et al 1983?. Νόμος 1992)

Ανάλυση Κοινωνικών Δικτύων  Το κοινωνικό δίκτυο είναι μια κοινωνική δομή που αποτελείται από ένα σύνολο δραστών και των δεσμών μεταξύ καθενός από τα ζευγάρια στη δομή  Η ΑΚΔ αναγνωρίζει τοπικά και παγκόσμια πρότυπα, εντοπίζει παράγοντες επιρροής, και εξετάζει τη δυναμική του δικτύου  ΑΚΔ: σχεσιακή προσέγγιση  Κοινωνικό κεφάλαιο: η αξία των κοινωνικών σχέσεων και του ρόλου της συνεργασίας και της εμπιστοσύνης για να επιτευχθούν θετικά αποτελέσματα· η αξία που μπορεί κάποιος να πάρει από τους κοινωνικούς δεσμούς

Μεθοδολογία και εργαλεία ΑΔ  Περιγραφή των δεδομένων δικτύου & βασική μεθοδολογία  Συμβατικά δεδομένα: οι γραμμές είναι συνήθως οι περιπτώσεις ή παρατηρήσεις· οι στήλες αποτελούνται από τις τιμές των χαρακτηριστικών ή των μεταβλητών  Δεδομένα του δικτύου: οι γραμμές είναι συνήθως οι περιπτώσεις ή παρατηρήσεις· οι στήλες είναι το ίδιο σύνολο των περιπτώσεων ή παρατηρήσεων NameSexAge BobMale32 CarolFemale27 TedMale29 Who reports liking whom? Choice: Chooser:BobCarolTedAlice Bob---011 Carol1---01 Ted01---1 Alice100---

Μεθοδολογία και εργαλεία ΑΔ  Περιγραφή δεδομένων δικτύου & βασική μεθοδολογία  Κόμβοι: Η ανάλυση δικτύου εστιάζει στις σχέσεις μεταξύ των διαφόρων παραγόντων, και όχι μεμονωμένους παράγοντες και τα χαρακτηριστικά τους  Πολυ-τροπικότητα δικτύων: μεμονωμένοι παράγοντες ενσωματωμένοι σε δίκτυα που είναι ενσωματωμένα σε δίκτυα που είναι ενσωματωμένα σε δίκτυα...  Σχέσεις: Τι δεσμοί πρέπει να μετρηθούν για τους επιλεγμένους κόμβους  Δεσμοί Δειγματοληψίας (σημαντικές σχέσεις)  Μέθοδοι δειγματοληψίας στην ΑΔ  μέθοδοι «πλήρους δικτύου»  μέθοδοι χιονόμπαλας  Εγωκεντρικά δίκτυα  Πολλαπλές σχέσεις

Μεθοδολογία και εργαλεία ΑΔ  Περιγραφή των δεδομένων δικτύου & βασική μεθοδολογία  Ποιοτικές & ποσοτικές μέθοδοι για τη συλλογή δεδομένων  Ημι-δομημένες σε βάθος συνεντεύξεις  Ανάλυση των δεδομένων/ ανάλυση περιεχομένου  Ομάδες Εστίασης  Έρευνες (περιορισμένη εφαρμογή)  Παραδείγματα εφαρμόσιμων στοιχείων και πηγών δεδομένων Δεδομένα Ανάλυση/ στόχος Πηγή Βιβλιογραφικά δεδομένα analysis of co-authorship and co-citation SCOPUS, ISI Web of Science, bibliographic databases & data sets Επίσημα δεδομένα εταιρειών formal and informal spin-offs from PRO / science-industry relations National commercial registers Απόδοση έργουResearch alliances; knowledge hubs; diffusion of knowledge Funding body databases (e.g. CORDIS)

Παραδείγματα ΑΔ Πηγή: Compendium of effective ‘knowledge hubs’ in the field of Networked Enterprise, 2008

Παραδείγματα ΑΔ Science and social science citation map (generated with Mapequation.org) Mapequation.org Πηγή: http://sole.dimi.uniud.it/~massimo.fr anceschet/networks/nexus/bibliometri cs.html http://sole.dimi.uniud.it/~massimo.fr anceschet/networks/nexus/bibliometri cs.html

Collaboration map for the field of network science (generated with Mapequation.org) Πηγή: http://sole.dimi.uniud.it/~massimo.fr anceschet/networks/nexus/bibliometri cs.html http://sole.dimi.uniud.it/~massimo.fr anceschet/networks/nexus/bibliometri cs.html

Λογισμικό ΑΔ  Λογισμικό Ποιοτικής Ανάλυσης Δεδομένων Βοηθούμενο από Υπολογιστή  Εργαλεία αναζήτησης Περιεχομένου  Εργαλεία Κωδικοποίησης  Συνδετικά εργαλεία  Εργαλεία χαρτογράφησης ή δικτύωσης  Εργαλεία ερωτημάτων  Εργαλεία συγγραφής και σχολιασμού  Atlas.ti  NVivo  HyperRESEARCH  MAXQDA  QDA Miner

Λογισμικό ΑΔ  Εφαρμόσιμο στην ποσοτική ΨΑ (μεγάλα δίκτυα)  PAJEK  Network Workbench  NetMiner  Πηγές:  CAQDAS networking project (information about choosing and using CAQDAS, tutorials, working papers, bibliography, etc.) http://www.surrey.ac.uk/sociology/research/researchcentres/caqdas/resources/index.ht m http://www.surrey.ac.uk/sociology/research/researchcentres/caqdas/resources/index.ht m  Online QDA, a guide, http://onlineqda.hud.ac.uk/Introduction/index.phphttp://onlineqda.hud.ac.uk/Introduction/index.php

Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας  Περιεχόμενα:  Βιβλιομετρία - ορισμός, λειτουργίες, σκοποί, επίπεδα, και χρονοδιάγραμμα  Μεθοδολογίες και τεχνικές Βιβλιομετρίας  Άντληση δεδομένων  Άντληση κειμένου  Οπτικοποίηση  Διδάγματα - ευρήματα διάλεξης και αξιολόγηση!  Ομαδικές ασκήσεις βασισμένες σε πραγματική περίπτωση!

 Η βιβλιομετρία είναι ένα σύνολο μεθόδων για την ποσοτική ανάλυση επιστημονικής και τεχνολογικής βιβλιογραφίας.  Ο όρος επινοήθηκε από τον Alan Pritchard σε ένα άρθρο που δημοσιεύθηκε το 1969, με τίτλο “Statistical Bibliography or Bibliometrics?” προσδιόρισε τον όρο ως « η εφαρμογή των μαθηματικών και στατιστικών μεθόδων σε βιβλία και άλλα μέσα επικοινωνίας ".  Βιβλιομετρικές μέθοδοι :  Ανάλυση βιβλιογραφικών παραπομπών  Ανάλυση περιεχομένου Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Βιβλιομετρικές μέθοδοι :  Πολλά ερευνητικά πεδία χρησιμοποιούν βιβλιομετρικές μεθόδους για να διερευνήσουν την επίδραση του πεδίου τους, την επίδραση ενός συνόλου ερευνητών, ή την επίδραση ενός συγκεκριμένου άρθρου!  Η βιβλιομετρία χρησιμοποιείται σε ασκήσεις εκτίμησης ποσοτικής έρευνας του ακαδημαϊκού αποτελέσματος που έχει αρχίσει να απειλεί την έρευνα σε πρακτική βάση! Η βρετανική κυβέρνηση εξετάζει το ενδεχόμενο χρήσης της βιβλιομετρίας ως πιθανό βοηθητικό εργαλείο Πλαίσιο για την Έρευνα Αριστείας της, μια διαδικασία η οποία θα αξιολογεί την ποιότητα των αποτελεσμάτων της έρευνας των βρετανικών πανεπιστημίων και βάσει των αποτελεσμάτων της αξιολόγησης, κατανέμει τη χρηματοδότηση της έρευνας! Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Ανάλυση παραπομπών:  Η ανάλυση παραπομπής, που συνίσταται στην εξέταση των αναφορών ενός εγγράφου, χρησιμοποιείται στην αναζήτηση υλικού και την ανάλυση της αξίας του. Οι δείκτες παραπομπής, όπως το Institute for Scientific Information's Web of Science, επιτρέπουν στους χρήστες να αναζητούν προς τα εμπρός χρονικά, από ένα γνωστό άρθρο σε πιο πρόσφατες δημοσιεύσεις που αναφέρουν το γνωστό στοιχείο.  Μπορούν να αναλυθούν δεδομένα από ευρετήρια παραπομπών για να προσδιοριστεί η δημοτικότητα και η επίδραση των συγκεκριμένων άρθρων, συγγραφέων, και δημοσιεύσεων. Χρησιμοποιώντας την ανάλυση παραπομπών για να μετρηθεί η σημασία του έργου κάποιου, για παράδειγμα, είναι ένα σημαντικό μέρος της διαδικασίας επανεξέτασης της θητείας.  Οι επιστήμονες της πληροφορίας χρησιμοποιούν την ανάλυση παραπομπών για να εκτιμήσουν ποσοτικά τους κύριους τίτλους περιοδικών και τις δημοσιεύσεις ορόσημα σε συγκεκριμένες ειδικότητες· αλληλοσυσχετίσεις μεταξύ των συγγραφέων από διάφορα εκπαιδευτικά ιδρύματα και σχολές σκέψης· και συναφή δεδομένα σχετικά με την κοινωνιολογία της ακαδημαϊκής κοινότητας.  Κάποιες πιο ρεαλιστικές εφαρμογές περιλαμβάνουν το σχεδιασμό των εκ των υστέρων βιβλιογραφιών, «δίνοντας κάποια ένδειξη όσον αφορά την ηλικία του υλικού που χρησιμοποιείται σε μια ειδικότητα, καθώς και το βαθμό στον οποίο πιο πρόσφατες δημοσιεύσεις αντικαθιστούν τις παλαιότερες· «υποδεικνύοντας μέσω της υψηλής συχνότητας των αναφορών ποια έγγραφα θα πρέπει να αρχειοθετούνται· συγκρίνοντας την κάλυψη των δευτεροβάθμιων υπηρεσιών που μπορούν να βοηθήσουν τους εκδότες μετρήσουν τα επιτεύγματα και τον ανταγωνισμό τους, και μπορεί να βοηθήσει τους βιβλιοθηκονόμους στην αξιολόγηση "της αποτελεσματικότητας του αποθεματικού τους».  Υπάρχουν ορισμένοι περιορισμοί στην αξία των δεδομένων παραπομπών. Είναι συχνά ελλιπείς ή προκατειλημμένες· τα δεδομένα έχουν συλλεχθεί σε μεγάλο βαθμό με το χέρι (πράγμα που έχει υψηλό κόστος), αν και μπορούν επίσης να χρησιμοποιηθούν δείκτες παραπομπών· συμβαίνει συνεχώς λανθασμένη επίκληση πηγών· ως εκ τούτου, περαιτέρω έρευνα είναι απαραίτητη για να καταλάβουμε πραγματικά την λογική πίσω από την παραπομπή, ώστε να μπορέσει να εφαρμοστεί με αυτοπεποίθηση! Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Ανάλυση παραπομπών:  Το Science Citation Index άρχισε να εκδίδεται το 1961, όλα γίνονται με το χέρι και έτσι δεν θα μπορούσε να υπάρξει κλίμακα. Οι αυτοματοποιημένοι αλγόριθμοι το κάνουν πολύ πιο χρήσιμο, ευέλικτο, και η ευρύ· αυτό οδήγησε στη δημιουργία του νέου πεδίου της υπολογιστικής βιβλιομετρίας. Ο πρώτος τέτοιος αλγόριθμος για την αυτοματοποιημένη εξαγωγή αναφορών και ευρετηρίαση ήταν από CiteSeer.  Το PageRank της Google βασίζεται στην αρχή της ανάλυσης παραπομπής.  Οι χάρτες παραπομπής Ευρεσιτεχνίας βασίζονται στην ανάλυση παραπομπών - σε αυτή την περίπτωση, η αναφορά ενός διπλώματος ευρεσιτεχνίας από το άλλο.  Άλλες εφαρμογές βιβλιομετρίας περιλαμβάνουν: δημιουργία θησαυρών· μέτρηση συχνότητας όρων· διερεύνηση γραμματικών και συντακτικών δομών των κειμένων· μέτρηση της χρήσης από τους αναγνώστες.

 Μεθοδολογία για την ανάλυση των διπλωμάτων ευρεσιτεχνίας:  Διπλώματα ευρεσιτεχνίας ως δείκτες των τεχνολογικών δυνατοτήτων - η μελέτη των διπλωμάτων ευρεσιτεχνίας αποτελεί ένα ισχυρό εργαλείο για την ανάλυση των δυνατοτήτων ενός βιομηχανικού παράγοντα ή μιας γεωγραφικής περιοχής  Προτεραιότητα στις αιτήσεις Διπλωμάτων Ευρεσιτεχνίας – Για να επιτευχθεί μια προστασία στις διάφορες εθνικές αγορές, ο εξουσιοδοτούμενος θα πρέπει να υποβάλει αίτηση για προστασία του διπλώματος ευρεσιτεχνίας στο εθνικό γραφείο διπλωμάτων ευρεσιτεχνίας σε κάθε χώρα, που στοχεύει. Μια μοναδική εφεύρεση έτσι προστατεύεται από την οικογένεια των διπλωμάτων ευρεσιτεχνίας. Αυτή η οικογένεια αποτελείται από ένα πρώτο δίπλωμα ευρεσιτεχνίας - γνωστή ως η πρώτη προτεραιότητα - η οποία καθιερώνει την προτεραιότητα της εφεύρεσης· έπειτα, μια σειρά διπλωμάτων ευρεσιτεχνίας με σκοπό την επέκταση της προστασίας αυτής της εφεύρεσης πέρα από την χώρα στην οποία είχε αρχικά προστατεύονται. Το χαρτοφυλάκιο διπλωμάτων ευρεσιτεχνίας του πολυεθνικού ομίλου περιλαμβάνει έτσι τα διπλώματα ευρεσιτεχνίας προτεραιότητας και πολλές επεκτάσεις τους, που φανερώνουν τη στρατηγική των διεθνών πωλήσεων τους. Αυτή η δυαδικότητα κάνει οποιοδήποτε απλό υπολογισμό προβληματικό: μία μόνο εφεύρεση προστατεύεται από πολλαπλά διπλώματα ευρεσιτεχνίας - που έχουν καταχωρηθεί σε διάφορα γραφεία Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Μεθοδολογία για την ανάλυση των διπλωμάτων ευρεσιτεχνίας :  Διπλώματα ευρεσιτεχνίας ως δείκτες της εδαφικής αριστείας και της τεχνολογικής εξειδίκευσης - αναλύσεις τριών τύπων διοικητικών πληροφοριών που περιέχονται στα έγγραφα ευρεσιτεχνίας:  Ο πρώτος είναι το όνομα του εξουσιοδοτούμενου του διπλώματος ευρεσιτεχνίας, το οποίο συνδέει μια εφεύρεση με τη βιομηχανική ομάδα στην οποία ανήκει. Μέσω αυτού μπορεί να προσδιοριστεί και η ιθαγένεια του παγκόσμιου τελικού ιδιοκτήτη της εφεύρεσης.  Η δεύτερη διοικητική πληροφορία είναι η ιδιωτική διεύθυνση του εφευρέτη. Μέσα από αυτό, είναι δυνατό να εντοπιστεί το μέρος της εφεύρεσης, ανεξάρτητα από το εθνικό γραφείο στο οποίο το δίπλωμα ευρεσιτεχνίας καταχωρήθηκε και της ιθαγένειας του βιομηχανικού ομίλου (εξουσιοδοτημένου) για τον οποίο χορηγήθηκε. Έτσι, η διεύθυνση ενός εφευρέτης με διπλώματος ευρεσιτεχνίας προτεραιότητας που χορηγείται από το USPTO στην Ινδία, σε ένα βρετανικό βιομηχανικό όμιλο αναλύεται ως χτισμένο σε ινδικής τεχνολογίας δυνατότητες που κινητοποιούνται από ένα βρετανικό βιομηχανικό όμιλο.  Η Τρίτη διοικητική πληροφορία σχετίζεται με τον τεχνολογικό τομέα. Αυτή η πληροφορία, η οποία εμφανίζεται στη "διεθνή κατάταξη των διπλωμάτων ευρεσιτεχνίας» του WIPO διασπά τα διπλώματα ευρεσιτεχνίας μεταξύ 35 τεχνολογικών υπο-πεδία, τα οποία συγκεντρώνονται όλα σε 5 μεγαλύτερους τεχνολογικούς τομείς. Έτσι, εάν η κατηγορία G03C εμφανίζεται σε ένα δίπλωμα ευρεσιτεχνίας, η εν λόγω εφεύρεση θα πρέπει να επισυνάπτεται στο τεχνολογικό πεδίο του οπτικού και του τεχνολογικού τομέα των οργάνων » Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Μεθοδολογία για την ανάλυση των διπλωμάτων ευρεσιτεχνίας :  Κλασματικές ή διπλωμάτων ευρεσιτεχνίας - Όταν ένα δίπλωμα ευρεσιτεχνίας έχει πολλαπλές αποδόσεις, το Εταιρικό Διοικητικό πρόγραμμα Εφευρέσεων χρησιμοποιεί κλασματικούς υπολογισμούς. Αν ένα δίπλωμα ευρεσιτεχνίας προτεραιότητας εμφανίζει, για παράδειγμα, δύο εφευρέτες με γερμανικές διευθύνσεις και ένα τρίτο με ένα γαλλική, για την αντίστοιχη εφεύρεση θεωρείται ότι έχει ως βάση τα 2/3 των αρμοδιοτήτων από τη Γερμανία και το 1/3 από τη Γαλλία. Η ίδια διαδικασία χρησιμοποιείται για τις μετρήσεις με τεχνολογίες ή την απόδοση μιας εφεύρεσης σε διάφορες βιομηχανικές ομάδες. Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Άντληση δεδομένων :  Το βασικό βήμα για την επεξεργασία των δομημένων πληροφοριών βρίσκεται στην άντληση δεδομένων. Η άντληση δεδομένων προέκυψε ως επιστήμη στα τέλη της δεκαετίας του 1980. Χρησιμοποιήθηκε στην επιστήμη των υπολογιστών και των γενετικών αλγορίθμων, η άντληση δεδομένων είναι η ένωση των στατιστικών στοιχείων, τεχνητής νοημοσύνης και μηχανικής μάθησης για να βοηθήσει στην ανάλυση των διπλωμάτων ευρεσιτεχνίας. Η άντληση δεδομένων ευρεσιτεχνίας εξάγει πληροφορίες από δομημένα δεδομένα του εγγράφου του διπλώματος ευρεσιτεχνίας. Αυτά τα δομημένα δεδομένα είναι βιβλιογραφικά πεδία, όπως η τοποθεσία ή η ημερομηνία ή η κατάσταση.  Η άντληση δεδομένων προσφέρει ένα εργαλείο στατιστικής ανάλυσης για τη μελέτη υποβεβλημένων μοντέλων των ανταγωνιστών, τον εντοπισμό του κύριου διπλώματος ευρεσιτεχνίας μέσα σε ένα συγκεκριμένο τομέα της τεχνολογίας. Αυτό το είδος προσέγγισης μπορεί να είναι πολύ χρήσιμο για την παρακολούθηση του περιβάλλοντος των ανταγωνιστών, των κινήσεων και τάσεων καινοτομίας, και δίνει μια μακροοικονομική άποψη της κατάστασης της τεχνολογίας, προκειμένου να αξιολογεί η ωριμότητα και η πολυπλοκότητά του. Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Άντληση κειμένου:  Η άντληση κειμένου χρησιμοποιείται για την αναζήτηση σε αδόμητα διπλώματα πλήρους κειμένου. Αυτή η τεχνική είναι πολύ γνωστή, λόγω της ανάπτυξης του Διαδικτύου, της επιτυχία του στη βιοπληροφορική και τώρα στο περιβάλλον πνευματικής ιδιοκτησίας.  Η άντληση κειμένου βασίζεται σε μια στατιστική προσέγγιση της υποτροπής ή εμφάνισης λέξεων στο σώμα των διπλωμάτων ευρεσιτεχνίας. Ένας αλγόριθμος αποσυνθέτει το σώμα σε ένα σκόρπιο κείμενο, αποσπάσματα λέξεων και εκφράσεις από τον τίτλο, περίληψη και αιτήματα και τα συγκεντρώσει με βάση τη συνάφεια. Οι σύνδεσμοι όπως "και" ή "αν" είναι χαρακτηρισμένοι ως λέξεις μη φέρουσες πληροφορίες και αποθηκεύονται στη λίστα λέξεων διακοπής. Οι κατάλογοι διακοπής μπορεί να είναι εξατομικευμένοι, προκειμένου να δημιουργηθεί μια ακριβής ανάλυση. Στη συνέχεια, ο αλγόριθμος θα κατατάξει τις λέξεις κατά βάρος, ανάλογα με τη συχνότητα τους στο σώμα του διπλώματος ευρεσιτεχνίας και της συχνότητας των εγγράφων που περιέχουν αυτή τη λέξη. Αλιεύει κυριολεκτικά ολόκληρο το κείμενο για λέξεις ή εκφράσεις και μετρά την εμφάνισή τους. Η βαθμολογία για κάθε λέξη υπολογίζεται σύμφωνα με τον παρακάτω τύπο: Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Απεικονίσεις:  Καθώς η ευρεσιτεχνία περιέχει δύο τύπους πληροφοριών, δομημένες και αδόμητες, οι απεικονίσεις μπορούν να διακριθούν σε δύο κατηγορίες. Δομημένα δεδομένα μπορούν να αποδίδονται με την άντληση δεδομένων σε μακροθεματικούς χάρτες και στατιστικές αναλύσεις. Από την άλλη, οι αδόμητες πληροφορίες που προέρχονται από την άντληση κειμένου εκπροσωπούνται με ένα πιο έξυπνο τρόπο όπως τα σύννεφα, οι χάρτες διασποράς, οι δισδιάστατοι χάρτες με λέξεις κλειδιά.  Απεικονίσεις χαρτογράφησης μπορεί να χρησιμοποιηθεί τόσο για τα αποτελέσματα άντλησης κειμένου και άντλησης δεδομένων:  Χάρτης δέντρο : Απεικόνιση των ιεραρχικών δομών. Κάθε στοιχείο δεδομένων, ή γραμμή στο σύνολο δεδομένων, αντιπροσωπεύεται από ένα ορθογώνιο παραλληλόγραμμο, του οποίου η περιοχή είναι ανάλογη με επιλεγμένες παραμέτρους. Χρήση της Επιχειρηματικής Ευφυΐας: Οπτική τοπίου των θεματικών ιεράρχησης· Τοποθέτηση των ανταγωνιστών ή της τεχνολογίας βάσει θεματικών·  Χάρτης δίκτυο : Σε ένα διάγραμμα δικτύου, οι οντότητες συνδέονται μεταξύ τους με τη μορφή ενός διαγράμματος κόμβων και συνδέσμων. Χρήση της Επιχειρηματικής Ευφυΐας: Απεικονίσεις σχέσεων· Παρακολούθηση παρόμοιων ανταγωνιστών ή τεχνολογιών. Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

 Κυριότερα σημεία απεικόνισης των διπλωμάτων ευρεσιτεχνίας:  Ανταγωνιστές  Συνεργάτες  Νέες καινοτομίες  Τεχνολογική περιγραφή περιβάλλοντος  Δίκτυα  Πεδίο Εφαρμογής:  Διαχείριση της στρατηγικής Ε & Α  Ανταγωνιστική ευφυΐα  Αδειοδότηση  Στρατηγική Βιβλιομετρία και ανάλυση των διπλωμάτων ευρεσιτεχνίας

Περίγραμμα προσθετικότητας  Τι είναι η προσθετικότητα  Είδη προσθετικότητας και τα χαρακτηριστικά τους  Γιατί η προσθετικότητα είναι ένα σημαντικό συστατικό των ΕΤΑΚ αξιολογήσεων  Πώς μπορεί να μετρηθεί η προσθετικότητα  Η έννοια των ομάδων ελέγχου

Τι είναι η προσθετικότητα  Η προσθετικότητα είναι μια έννοια στα δημόσια οικονομικά που απευθύνεται στο θέμα αν η δημόσια στήριξη έχει ως αποτέλεσμα νέα δραστηριότητα και όχι να υποκαθιστά την ιδιωτική οικονομική υποστήριξη που θα έπρεπε ούτως ή άλλως να συμβαίνει, απουσία παρέμβασης.  Όπως κάθε άλλη πολιτική ΕΤΚ, αποσκοπεί στην εξασφάλιση των υψηλότερων δυνατών αποτελεσμάτων της προσθετικότητας των παρεμβάσεων ΕΤΑΚ του για να αποφευχθεί η σπατάλη των δημόσιων πόρων

Τι είναι η προσθετικότητα  Διακρίνονται τρεις τύποι προσθετικότητας:  Προσθετικότητα εισροών είναι ο βαθμός στον οποίο οι δραστηριότητες Ε & Α αυξάνονται ως αποτέλεσμα της κρατικής παρέμβασης.  Προσθετικότητα εκροών είναι ο βαθμός στον οποίο τα επιπρόσθετα αποτελέσματα αυξάνονται ως αποτέλεσμα της δημόσιας παρέμβασης, π.χ. η ανάπτυξη νέων εκδόσεων ή πωλήσεων προϊόντων, η εξαγωγική δραστηριότητα, τα διπλώματα ευρεσιτεχνίας, τα επίπεδα τεχνολογίας.  Συμπεριφορική προσθετικότητα είναι ο βαθμός στον οποίο οι ωφελούμενοι και άλλοι ενδιαφερόμενοι φορείς αλλάζουν τη συμπεριφορά τους για να γίνουν πιο ανταγωνιστικοί, αντίστοιχα με προσανατολισμό στο στόχο (μετράει τη διαφορά στη συμπεριφορά μιας επιχείρησης ως αποτέλεσμα της κρατικής παρέμβασης).

Τι είναι η προσθετικότητα  Η προσθετικότητα είναι πολύπλοκη στην αξιολόγηση, κυρίως λόγω των προβλημάτων απόδοσης (τι θα γίνει αν η παρέμβαση δεν θα είχε πραγματοποιηθεί· τι θα γινόταν αν ο κόσμος ήταν διαφορετικός· και αν είχαν χρησιμοποιηθεί διαφορετικοί συνδυασμοί για την παρέμβαση· τι ακριβώς προκάλεσε μια συγκεκριμένη αλλαγή)  Η προσθετικότητα δεν μπορεί να συλληφθούν με ένα ενιαίο μέτρο / δείκτη

Τι είναι η προσθετικότητα  Όσο πιο πολύπλοκο είναι ένα πρόγραμμα / έργο / κατάσταση τόσο πιο δύσκολο είναι να εκτιμηθεί η προσθετικότητα, διότι είναι πιο δύσκολο να αποδοθούν τα αποτελέσματα σε αιτίες.  - Διαρροή:  Δεν πάνε όλα τα οφέλη στην ομάδα-στόχο  - Μετατόπιση / αντικατάσταση:  Η στήριξη μπορεί να δημιουργήσει περισσότερη προσθετικότητα, αν χρησιμοποιηθεί για άλλο φορέα  Ένα άλλο εργαλείο πολιτικής / πρόγραμμα μπορεί να δημιουργήσει περισσότερη προσθετικότητα  Η υποστήριξη μπορεί να μειώσει τα οφέλη σε άλλα μέρη του συστήματος  - Διαχύσεις / Εξωτερικότητες / Πολλαπλασιαστικά αποτελέσματα  Μπορεί να υπάρχουν κάποιοι άλλοι φορείς που δεν υποστηρίζονται από την πολιτική / πρόγραμμα, αλλά μπορεί να επωφελούνται έμμεσα από αυτό  Η υποστήριξη μπορεί να τονώσει περαιτέρω την οικονομική δραστηριότητα  «Προσθετικότητα Δεύτερης Βαθμίδας "  (Πηγή: Gök and Edler, 2012)

Εργαλεία μέτρησης της προσθετικότητας 1. Έρευνες (ερωτηματολόγια / συνεντεύξεις σε / με τους δικαιούχους) 2. Εξαγωγή συμπερασμάτων και πιο σύνθετες οικονομετρικές τεχνικές 3. Αυξημένη χρήση ομάδων ελέγχου  Διαφορές κατά τη μέτρηση σε ατομικό επίπεδο έργου σε σύγκριση με το συνυπολογισμό σε επίπεδο προγράμματος

Προσθετικότητα εισροών  Ενισχύει και δεν υποκαθιστά (παραγκωνίζει) τις εταιρικές δαπάνες σε επίπεδο έργου  Οι επιχορηγήσεις θα πρέπει να απευθύνονται σε δραστηριότητες που δεν έχουν χρηματοδοτηθεί αλλιώς.  Ο καλύτερος τρόπος για να μετρηθεί στο επίπεδο του έργου: ρητή έρευνα που δεν απευθύνεται μόνο στους διαχειριστές της Ε & Α αλλά και στα οικονομικά τμήματα

Προσθετικότητα εκροών  Το ποσοστό των αποτελεσμάτων που δεν θα είχε επιτευχθεί χωρίς κρατική στήριξη  Καθορισμός των αναμενόμενων αποτελεσμάτων χωρίς κρατική στήριξη  Ειδικές δυσκολίες: αποτίμηση της επίδρασης στη δημιουργία γνώσης που θα αξιοποιηθεί μελλοντικά αλλού

Μέτρηση της προσθετικότητας εκροών Έρευνες / συνεντεύξεις Σύγκριση με παρόμοια αλλά μικρότερα έργα κλίμακας  Κύριο πρόβλημα: Εκτός από τα προβλήματα απόδοσης αυτή η προσέγγιση απαιτεί σημαντικές υποθέσεις, επειδή το αποτέλεσμα ενός ερευνητικού έργου δεν μπορεί να προβλεφθεί με ακρίβεια.

Συμπεριφορική προσθετικότητα: προτεινόμενες αλλαγές  Αλλαγές (ευελπιστώντας προς τη σωστή κατεύθυνση): να κάνουμε περισσότερη και καλύτερη Ε & Α  Ανεπιθύμητη περίπτωση: συμπεριφορική προσθετικότητα με περισσότερο παραγκωνισμό  Ανάγκη μιας εις βάθος διερεύνησης των δυναμικών ικανοτήτων και της εταιρικής συμπεριφοράς

Συμπεριφορική προσθετικότητα: προτεινόμενες αλλαγές  Επιτάχυνση της υλοποίησης του έργου  Ανάπτυξη κλίμακας (χρηματοδότηση Ε & Α) και πεδίου εφαρμογής (παραλλαγές του προϊόντος)  Βελτίωση της διαχείρισης (ιδιαίτερα, διαχείριση της καινοτομίας)  Δρομολογεί έργα που συνεπάγονται μεγαλύτερες τεχνολογικές προκλήσεις  Συμμετοχή σε πιο συνεργατική Ε & Α  Περισσότερη συμμετοχή σε ύστερη συνεργασία Ε & Α  Συμμετοχή σε διακρατικές συμπράξεις

Συμπεριφορική προσθετικότητα: προτεινόμενες αλλαγές  Συμμετοχή στη δημιουργία εξειδικευμένων (unique) πόρων (resource-based οπτική της επιχείρησης) ή αλλαγή στη στρατηγική συμπεριφορά (εκτίμηση της καινοτόμου προοπτικής της επιχείρησης)

Συμπεριφορική προσθετικότητα: μεθοδολογίες  Έρευνες για τη συλλογή δεδομένων από ένα μεγάλο φάσμα επιχειρήσεων  Οικονομετρικές τεχνικές  Οι μεθοδολογίες υπόκεινται στο δείγμα που απευθύνονται (ΜΜΕ ή μεγάλες επιχειρήσεις· τομεακά χαρακτηριστικά), την εμπειρία των αξιολογητών και των διαθέσιμων πόρων

Μέτρηση της συμπεριφορικής προσθετικότητας  Οι συμπεριφορές μπορεί να αλλάξουν με διάφορα μέρη / στρατηγικές:  Απόκτηση της γνώσης (οργάνωση Ε & Α)  Ανθρώπινο δυναμικό  Στρατηγικές επένδυσης κεφαλαίου  Θέση στην αγορά  Βιωσιμότητα (περιορισμός της χρήσης υλικού / ενέργειας)

Η βασική ιδέα της χρήσης ομάδων ελέγχου  Κατά την συγκέντρωση στοιχείων και τη χρήση μεγάλων αριθμών, οι πιθανές ιδιοσυγκρασίες εξαλείφονται χάρη στις στατιστικές δοκιμές που χρησιμοποιήθηκαν και που ελέγχουν τη στατιστική σημαντικότητα των αποτελεσμάτων.  Οι ομάδες ελέγχου είναι οι εταιρείες που δεν υποστηρίζονται και έχουν επιλεγεί τυχαία για να ταιριάζουν με τις σχετικές παραμέτρους των υποστηριζόμενων επιχειρήσεων (με τη χρήση στρωματοποιημένης τυχαίας δειγματοληψίας).  Μη υποστηριζόμενες επιχειρήσεις μπορούν να βρεθούν σε βάσεις δεδομένων και αντιστοιχούνται με τα υποστηριζόμενα υποσύνολα

Η βασική ιδέα της χρήσης ομάδων ελέγχου  Συνήθεις παράμετροι για τον καθορισμό δημιουργίας ομάδων ελέγχου είναι η ηλικία, το μέγεθος (απασχόληση, πωλήσεις, κέρδη), ο τομέας, η τεχνολογία, η γεωγραφική τοποθεσία κ.λπ.  Οι μεταβλητές που εξετάζονται για την προσθετικότητα συμπεριφοράς μπορεί να περιλαμβάνουν οικονομικά μεγέθη (χρέος / ίδια κεφάλαια), αλλά κυρίως δείκτες καινοτομίας (Ε & Α / κύκλου εργασιών, νέα προϊόντα που ξεκίνησαν, το μερίδιο των πωλήσεων από τα νέα προϊόντα, τα περιθώρια κέρδους) και οργανωτικές πτυχές (στις οποίες οι έρευνες περίπτωσης ή συνεντεύξεις πρέπει να συνδυάζονται με τις τεχνικές της ομάδας ελέγχου)

Η βασική ιδέα της χρήσης ομάδων ελέγχου  Διαφορετικές στατιστικές τεχνικές χρησιμοποιούνται στη συνέχεια (συσχετίσεις, παλινδρομήσεις, αναλύσεις διασποράς, τεστ συνολική κατάταξης κλπ) προκειμένου να διαπιστωθεί αν οι παράμετροι που επιλέγονται συμπεριφέρονται διαφορετικά στις υποστηριζόμενες επιχειρήσεις (ή υπο-ομάδες μεταξύ τους) σε σύγκριση με τις μη υποστηριζόμενες επιχειρήσεις με παρόμοια χαρακτηριστικά.

ΣΕΜΙΝΑΡΙΟ ΑΞΙΟΛΟΓΗΣΗΣ – ΑΠΟΤΙΜΗΣΗΣ Βασικές έννοιες οργάνωσης και μεθοδολογίες αξιολόγησης – αποτίμησης δράσεων ΕΤΑΚ Τετάρτη 13 Μαΐου 2015 Αμφιθέατρο Ινστιτούτου.

Παρόμοιες παρουσιάσεις

Παρόμοιες παρουσιάσεις

Σχετικά με το έργο

Σχόλια

Είσοδος

Σύνδεση μέσω των κοινωνικών δικτύων:

ΣΕΜΙΝΑΡΙΟ ΑΞΙΟΛΟΓΗΣΗΣ – ΑΠΟΤΙΜΗΣΗΣ Βασικές έννοιες οργάνωσης και μεθοδολογίες αξιολόγησης – αποτίμησης δράσεων ΕΤΑΚ Τετάρτη 13 Μαΐου 2015 Αμφιθέατρο Ινστιτούτου.

Παρόμοιες παρουσιάσεις

Παρόμοιες παρουσιάσεις

Σχετικά με το έργο

Σχόλια