«ΜΕΛΕΤΕΣ ΑΠΟΤΙΜΗΣΗΣ ΔΡΑΣΕΩΝ ΕΤΑΚ» Παρουσίαση του πλαισίου της μεθοδολογίας της αποτίμησης και των προκλήσεων του έργου Αθήνα, 9 ΜΑΙου 2016 Εθνικό Ίδρυμα Ερευνών Άγγελος Μαγκλής, Ιδρυτής της Ατλαντίς Συμβουλευτικής Α.Ε. Επικεφαλής Διοίκησης του Έργου

Παρουσίαση του Έργου Σημερινό Πρόγραμμα Παρουσιάσεων, Καταγραφή Δράσεων ΕΤΑΚ του Γ’ ΚΠΣ εκτός ΓΓΕΤ, Αποτύπωση των Οικονομικών και Κοινωνικών Συνθηκών, Δημιουργία Πλαισίου Μέτρησης και Δεικτών, Σύστημα Συλλογής Στοιχείων, Διεθνείς Καλές Πρακτικές, Εκτύπωση Δίγλωσσου 50σέλιδου φυλλαδίου με τα αποτελέσματα του έργου, κα.

Προκλήσεις Χρονικό Πλαίσιο (Πολύ αργά, Δύο Προκηρύξεις, ελλιπής ηλεκτρονική υποδομή, ατυχής χρονισμός, διαθέσιμος χρόνος), Μέγεθος Έργου (Έξι διαφορετικές δράσεις, Ένας Υποψήφιος Ανάδοχος), Ομάδες Ελέγχου, Μνήμη Οργανισμών, Ανυπαρξία Οργανισμών.

«Συλλογή και Διαχείριση των δεδομένων της αποτίμησης»

Βάση Access με τα δεδομένα του Πληροφορικού Συστήματος Διαχείρισης Έργων Έρευνας και Τεχνολογίας Τεχνικά δελτία έργου όλων των projects των δράσεων ΠΑΒΕΤ (Word) Βάση Access με λεπτομερή δεδομένα για όλα τα έργα ΠΑΒΕΤ-2005 Αποφάσεις αποδοχής αποτελεσμάτων και τελικές εκθέσεις πιστοποίησης των έργων Κοινοπραξιών (Word, Excel) Χρηματοοικονομικά στοιχεία έργων και απορριφθεισών προτάσεων Corallia (Word, Excel) Οικονομικά στοιχεία για όλους τους συμμετέχοντες φορείς στο ΠΡΑΞΕ Β (Excel) Τροποποιητικές αποφάσεις, ενδιάμεσες και τελικές πιστοποιήσεις ΠΠΚ (Word, Excel) Οικονομικά στοιχεία για τους διαχειριστές των θερμοκοιτίδων και της Τεχνοκυψέλης Βορείου Αιγαίου (Excel) Φυσικό αρχείο Ηλεκτρονικό και φυσικό αρχείο ΓΓΕΤ

Έλεγχος των στοιχείων επικοινωνίας των φορέων και κυρίως της διεύθυνσης , μετά από επικοινωνία με αυτούς. Δημιουργία σε διαδικτυακή πλατφόρμα συλλογής δεδομένων που ανέπτυξε ο ανάδοχος διαφορετικού λογαριασμού για κάθε συνδυασμό φορέα και project / απορριφθείσας πρότασης στα οποία συμμετείχε. Απόδοση διαφορετικού ονόματος χρήστη (username) και κωδικού (password) σε κάθε λογαριασμό για εξασφάλιση εμπιστευτικότητας. Σχεδιασμός ερωτηματολογίων και φόρτωσή τους στην πλατφόρμα. Αποστολή προσωποποιημένου σε κάθε φορέα για κάθε ερωτηματολόγιο που καλούνταν να συμπληρώσει. Προετοιμασία της έρευνας πεδίου

ΠΑΒΕΤ Εγκεκριμένες προτάσεις Απορριφθείσες προτάσεις Ερευνητικές Κοινοπραξίες Τεχνολογικής Ανάπτυξης Εγκεκριμένες προτάσεις Απορριφθείσες προτάσεις Corallia Εγκεκριμένες προτάσεις Απορριφθείσες προτάσεις ΠΡΑΞΕ – Τεχνοβλαστοί, Φάση Β Εγκεκριμένες προτάσεις Απορριφθείσες προτάσεις 13 ερωτηματολόγια (1/2)

Δημιουργία Περιφερειακών Πόλων Καινοτομίας Διαχειριστές πόλων Συμμετέχοντες ΕΛΕΥΘΩ - Τεχνοκυψέλες Διαχειριστές Θερμοκοιτιζόμενοι Απορριφθείσες προτάσεις Τα ερωτηματολόγια ήταν τυποποιημένα, με τρία σκέλη, με ποσοτικοποιημένους ποιοτικούς δείκτες και σημαντικής έκτασης. 13 ερωτηματολόγια (2/2)

Έρευνα πεδίου Συνεχές τηλεφωνικό follow-up των φορέων και παράλληλα επικαιροποίηση στοιχείων επικοινωνίας Μαζική αποστολή ηλεκτρονικών υπενθυμίσεων: 30/3, 30/4 και 30/6 Παράταση περιόδου διεξαγωγής της έρευνας ως τις 31/10

Σύστημα συλλογής στοιχείων

Σύστημα Συλλογής Στοιχείων Παροχή κατευθυντήριων γραμμών για μελλοντικές προσεγγίσεις αξιολόγησης προγραμμάτων Ε&Α & Πρόταση εργαλείων συλλογής συνεχούς ροής δεδομένων για να διευκολυνθούν ανάλογες μελλοντικές αξιολογήσεις Κάθε πρόγραμμα ΕΤΑΚ μπορεί να υποβληθεί σε:  Ενδιάμεση αξιολόγηση -Ετήσια παρακολούθηση  Εκ των υστέρων αξιολόγηση  Αποτίμηση της επίδρασης

Σύστημα Συλλογής Στοιχείων- Βασικά στοιχεία (1) Η μέτρηση της προσθετικότητας είναι η «βασική γραμμή» στην αξιολόγηση των προγραμμάτων ΕΤΑΚ. Ενδείκνυται: Η χρήση ομάδων ελέγχου (control groups) Να δοθεί ιδιαίτερη έμφαση στη διάσταση της «συμπεριφορά προσθετικότητας» (behavioural additionality). Το κατάλληλο μείγμα έρευνας πεδίου, προηγμένης ανάλυσης δικτύων (Social Network Analysis), καθώς και μελετών περιπτώσεων (case studies) αποτελούν τα κατάλληλα εργαλεία για να εντοπιστούν και να κατανοηθούν τα αποτελέσματα.

Σύστημα Συλλογής Στοιχείων – Βασικά στοιχεία (2) Αξιολόγηση Επιπτώσεων Οι αξιολογητές πρέπει να επικεντρώνονται : στα αποτελέσματα (βραχυπρόθεσμα), στις ενδιάμεσες επιπτώσεις (μεσοπρόθεσμα), και στις ευρύτερες επιπτώσεις (μακροπρόθεσμα) του προγράμματος. Οι απαιτούμενες μεθοδολογίες περιλαμβάνουν: ομαδοποιημένες οικονομετρικές αναλύσεις & προηγμένες στατιστικές αναλύσεις Οι απαιτούμενες μεθοδολογίες θα είναι ένας συνδυασμός ποιοτικών και ποσοτικών αναλυτικών προσεγγίσεων.

Ενδιάμεση Αξιολόγηση Προγράμματος (1) Η ενδιάμεση αξιολόγηση θα πρέπει να επικεντρωθεί στις ακόλουθες πτυχές των προγραμμάτων : Ποιότητα Έρευνας Αποδοτικότητα Αποτελεσματικότητα Η υλοποίηση των προγραμμάτων από την ΓΓΕΤ είναι στο επίκεντρο αυτού του κύκλου αξιολόγησης. Το μόνο που μπορεί να υλοποιηθεί στη φάση αυτή είναι η εύρεση αρχικών αποτελεσμάτων σε αντιστοιχία με τους άμεσους δικαιούχους που χρηματοδοτούνται. Επιτρέπει την εξέταση της συνεχιζόμενης συνάφειας των αρχικών στόχων για το υπόλοιπο του προγράμματος που απομένει προς υλοποίηση.

Ενδιάμεση Αξιολόγηση Προγράμματος (2) Ευρέως τύπου ερωτήσεις αξιολόγησης για την φάση αυτή πρέπει είναι ενδεικτικά :  Είναι η ποιότητα των υπό εξέλιξη ερευνητικών δραστηριοτήτων ικανοποιητική;  Η εφαρμογή του προγράμματος υπήρξε ικανοποιητική; (Απόδοση)  Η υλοποίηση του προγράμματος από την ΓΓΕΤ υπήρξε ικανοποιητική και μείωσε το (γραφειοκρατικό) βάρος εργασίας από τους συμμετέχοντες?  Οι δραστηριότητες διεξήχθησαν με αποδοτικό τρόπο (efficiently) και ήταν οικονομικά αποτελεσματικές (cost effective);  Σημειώθηκε πρόοδος στην επίτευξη των στόχων που τέθηκαν το πρόγραμμα Ε&ΤΑ; (Αποτελεσματικότητα)

Εκ των Υστέρων Αξιολόγηση Προγράμματος (1) Οι λέξεις-κλειδιά που πρέπει να οδηγήσουν την εκ των υστέρων (ex -post) αξιολόγηση ενός χρηματοδοτικού προγράμματος ΕΤΑΚ πρέπει να προέρχονται απ 'ευθείας από το σύνολο στόχων του ίδιου του προγράμματος. Μπορεί να περιλαμβάνουν: την ηγεσία, την αποτελεσματικότητα, τις δυνατότητες καινοτομίας της βιομηχανίας, την ανταγωνιστικότητα, τις κύριες κοινωνικές και οικονομικές προκλήσεις, την αποδοτικότητα στην εφαρμογή του προγράμματος, καθώς και την καλύτερη ενσωμάτωση των δημόσιων και ιδιωτικών προσπαθειών Ε&Α. Η αξιολόγηση θα πρέπει να επικεντρωθεί στην λογική του προγράμματος, στην υλοποίηση, και στα επιτεύγματά του.

Εκ των Υστέρων Αξιολόγηση Προγράμματος (2) Οι ερωτήσεις αξιολόγησης θα μπορούσαν να σχηματισθούν ως εξής: Λογική (Rational) του Προγράμματος Στόχοι, σκεπτικό και λογική παρέμβασης για το πρόγραμμα Μείγμα Πολιτικής / Χαρτοφυλακίου Υλοποίηση του Προγράμματος Υπήρξε η υλοποίηση του προγράμματος ικανοποιητική ; Οι δραστηριότητες που διεξήχθησαν ήταν αποδοτικές και οικονομικά αποτελεσματικές; Ήταν το γενικότερο νομικό πλαίσιο (συμπεριλαμβανομένων των κανονισμών συμμετοχής και των συμβάσεων), τα μέσα πολιτικής καθώς και οι λεπτομέρειες για την υλοποίηση σαφή, κατάλληλα και αποτελεσματικά ; Υπήρξαν το επίπεδο χρηματοδότησης και οι άλλοι διαθέσιμοι πόροι επαρκείς ;

Εκ των Υστέρων Αξιολόγηση Προγράμματος (3) Επιτεύγματα του Προγράμματος Ποιά ήταν τα αποτελέσματα και οι αρχικές επιπτώσεις του προγράμματος ΕΤΑΚ; Αποτελεσματικότερη διάχυση της γνώσης ; Ενσωμάτωση των κύριων (κεντρικών) οργανισμών με περιφερειακούς οργανισμούς ; Ενσωμάτωση Ελληνικών οργανισμών σε παγκόσμια «κέντρα γνώσης»; Προώθηση της περιφερειακής καινοτομίας και επιχειρηματικότητας ; Έκανε το Πρόγραμμα τη διαφορά; Προέτρεψε τους συμμετέχοντες σε δραστηριότητες που δεν θα είχαν διεξαχθεί χωρίς τη συμμετοχή τους στο Πρόγραμμα; !Μία στρατηγική εκ των υστέρων αξιολόγησης θα έπρεπε να συμπεριλαμβάνει όχι μόνο μία αποτίμηση αμέσως μετά την ολοκλήρωση του προγράμματος αλλά και μία πιο μακροπρόθεσμη παρακολούθηση (π.χ χρόνια αργότερα).

Παρακολούθηση Προγραμμάτων (1) Η παρακολούθηση (monitoring) προγραμμάτων ΕΤΑΚ διεξάγεται σε Ευρωπαϊκό επίπεδο σε ετήσια βάση. Οι κύριοι στόχοι μιας ετήσιας άσκησης παρακολούθησης είναι : Να εξετασθεί η πρόοδος σε σχέση με το αρχικό πρόγραμμα εργασίας, Να εξετασθεί η συνολική αποτελεσματικότητα και η διαχείριση των κύριων πτυχών της υλοποίησης του προγράμματος Να εξασφαλιστεί η συνεχής συλλογή δεδομένων καθ’όλη τη διάρκεια, η οποία θα τροφοδοτεί τις ενδιάμεσες και τις εκ των υστέρων αξιολογήσεις του προγράμματος. Η ετήσια παρακολούθηση θα πρέπει να λειτουργήσει ως συμπλήρωμα στην ενδιάμεση και στην εκ των υστέρων αξιολόγηση. Ο κύριος στόχος της ετήσιας παρακολούθησης είναι να βοηθήσει τη διαχειριστική αρχή να βελτιώσει τη δουλειά της καθώς και τις διαδικασίες διαχείρισης.

Παρακολούθηση Προγραμμάτων (2) Υπάρχουν τέσσερις προσεγγίσεις που θα μπορούσαν να επιλεγούν για την παρακολούθηση ενός προγράμματος:  Ετήσια παρακολούθηση μέσω Παγκόσμιων Δεικτών Παραγωγής και Επιπτώσεων. Συνεισφέρει κυρίως στην προετοιμασία της ανάλυσης των επιπτώσεων προσφέρει μία πρώτη εναλλακτική προσέγγιση που περιλαμβάνει τη συγκέντρωση διαχρονικών δεικτών απόδοσης.  Παρακολούθηση της υλοποίησης των βασικών διαδικασιών. Η πιο σημαντική διαδικασία είναι η αξιολόγηση των ερευνητικών προτάσεων, καθώς έχει δραματικές επιπτώσεις στην τελική επιτυχία της ειδικής πρόσκλησης και αποτελεί μία φάση που ανέκαθεν υπόκειται σε λεπτομερή αξιολόγηση.

Παρακολούθηση Προγραμμάτων (3)  Κατά περίπτωση (ad hoc) ασκήσεις παρακολούθησης. Η εισαγωγή των κατά περίπτωση ασκήσεων παρακολούθησης για συγκεκριμένες πτυχές του προγράμματος, όπως για τη διάχυση αποτελεσμάτων, ειδικές πρωτοβουλίες στη διαχείριση έργων και τις διαδικασίες υποβολής εκθέσεων, νέους τρόπους χρηματοδότησης, κτλ. Η λογική αυτού του είδους αξιολόγησης είναι να εντοπίσει εγκαίρως τις δυσκολίες που ενδέχεται να προκύψουν και να επιτρέψει τις διορθωτικές ενέργειες και τη προσαρμογή των διαδικασιών του προγράμματος. Ανεξάρτητοι εμπειρογνώμονες ή ομάδες εμπειρογνωμόνων θα μπορούσαν να διορισθούν για την εκτέλεση των εν λόγω αξιολογήσεων με την υποστήριξη ενός πληροφοριακού συστήματος.

Παρακολούθηση Προγραμμάτων (4)  Αυτο-αξιολόγηση. Γίνεται βάσει ενός ερωτηματολογίου που αναφέρεται ενδεικτικά στα ακόλουθα θέματα: 1.Ποιοί ήταν οι κύριοι ερευνητικοί στόχοι και δραστηριότητες στην υπηρεσία σας; 2.Σε ποιό βαθμό οι δραστηριότητες στην υπηρεσία σας συνεισέφεραν στον εντοπισμό των αναγκών για μελλοντική έρευνα/αποτελεσματική διαχείριση- παρακολούθηση έργου,διάχυση και αξιοποίηση των αποτελεσμάτων ; 3.Ποιά είναι η αποδεδειγμένη βάση της αυτο-αξιολόγησης; (Ποσοτικές πληροφορίες και δεδομένα, αποτελέσματα /δείκτες επιπτώσεων από τις αξιολογήσεις των έργων και τις εκθέσεις, κλπ) Οι εκθέσεις αυτό-αξιολόγησης, ωστόσο, υπόκεινται σε σοβαρές αδυναμίες όπως η έλλειψη επίσημης συγκριτικής αξιολόγησης και η έλλειψη κρίσης ενάντια στους στόχους. Προτείνεται ο συνδυασμός των πρώτων τριών προσεγγίσεων για την επίτευξη πιο αποτελεσματικού ελέγχου και παρακολούθησης, χρήσιμου για την άσκηση αξιολόγησης του έργου στο σύνολό της.

Μέσα Συλλογής Δεδομένων (1) Προτείνεται η δημιουργία μίας τυπικής διαδικασίας, εύκολης στην εφαρμογή, στα διάφορα στάδια ενός χρηματοδοτούμενου έργου ΕΤΚΑ για την συλλογή των απαραίτητων πληροφοριών. Προτείνονται τα παρακάτω τέσσερα εργαλεία: Ερωτηματολόγιο Εισόδου (Entry survey) Θα απαιτείται από όλους τους συμμετέχοντες του προγράμματος κατά την έναρξη των έργων και θα εστιάζει στα χαρακτηριστικά των συμμετεχόντων και στις προσδοκίες τους από το έργο στο οποίο πρόκειται να συμμετάσχουν. Ενδιάμεσο Ερωτηματολόγιο (intermediate survey) Θα απαιτείται από όλους τους συμμετέχοντες του προγράμματος στο μέσο της υλοποίησης των έργων E&TA και θα εστιάζει κυρίως με θέματα εφαρμογής και υλοποίησης του προγράμματος.

Μέσα Συλλογής Δεδομένων (2) Ερωτηματολόγιο Εξόδου (exit survey) Θα απαιτείται από όλους τους συμμετέχοντες του προγράμματος κατά την ολοκλήρωση των έργων και θα εστιάζει στις πιθανές επιπτώσεις του έργου σε κάθε συμμετέχοντα, στα πραγματικά ή αναμενόμενα αποτελέσματα του έργου, σε θέματα διαχείρισης της ένωσης συμμετεχόντων, καθώς και στις εντυπώσεις από τη λειτουργία του προγράμματος. Εκ των Υστέρων Ερωτηματολόγιο (ex post survey) Θα απαιτείται από όλους τους συμμετέχοντες του προγράμματος τρία (3) χρόνια μετά την ολοκλήρωση των έργων. Σε αυτό το στάδιο η έρευνα είναι σε θέση να συλλέξει δεδομένα των αποτελεσμάτων και των επιπτώσεων των έργων ΕΤΑΚ.

Ευχαριστίες ΓΓΕΤ, τόσο για τη συμμετοχή όσο και για την μη εμπλοκή, Συμμετέχοντες από όλους τους τομείς (συνεντεύξεις, ομάδες ελέγχου, απαντήσεις ερωτηματολογίων, περιπτωσιολογικές μελέτες κα), Την ομάδα του έργου.

Σας Ευχαριστούμε πολύ.