Αξιολόγηση της Μονάδας Διασφάλισης Ποιότητας του Εθνικού και Καποδιστριακού Πανεπιστημίου Αθηνών 1 Βαγγέλης Κρίκας Θανάσης Ράπτης, Κων/νος Μπουρλετίδης, Αναστασία Παπαδοπούλου, ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α.

ΟΡΙΣΜΟΣ Michael Scriven (2007) Αξιολόγηση είναι η διαδικασία προσδιορισμού της αξίας, της επιτυχίας και της σημαντικότητας ενός φαινομένου ή αντικειμένου. ΑΞΙΟΛΟΓΗΣΗ ( Evaluation ) 2

3 Αδικαιολόγητος φόβος απέναντι στη διαδικασία της αξιολόγησης, ο οποίος εκδηλώνεται με τη μορφή αναίτιας και ταυτόχρονα έντονης αποστροφής / αντίθεσης προς την όλη διαδικασία (Scriven, 2003)

4 Άρνηση του άγχους που τον διακατέχει για την αξιολόγηση Προβολή λανθασμένων χειρισμών στους αξιολογητές ή στη διαδικασία Έντονη προσωπική αντιπαράθεση με τους αξιολογητές (επίθεση) Ανάπτυξη πρωτότυπης / ιδιάζουσας επιχειρηματολογίας που ακυρώνει τα αποτελέσματα της αξιολόγησης Χρήση αντιεπαγγελματικών τεχνικών για τη ματαίωση της ανάπτυξης και της εφαρμογής της διαδικασίας αξιολόγησης

ΕΣΩΤΕΡΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΤΗΣ ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. - Συμπλήρωση τριών (2) ετών λειτουργίας της Υπηρεσίας -Ομάδα Εσωτερικής Αξιολόγησης της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. -Μικρής κλίμακας αξιολόγηση, η οποία στηρίχθηκε στις στάσεις και απόψεις που έχουν διαμορφώσει για την ταυτότητα και τη λειτουργία της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. Μέλη της Υπηρεσίας Μέλη των ΟΜ.Ε.Α. των Τμημάτων του Ε.Κ.Π.Α. Μέλη των ΟΜ.Ε.Α. των Τμημάτων του Ε.Κ.Π.Α. 5

ΜΕΘΟΔΟΛΟΓΙΑ Σκοπός της αξιολόγησης: Η αποτύπωση της λειτουργίας της ΜΟ.ΔΙ.Π. ως Υπηρεσίας του Πανεπιστημίου, δηλαδή ο προσδιορισμός του αν και κατά πόσο επιτυγχάνει τους στόχους για τους οποίους συστάθηκε και εάν πραγματικά συμβάλλει στην εφαρμογή των διαδικασιών αξιολόγησης και διασφάλισης ποιότητας στο ΕΚΠΑ. Δείγμα της αξιολόγησης: Τα μέλη της Υπηρεσίας (Επιστημονικό και Διοικητικό Προσωπικό) και τα μέλη των Ο.Μ.Ε.Α. των Τμημάτων του ΕΚΠΑ. Προσδιορισμός αναγκών: -Ικανοποίηση των μελών της ΜΟΔΙΠ ΕΚΠΑ ως προς την οργάνωση, τη λειτουργία και τη διοίκηση της Υπηρεσίας, ως προς το κλίμα που επικρατεί σε αυτή και ως προς την ατομική και ομαδική απόδοση στο αξιολογικό τους έργο. -Ικανοποίηση των μελών ΟΜΕΑ των τμημάτων του ΕΚΠΑ ως προς τις παρεχόμενες υπηρεσίες και την υποστήριξη της ΜΟΔΙΠ στο έργο της εσωτερικής και εξωτερικής αξιολόγησης. 6

Α) -Πόσο ικανοποιημένα είναι τα μέλη της Υπηρεσίας (Επιστημονικό και Διοικητικό Προσωπικό) από την οργάνωση και τη λειτουργία της ΜΟΔΙΠ ΕΚΠΑ; - Είναι ευχάριστο και ευνοϊκό το κλίμα που επικρατεί στην Υπηρεσία; -Υπάρχει υποστήριξη από τους συνεργάτες και τη διοίκηση; -Με ποιο τρόπο διοικείται η Υπηρεσία; -Προβάλλεται όσο θα έπρεπε το έργο της ΜΟΔΙΠ ΕΚΠΑ; -Πόσο ικανοποιημένα είναι τα μέλη της Υπηρεσίας από την ατομική και ομαδική απόδοσή τους; -Αντιμετωπίζουν προβλήματα στη συνεργασία τους με τους εμπλεκόμενους φορείς του Ιδρύματος; Αξιολογικά ερωτήματα Β) -Πόσο ικανοποιημένα είναι τα μέλη των ΟΜΕΑ των τμημάτων του ΕΚΠΑ από τις υπηρεσίες και την υποστήριξη της ΜΟΔΙΠ στο αξιολογικό τους έργο; - Πόσο σημαντικός είναι ο ρόλος της ΜΟΔΙΠ στη διασφάλιση της ποιότητας του Ιδρύματος; - Ποια είναι τα δυνατά σημεία της Υπηρεσίας και ποια τα αδύνατα; -Οι απαιτήσεις και τα χρονοδιαγράμματα που θέτει η ΜΟΔΙΠ κρίνονται υπερβολικά; -Με ποιους τρόπους μπορεί να βελτιωθεί η αποτελεσματικότητα της Υπηρεσίας; 7

Υποβολή των ετήσιων εσωτερικών εκθέσεων των τμημάτων. Βαθμός ολοκλήρωσης των διαδικασιών εσωτερικής αξιολόγησης των τμημάτων. Σύνταξη της ενδιάμεσης έκθεσης αξιολόγησης του Ιδρύματος. Βαθμός ολοκλήρωσης των διαδικασιών εξωτερικής αξιολόγησης των τμημάτων. Χρονικό πλαίσιο του κύκλου αξιολόγησης του Ιδρύματος. 8 Βαθμός ικανοποίησης των εμπλεκομένων στην αξιολόγηση από τις υπηρεσίες της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. Τήρηση των διαδικασιών που έχει θεσπίσει η ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. σε όλο το φάσμα των ενεργειών και των δράσεών της. Κριτήρια αξιολόγησης της ΜΟΔΙΠ ΕΚΠΑ

Υποβολή των ετήσιων εσωτερικών εκθέσεων των τμημάτων. Βαθμός ολοκλήρωσης των διαδικασιών εσωτερικής αξιολόγησης των τμημάτων. Σύνταξη της ενδιάμεσης έκθεσης αξιολόγησης του Ιδρύματος. Βαθμός ολοκλήρωσης των διαδικασιών εξωτερικής αξιολόγησης των τμημάτων. Χρονικό πλαίσιο του κύκλου αξιολόγησης του Ιδρύματος. 9 Βαθμός ικανοποίησης των εμπλεκομένων στην αξιολόγηση από τις υπηρεσίες της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. Τήρηση των διαδικασιών που έχει θεσπίσει η ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. σε όλο το φάσμα των ενεργειών και των δράσεών της. Κριτήρια αξιολόγησης της ΜΟΔΙΠ ΕΚΠΑ

-Σχεδιάστηκαν και επιδόθηκαν σε ηλεκτρονική μορφή. -Οι ερωτήσεις ή τα σύνολα ερωτήσεων αντλήθηκαν κατά βάση από τη διεθνή βιβλιογραφία (Nowakowski et. al, 1985), και όπου κρίθηκε αναγκαίο μετασχηματίστηκαν με τέτοιο τρόπο ώστε να ανταποκρίνονται στις ανάγκες της παρούσας αξιολόγησης αλλά και στη φύση και τον χαρακτήρα λειτουργίας της ΜΟΔΙΠ ΕΚΠΑ. -Αναφορικά στα μέλη της ΜΟΔΙΠ ΕΚΠΑ συγκεντρώθηκε το 100% των ερωτηματολογίων, ενώ από τα μέλη των ΟΜΕΑ συγκεντρώθηκε το 64% περίπου των ερωτηματολογίων. -Ερωτήσεις κλειστού και ανοιχτού τύπου. 10 Ερωτηματολόγια αξιολόγησης της ΜΟΔΙΠ ΕΚΠΑ

ΕΡΩΤΗΜΑΤΟΛΟΓΙΟ ΜΕΛΩΝ ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. 1 ος Άξονας: Οργάνωση και Λειτουργία 2 ος Άξονας: Κλίμα – Ταυτότητα – Υποστήριξη 3 ος Άξονας: Διεύθυνση –Προβολή 4ος Άξονας: Αξιολόγηση Προσωπικής Απόδοσης 5ος Άξονας: Πληροφοριακό Σύστημα 6ος Άξονας: Αποτελεσματικότητα και σχέσεις με εμπλεκόμενους φορείς 11

ΕΡΩΤΗΜΑΤΟΛΟΓΙΟ ΜΕΛΩΝ ΟΜ.Ε.Α 1ος Άξονας: Αξιολόγηση Παρεχόμενων Υπηρεσιών της ΜΟ.ΔΙ.Π. προς τις ΟΜ.Ε.Α 2ος Άξονας: Πληροφοριακό Σύστημα και Ηλεκτρονικό Ερωτηματολόγιο 12

Εισαγωγή σε λογισμικό στατιστικής επεξεργασίας (SPSS v.20). Τακτοποίηση των μεταβλητών, κωδικοποίηση, ορισμός ετικετών, ορισμός ελλειπουσών τιμών. Εφαρμογή διερευνητικής παραγοντικής ανάλυσης για τον υπολογισμό κλιμάκων. Υπολογισμός αξιοπιστίας των κλιμάκων (σε συνδυασμό με το παραπάνω βήμα). Εφαρμογή ανάλυσης συστάδων προκειμένου να διερευνηθεί η ύπαρξη φυσικών ομαδοποιήσεων με βάση τις αντιλήψεις στο σύνολο των ερωτώμενων. Εξαγωγή απλών περιγραφικών στατιστικών μέτρων με πίνακες και διαγράμματα (συχνότητες, μέτρα θέσης και διασποράς (παραμετρικά και μη), ιστογράμματα, ραβδογράμματα κλπ). Εκτίμηση διαστημάτων εμπιστοσύνης σε μεταβλητές ενδιαφέροντος. Εκτέλεση στατιστικών ελέγχων υποθέσεων, κυρίως διμεταβλητών, (anova, t- test,chi square etc) σε περιπτώσεις ενδιαφέροντος. 13 Στατιστική Ανάλυση των Ερωτηματολογίων

Αυτοεκτίμηση: Τα μέλη της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α διακρίνονται από ένα υψηλό βαθμό αυτοεκτίμησης, γεγονός που αποτυπώνεται στις στάσεις που τηρούν σχετικά με την ποιότητα του έργου τους, τα επαγγελματικά προσόντα τους, τη δυνατότητα ελευθερίας λόγου και δράσης, τη μεταξύ τους συνεργασία και την ανταπόκρισή τους στις απαιτήσεις του αξιολογικού τους έργου. 14 ΑΠΟΤΕΛΕΣΜΑΤΑ ΕΡΩΤΗΜΑΤΟΛΟΓΙΟΥ ΜΕΛΩΝ ΤΗΣ ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. ΑΠΟΤΕΛΕΣΜΑΤΑ

Κλίμα: Το κλίμα στη ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α παρουσιάζεται ως «ιδανικό», καθώς η σύνθεση των ομάδων του Επιστημονικού και του Διοικητικού προσωπικού φαίνεται να διασφαλίζει την καλή συνεργασία και την εν τέλει επιτυχία του επιτελούμενου έργου. Στην κατεύθυνση σημαντικό ρόλο διαδραματίζει η στάση της Διεύθυνσης αλλά και οι υποδομές του Ιδρύματος που διευκολύνουν το έργο της Υπηρεσίας. 15

Πρωτοβουλίες: Τα μέλη της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α φαίνεται ότι προτιμούν να ακολουθούν συγκεκριμένες οδηγίες της Διεύθυνσης παρά να αναλαμβάνουν πρωτοβουλίες. Το γεγονός αυτό ενδεχομένως σχετίζεται με τη πολυσχιδή φύση της αξιολογικής διαδικασίας στο Ε.Κ.Π.Α. αλλά και το περιορισμένο πλαίσιο ενεργειών που υπαγορεύεται από την Α.Δ.Ι.Π., το οποίο δεν ευνοεί τον δημιουργικό αυτοσχεδιασμό και την αυτενέργεια. 16

Διεύθυνση: Η Διεύθυνση της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α φαίνεται να απολαμβάνει την αναγνώριση και τη στήριξη των μελών της Υπηρεσίας σε πολύ μεγάλο βαθμό. Ιδιαίτερα αξίζει να σημειωθεί η θετική στάση της Διεύθυνσης απέναντι στην ελευθερία έκφρασης των μελών και στην αντιμετώπιση των προσωπικών τους προβλημάτων. 17

Προβολή: Το έργο της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α φαίνεται να προβάλλεται με τον κατάλληλο τρόπο και στον απαραίτητο βαθμό, μέσω της ιστοσελίδας της Υπηρεσίας και των ιστοσελίδων κοινωνικής δικτύωσης (YouTube, facebook, twitter). Επιπλέον, αναγνωρίζεται η ανάγκη ενίσχυσης του Blog και του Newsletter της Υπηρεσίας, για την αποτελεσματικότερη διάδοση του έργου της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. 18

Πληροφοριακό Σύστημα: Το Πληροφοριακό Σύστημα της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α φαίνεται να αποτελεί το σημαντικότερο πρόβλημα για τα μέλη της. Η στάση αυτή ενδεχομένως ενισχύεται από το γεγονός ότι τα μέλη της Υπηρεσίας γίνονται αποδέκτες των παραπόνων των ΟΜ.Ε.Α., που δυσανασχετούν για την επιπρόσθετη επιβάρυνση του έργου τους με τη συγκέντρωση και καταγραφή των στοιχείων που απαιτούνται για τις εκθέσεις αξιολόγησης. 19

Εμπλεκόμενοι φορείς: Τα μέλη της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α αναγνωρίζουν μια ιδιαίτερη συνεργασία με τους φορείς που εμπλέκονται στο έργο της αξιολόγησης, ενδυναμώνοντας με αυτό τον τρόπο τη θετική εξωστρέφεια της Υπηρεσίας αλλά και το δυναμικό προφίλ της, παρά τον ελάχιστο χρόνο δραστηριοποίησής της στο χώρο του Ιδρύματος. 20

ΑΠΟΤΕΛΕΣΜΑΤΑ ΕΡΩΤΗΜΑΤΟΛΟΓΙΟΥ ΜΕΛΩΝ ΟΜ.Ε.Α. ΤΟΥ Ε.Κ.Π.Α. Αποτελεσματικότητα: Τα μέλη των ΟΜ.Ε.Α. αναγνωρίζουν ως καθοριστική τη συμβολή της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α στη διενέργεια των διαδικασιών αξιολόγησης στα Τμήματα του Πανεπιστημίου Αθηνών. Κρίνουν ότι ο ρόλος της είναι ιδιαίτερα σημαντικός για το μέλλον του Ιδρύματος, γεγονός που αποτυπώνει τη μεταστροφή του αρνητικού κλίματος που επικρατούσε παλιότερα σχετικά με τις διαδικασίες αξιολόγησης. 21

Διεύθυνση: Ιδιαίτερα θετική κρίνουν τα μέλη των ΟΜ.Ε.Α. τη στάση της Διεύθυνσης της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α, απέναντι στα προβλήματα που αντιμετωπίζουν στο έργο της αξιολόγησης. Αναγνωρίζουν τον υποστηρικτικό της ρόλο και διαφαίνεται η επιθυμία τους για συνέχιση της στενής συνεργασίας που έχει αναπτυχθεί μεταξύ του Επιστημονικού Υπεύθυνου της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. και των Προέδρων των Τμημάτων και των ΟΜ.Ε.Α. του Ιδρύματος. 22

Επιστημονικοί συνεργάτες ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α: Τα μέλη των ΟΜ.Ε.Α. θεωρούν αποτελεσματικούς και επαρκώς καταρτισμένους τους επιστημονικούς συνεργάτες της Υπηρεσίας, με τους οποίους έρχονται σε επαφή και δείχνουν να επιθυμούν τη βοήθειά τους. Αναγνωρίζουν τον επαγγελματισμό τους και την ευκολία με την οποία έρχονται σε επαφή μαζί τους όταν τους χρειάζονται. 23

Πληροφοριακό Σύστημα: Για τα μέλη ΟΜ.Ε.Α. του Ε.Κ.Π.Α., το Πληροφοριακό Σύστημα φαίνεται να υστερεί, έναντι των υπόλοιπων δομών της Υπηρεσίας. Με δεδομένο τον υψηλό βαθμό γραφειοκρατικών αναγκών που απαιτούνται για τη συμπλήρωση των εκθέσεων αξιολόγησης, τα μέλη ΟΜ.Ε.Α. αναγνωρίζουν ως πρώτη προτεραιότητα της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α την πλήρη αυτοματοποίηση των ενεργειών που απαιτούνται για τη συμπλήρωση των περιγραφικών στοιχείων των εκθέσεων. 24

25 Στα δεδομένα τα οποία προήλθαν από τα ερωτηματολόγια εφαρμόσθηκε ανάλυση συστάδων [1] προκειμένου να διερευνηθεί αν στο δείγμα υπάρχουν φυσικές ομαδοποιήσεις [1] Στα δεδομένα τα οποία προήλθαν από τα ερωτηματολόγια των μελών ΟΜ.Ε.Α. εφαρμόσθηκε ανάλυση συστάδων προκειμένου να διερευνηθεί αν στο δείγμα υπάρχουν φυσικές ομαδοποιήσεις Γενική στάση των μελών ΟΜ.Ε.Α. 1 η ΟΜΑΔΑ Μέλη ΟΜ.Ε.Α. τα οποία έρχονται σε έμμεση επαφή με τη ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. και τα οποία τηρούν μια ουδέτερη έως αρνητική ορισμένες φορές στάση απέναντι στην Υπηρεσία. 1 η ΟΜΑΔΑ Μέλη ΟΜ.Ε.Α. τα οποία έρχονται σε έμμεση επαφή με τη ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. και τα οποία τηρούν μια ουδέτερη έως αρνητική ορισμένες φορές στάση απέναντι στην Υπηρεσία. 2 η ΟΜΑΔΑ Μέλη ΟΜ.Ε.Α. τα οποία έρχονται σε άμεση επαφή με τη ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. και τα οποία τηρούν μια θετική στάση απέναντι στην Υπηρεσία. 2 η ΟΜΑΔΑ Μέλη ΟΜ.Ε.Α. τα οποία έρχονται σε άμεση επαφή με τη ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. και τα οποία τηρούν μια θετική στάση απέναντι στην Υπηρεσία.

M. Q. Patton (2008) 26

Επιτάχυνση των διαδικασιών υλοποίησης του Πληροφοριακού Συστήματος της Υπηρεσίας (ολοκλήρωση και πιλοτική εφαρμογή στις αρχές Οκτωβρίου). 27 Αναπροσαρμογή και αναδιανομή των ρόλων του Επιστημονικού και Διοικητικού προσωπικού της Υπηρεσίας. Επαναπροσδιορισμός της μεθοδολογίας υποστήριξης των Ο.Μ.Ε.Α. Αντίκτυπος της αξιολόγησης της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α.

28 Ανάπτυξη συστήματος ελέγχου των δράσεων αναμόρφωσης των Τμημάτων του Ε.Κ.Π.Α. με βάση τις εκθέσεις Εσωτερικής και Εξωτερικής Αξιολόγησης. Ανάπτυξη Συστήματος Διασφάλισης Ποιότητας της ΜΟ.ΔΙ.Π. Ε.Κ.Π.Α. Οργάνωση σεμιναρίου 65 ωρών με θέμα «Αξιολόγηση και Διασφάλιση Ποιότητας στην Εκπαίδευση» το οποίο παρακολούθησαν μέλη της ΜΟ.ΔΙ.Π. και ΟΜ.Ε.Α. του Ε.Κ.Π.Α., μέλη ΜΟ.ΔΙ.Π. και ΟΜ.Ε.Α. άλλων πανεπιστημίων, Διοικητικό Προσωπικό του Ε.Κ.Π.Α. και πτυχιούχοι Α.Ε.Ι.

29