Αξιολόγηση ερευνητικού έργου Τμημάτων AEI: Δείκτες ΑΔΙΠ και βιβλιομετρικοί δείκτες Ν.Μ. Βαξεβανίδης Π.Α. Αστερής Ε. Δεσποτίδη Τμ. Εκπ/κών Έργων Υποδομής Τμ. Εκπ/κών Μηχανολογίας Γ. Τύπας Πρόεδρος ΜΟΔΙΠ

ΕΙΣΑΓΩΓΗ Το θέμα της αξιολόγησης τόσο της εκπαιδευτικής διαδικασίας όσο και της επιστημονικής δραστηριότητας του Προσωπικού (μέλη ΔΕΠ ή ΕΠ) που στελεχώνει τα ΑΕΙ είναι ιδιαίτερα καίριο σήμερα. Με βάση το Ν.3374/2005 αλλά και τον πρόσφατο Νόμο «Δομή, λειτουργία, διασφάλιση της ποιότητας των σπουδών και διεθνοποίηση των ανώτατων εκπαιδευτικών ιδρυμάτων» (N.4009/2011) είναι πλέον και απαίτηση.

ΕΙΣΑΓΩΓΗ (2) Κρίσιμο χαρακτηριστικό μιας τέτοιας διαδικασίας αξιολόγησης πέρα από την εγκυρότητα και την αξιοπιστία της είναι και η αποδοτικότητά της (δυνατότητα εξαγωγής συμπερασμάτων με τη χρήση σχετικά περιορισμένων πόρων). Όπως είναι γνωστό τα κριτήρια για την αξιολόγηση αφορούν : α) Την ποιότητα του διδακτικού έργου, β) Την ποιότητα του ερευνητικού έργου, γ) Την ποιότητα των προγραμμάτων σπουδών, δ) Την ποιότητα των λοιπών υπηρεσιών. Στην παρούσα εισήγηση συζητείται η αξιολόγηση του ερευνητικού έργου τμημάτων ΑΕΙ με χρήση βιβλιομετρικών δεικτών και παρουσιάζεται μια πιλοτική εφαρμογή της μεθόδου.

1. Θεωρητικό υπόβαθρο Τα τελευταία χρόνια οι ποσοτικές, βιβλιομετρικές μέθοδοι για την αξιολόγηση του ερευνητικού έργου σε εθνική κλίμακα αλλά και σε ιδρυματική (ΑΕΙ, Τμήματα, Τομείς, Εργαστήρια) ή ακόμα και ατομική (για μεμονωμένους ερευνητές) έχουν όλο και μεγαλύτερη διάδοση. Από την άλλη πλευρά οι ποιοτικές μέθοδοι για την αποτίμηση του ερευνητικού έργου, με βασικότερη την «αξιολόγηση από ομοτίμους» (peer review) εξακολουθούν να έχουν μια ευρεία αποδοχή στην επιστημονική κοινότητα. Το μοντέλο αυτό, όμως δεν στερείται μειονεκτημάτων: Απαιτεί σημαντικούς ανθρώπινους πόρους. Η διαδικασία αυτή πιθανά επηρεάζεται από τις αντιλήψεις και τη συγκεκριμένη ερευνητική στόχευση των κριτών.

1. Θεωρητικό υπόβαθρο (2) Για τις βιβλιομετρικές μεθόδους και ειδικότερα για την ανάλυση αναφορών ως πλεονεκτήματα θεωρούνται: η αντικειμενικότητα των μετρήσεων η ευκολία και το χαμηλό κόστος, η δυνατότητα μετρήσεων για έναν απεριόριστο αριθμό δημοσιεύσεων, η διαβαθμισιμότητα από το μικρο-επίπεδο (άτομα) στο μακρο-επίπεδο (παγκόσμιες μετρήσεις). Διαπιστώνεται θετική συσχέτιση μεταξύ της αξιολόγησης από ομοτίμους και των βιβλιομετρικών μετρήσεων.

Οι μελέτες για την αξιολόγηση Πανεπιστημιακών Τμημάτων με βιβλιομετρικές μεθόδους στην Ελλάδα είναι μάλλον ολιγάριθμες. Zachos, G. (1991). Research output evaluation of 2 university departments in Greece with the use of bibliometric indicators, Scientometrics, 21, 195-221. Katsaros, D., Matsoukas, V. & Manolopoulos, Y. (2008). Evaluating Greek Departments of Computer Science & Engineering using Bibliometric Indices, Proceedings of the Panhellenic Conference on Informatics (PCI), 93-102. Lazaridis, T. (2010). Ranking university departments using the mean h-index, Scientometrics, 82(2), 211-216. Ζωντανός, K. & Κατρανίδης, Σ. (2009). Συγκριτική Αξιολόγηση Ερευνητικού Έργου Τμημάτων Οικονομικής Επιστήμης Πανεπιστημίων Ελλάδας και Κύπρου, Θεσσαλονίκη: Παν. Μακεδονίας. ΕΚΤ/ΕΙΕ (2010), Ελληνικές Επιστημονικές Δημοσιεύσεις 1993 – 2008, Αθήνα. Vaxevanidis, N.M., Despotidi, H. Prokopiou H. & Koutsomichalis, A. (2011). On the evaluation of the Quality of Research in Greek HEIs using Bibliometric Indices, International Journal for Quality research, 5(4), 247-251. Altanopoulou, P., Dontsidou, M. & Tselios N. (2012). Evaluation of 93 major Greek University Departments using Scholar Google, Quality in Higher Education, 18(1), 111-137.

2. Βιβλιομετρικοί δείκτες Παραγωγικότητα (Productivity) P: Απόλυτος αριθμός δημοσιεύσεων (σε επίπεδο Τμήματος) Pf: Αριθμός δημοσιεύσεων ανά μέλος ΔΕΠ/ΕΠ Pav: μέσος αριθμός δημοσιεύσεων ανά μέλος ΔΕΠ/ΕΠ (σε επίπεδο Τμήματος) Συνολική απήχηση – αναγνώριση ερευνητικού έργου (Impact) C: απόλυτος αριθμός ετερο-αναφορών, Cs: απόλυτος αριθμός αναφορών (περιλαμβάνονται και οι αυτο-αναφορές) Cf: απόλυτος αριθμός ετερο-αναφορών ανά μέλος ΔΕΠ/ΕΠ Cfs: απόλυτος αριθμός αναφορών ανά μέλος ΔΕΠ/ΕΠ Cav: μέσος αριθμός ετερο-αναφορών ανά μέλος ΔΕΠ/ΕΠ

2. Βιβλιομετρικοί δείκτες (2) Αποδοτικότητα (Efficiency) c: Μέσος αριθμός ετερο-αναφορών ανά δημοσίευση (Pf/Cf) cav: Μέσος αριθμός ετερο-αναφορών ανά δημοσίευση (σε επίπεδοΤμήματος, C/P) p-index: δείκτης p P0: αριθμός δημοσιεύσεων χωρίς αναφορές p0: ποσοστό δημοσιεύσεων χωρίς αναφορές Συνδυαστικοί δείκτες [Hybrid (productivity + impact)] h-index: δείκτης h (Hirsch index) λαμβάνοντας υπόψη μόνο τις ετερο-αναφορές, hs-index:: δείκτης h λαμβάνοντας υπόψη όλες τις αναφορές.

2. Βιβλιομετρικοί δείκτες (3) Ο πλέον δημοφιλής και ευρύτερα χρησιμοποιούμενος δείκτης αυτής της κατηγορίας είναι ο δείκτης h που προτάθηκε από τον J.E. Hirsch(2005). Για το δείκτη αυτόν, ο ίδιος ο Hirsch δίνει τον εξής ορισμό: «ένας επιστήμονας έχει h-index ίσο με h, εάν h από σύνολο Np των δημοσιεύσεών του έχει τουλάχιστον h αναφορές η κάθε μία, και οι υπόλοιπες δημοσιεύσεις (Νp-h) έχουν το μέγιστο h αναφορές η κάθε μία» Οι δείκτες h και hs υπολογίζονται είτε σε ατομικό επίπεδο είτε ως μέσοι όροι σε επίπεδο Τμήματος. Για αξιόπιστα συμπεράσματα, πρέπει να χρησιμοποιούνται πολλοί δείκτες, συνδυαστικά.

3. Δείκτες ΑΔΙΠ Ο Πίνακας 15 αφορά τον αριθμό επιστημονικών δημοσιεύσεων των μελών Δ.Ε.Π. του Τμήματος. Ο Πίνακας 16 αφορά την αναγνώριση του ερευνητικού έργου του Τμήματος. Ο Πίνακας 17 αφορά τη διεθνή ερευνητική/ ακαδημαϊκή παρουσία του Τμήματος (ερευνητικά προγράμματα και συμμετοχή μελών ΔΕΠ σε διοικητικές θέσεις διεθνών ερευνητικών/ επιστημονικών οργανισμών ή/και εταιρειών. [βλ. e-αρχείο Επιτομή Στοιχείων του Αξιολογούμενου Τμήματος – ιστοσελίδα ΑΔΙΠ]

4. Μεθοδολογία (1) Μια συγκριτική αναζήτηση στις τρεις κύριες βάσεις δεδομένων (ISI/Web of Science, Scopus, Google Scholar) και η κριτική ανασκόπηση προηγούμενων συναφών εργασιών οδηγεί στο συμπέρασμα ότι η Scopus παρουσιάζει ευρύτερη κάλυψη από την ISI/Web of Science ενώ δεν παρουσιάζει τα προβλήματα της Google Scholar. Επιλέχθηκε η βάση δεδομένων Scopus για τη συλλογή βιβλιομετρικών στοιχείων των μελών Δ.Ε.Π. των Τμημάτων.

4. Μεθοδολογία (2) Καταγραφή των Τμημάτων που αφορούν στην έρευνα. Καταγραφή του μόνιμου εκπαιδευτικού προσωπικού των Τμημάτων αυτών. Αναζήτηση στην Scopus και καταγραφή βιβλιομετρικών στοιχείων για κάθε μέλος Ε.Π. Έλεγχος των στοιχείων για διπλοεγγραφές, συνωνυμίες κλπ. Κατάστρωση συγκεντρωτικών πινάκων ανά Τμήμα. Κατάστρωση του συγκεντρωτικού Πίνακα για τα πέντε Τεχνολογικά Τμημάτα της ΑΣΠΑΙΤΕ.

Αποτελέσματα Πίνακας 1: Βιβλιομετρικοί δείκτες Τμήματος (Τμήμα Εκπ/ών Μηχ/γίας ΑΣΠΑΙΤΕ).

Αποτελέσματα (2) Πίνακας 2: Βιβλιομετρικοί δείκτες Τεχνολογικών Τμημάτων ΑΣΠΑΙΤΕ.

Τα στοιχεία του Πίνακα 1 αντιστοιχούν, προφανώς, σε μία δεδομένη χρονική στιγμή. Μεταβάλλοντας όμως την χρονική περίοδο αναζήτησης και χρησιμοποιώντας ορισμένα από τα στατιστικά εργαλεία της βάσης προκύπτει εύκολα η εξέλιξη των δεικτών συναρτήσει του χρόνου. Τα στοιχεία του Πίνακα 2 πρέπει να μελετηθούν σε συνδυασμό με τα λεπτομερέστερα στοιχεία που προκύπτουν από τον Πίνακα 1 (και τους παρόμοιους Πίνακες όλων των Τμημάτων, έχοντας υπόψη ότι για την αξιολόγηση της ακαδημαϊκής έρευνας απαιτείται η χρήση πολλαπλών δεικτών . Επισημαίνεται επίσης ότι οι δημοσιεύσεις αποτελούν μόνο μια συνιστώσα στη διαδικασία παραγωγής και μεταφοράς γνώσεις που συντελείται στα ΑΕΙ. Τα στοιχεία του Πίνακα 2 επιτρέπουν, προφανώς, και την κατάταξη (ranking) ομοειδών Τμημάτων ως προς επιλεγμένο, κάθε φορά, κριτήριο.

Μια αντιπαραβολή των προηγούμενων Πινάκων 1 και 2 με τους Πίνακες 15, 16 και 17 της ΑΔΙΠ οδηγεί στο συμπέρασμα ότι τα βιβλιομετρικά στοιχεία καλύπτουν επαρκώς τα κύρια στοιχεία των Πινάκων 15 (αριθμό δημοσιεύσεων σε περιοδικά και συνέδρια) και 16 (ετεροαναφορές) ενώ δεν παρέχουν πληροφορίες συμβατές με τον Πίνακα 17 (ερευνητικά προγράμματα και επιστημονικές εταιρείες). Τα κύρια προβλήματα, κατά την γνώμη μας, εντοπίζονται αφ΄ ενός στην ευρύτητα της βάσης δεδομένων, και αφ΄ ετέρου στην κατηγοριοποίηση (ταξινόμηση) των εργασιών και της αναγνώρισης που προτείνουν οι Πίνακες 15 και 16 της ΑΔΙΠ, αντίστοιχα. Οι δείκτες της ΑΔΙΠ, αναμφισβήτητα, διαθέτουν μεγαλύτερο εύρος αλλά ορισμένοι στερούνται αντικειμενικών ποιοτικών χαρακτηριστικών.

Συμπεράσματα Στη παρούσα εργασία παρουσιάσθηκε μια ολοκληρωμένη μεθοδολογία για την αξιολόγηση του ερευνητικού έργου μονάδων/τμημάτων ακαδημαϊκών ιδρυμάτων με χρήση βιβλιομετρικών δεικτών. Η εν λόγω μεθοδολογία εφαρμόσθηκε για την αξιολόγηση του ερευνητικού έργου των Τεχνολογικών Τμημάτων της ΑΣΠΑΙΤΕ. Καταδεικνύεται ότι η αξιολόγηση αυτού του τύπου είναι απλή, αποτελεσματική, γρήγορη και διαφανής. Μπορεί δε να επεκταθεί σχετικά εύκολα και στο σύνολο ομοειδών Τμημάτων Πανεπιστημίων και ΤΕΙ.

Αποτελέσματα (3)

ΕΠΙΛΟΓΟΣ Η μέθοδος αξιολόγησης με βιβλιομετρικούς δείκτες: Είναι μια αξιόπιστη μέθοδος που μπορεί να υλοποιηθεί με λογική χρήση ανθρώπινων πόρων. Mπορεί να εφαρμοστεί σε μικρο-επίπεδο αλλά και σε μάκρο-επίπεδο. Επιτρέπει την ταχεία συγκριτική αξιολόγηση ομοειδών τμημάτων ή Ιδρυμάτων.

Σας ευχαριστώ για την προσοχή σας! Αξιολόγηση ερευνητικού έργου Τμημάτων AEI: Δείκτες ΑΔΙΠ και βιβλιομετρικοί δείκτες Σας ευχαριστώ για την προσοχή σας!