Λ. Αγγελής, Ν. Βασιλειάδης, Γ. Μανωλόπουλος Τμήμα Πληροφορικής Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης ΑΞΙΟΛΟΓΗΣΗ ΤΩΝ ΔΙΕΘΝΩΝ ΚΑΤΑΤΑΞΕΩΝ ΠΑΝΕΠΙΣΤΗΜΙΩΝ.

Παρουσίαση με θέμα: "Λ. Αγγελής, Ν. Βασιλειάδης, Γ. Μανωλόπουλος Τμήμα Πληροφορικής Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης ΑΞΙΟΛΟΓΗΣΗ ΤΩΝ ΔΙΕΘΝΩΝ ΚΑΤΑΤΑΞΕΩΝ ΠΑΝΕΠΙΣΤΗΜΙΩΝ."— Μεταγράφημα παρουσίασης:

1 Λ. Αγγελής, Ν. Βασιλειάδης, Γ. Μανωλόπουλος Τμήμα Πληροφορικής Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης ΑΞΙΟΛΟΓΗΣΗ ΤΩΝ ΔΙΕΘΝΩΝ ΚΑΤΑΤΑΞΕΩΝ ΠΑΝΕΠΙΣΤΗΜΙΩΝ

2 Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 2 Θεσσαλονίκη, 21 Σεπ 2012

3 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 3

4 Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 4

5 Από τους Εμπόρους των Εθνών στους Εμπόρους των Πανεπιστημίων Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων "

6 Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 6

7 Το μενού Θεσσαλονίκη, 21 Σεπ 2012  Στο κείμενο των πρακτικών  Εισαγωγή : διεθνές περιβάλλον – παγκοσμιοποίηση  Παρουσίαση των 5 εμπορικότερων κατατάξεων  Σχολιασμός κριτηρίων και μεθοδολογιών  Στατιστική ανάλυση για διαπίστωση αποκλίσεων  Εξαγωγή συμπερασμάτων  Στην παρούσα παρουσίαση εστιάζουμε μόνο σε μερικά σημεία Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 7

8 Λίστες Κατάταξης Πανεπιστημίων Θεσσαλονίκη, 21 Σεπ 2012  Συλλέχθηκαν τα δεδομένα από τους ιστοτόπους των κατατάξεων ARWU, THE, QS, SIR και Webometrics με μη αυτοματοποιημένο τρόπο  Ομογενοποιήθηκαν τα δεδομένα  Χρησιμοποιήθηκαν τα δεδομένα του 2011  Webometrics ( Ιανουάριος 2012)  Συγκεντρώθηκαν τα 500 καλύτερα Πανεπιστήμια από κάθε κατάταξη,  THE ( δημοσιεύονται 400 Πανεπιστήμια )  Δεν χρησιμοποιήθηκαν όλα τα δεδομένα στην επεξεργασία Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 8

9 Academic Ranking of World Universities (ARWU) ή Shanghai Ranking Θεσσαλονίκη, 21 Σεπ 2012  Προέρχεται από το Πανεπιστήμιο Shanghai Jiaotong  Ιστορικά η πρώτη λίστα κατάταξης (από το 2003)  Η λίστα κάθε χρόνο αξιολογεί περίπου 1.200 ιδρύματα και δημοσιεύει τα 500 καλύτερα από αυτά  Έχει δεχτεί κριτική:  προσανατολισμός κυρίως στις θετικές-φυσικές επιστήμες  έμφαση στην αριστεία όπως αποτυπώνεται από βραβεία που μπορεί να εξυπηρετούν και σκοπιμότητες  απουσία δεικτών που να σχετίζονται με παρεχόμενη εκπαίδευση  τα αποτελέσματα δεν είναι αναπαράξιμα από τρίτους ακολουθώντας τη δημοσιευμένη μεθοδολογία Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 9

10 ARWU – Δείκτες (6) Θεσσαλονίκη, 21 Σεπ 2012  Αριθμός αποφοίτων που έχουν λάβει βραβεία - 10%  Αριθμός μελών ΔΕΠ που έχουν λάβει βραβεία - 20%  Αριθμός μελών ΔΕΠ που συμπεριλαμβάνονται σε λίστες ερευνητών με πολύ μεγάλο αριθμό ετερο-αναφορών - 20%  Αριθμός δημοσιεύσεων στα Nature και Science - 20%  Αριθμός δημοσιεύσεων που συμπεριλαμβάνονται στις βάσεις δεδομένων SCI & SSCI - 20%  Κανονικοποιημένη ακαδημαϊκή επίδοση - 10% Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 10

11 Θεσσαλονίκη, 21 Σεπ 2012  Αριθμός αποφοίτων που έχουν λάβει βραβεία - 10%  Αριθμός μελών ΔΕΠ που έχουν λάβει βραβεία - 20%  Αριθμός μελών ΔΕΠ που συμπεριλαμβάνονται σε λίστες ερευνητών με πολύ μεγάλο αριθμό ετερο-αναφορών - 20%  Αριθμός δημοσιεύσεων στα Nature και Science - 20%  Αριθμός δημοσιεύσεων που συμπεριλαμβάνονται στις βάσεις δεδομένων SCI & SSCI - 20%  Κανονικοποιημένη ακαδημαϊκή επίδοση - 10% Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 11 ARWU – Δείκτες (6)

12 Θεσσαλονίκη, 21 Σεπ 2012 ΠΑΡΕΚΒΑΣΗ: Τι είναι ο impact factor  O Eugene Garfield (1972) όρισε τον Impact Factor (IF) για περιοδικά  Ο IF για το Journal_X το έτος 2012 είναι το κλάσμα A/B ► A = # αναφορών σε όλα τα άρθρα του ISI κατά το 2012 για εργασίες που δημοσιεύθυκαν στο X κατά τη διετία 2010–11 ► B = # of άρθρων που δημοσιεύθηκαν στο X κατά τη διετία 2010–11  Ο IF υπολογίζεται με δεδομένα που συγκεντρώνονται από το Institute for Scientific Information (ISI), νυν Thomson Reuters, που δημοσιεύει το Science Citation Index και το Social Science Citation Index Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 12

13  Λίγα είναι τα άρθρα που κάνουν τη διαφορά:  Ο Philip Campbell, Editor-in-Chief του Nature, σε μελέτη του 2008 αναφέρθηκε στον IF του 2004 που ήταν ~32 !!  Όταν ανέλυσε τις αναφορές κάθε εργασίας του Nature για την περίοδο αυτή (αναφορές το 2004 σε εργασίες που δημοσιεύθηκαν το 2002 και το 2003), βρήκε ότι το 89% του IF παράγεται από το 25% των εργασιών !!  Ο Campbell έψεξε τον IF για crudeness (ακατέργαστο)  Άλλες κρίσιμες ερωτήσεις:  Γιατί το παράθυρο είναι 2 χρόνια?  Γιατί μετρούμε τις αναφορές προς εργασίες 1 έτους ? ΠΑΡΕΚΒΑΣΗ: Τι είναι ο impact factor O IF EINAI ΛΑΘΟΣ ΕΡΓΑΛΕΙΟ Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 13

14  Λίγα είναι τα άρθρα που κάνουν τη διαφορά:  Ο Philip Campbell, Editor-in-Chief του Nature, σε μελέτη του 2008 αναφέρθηκε στο IF του 2004 που ήταν 32.2 !!  Όταν ανέλυσε τις αναφορές κάθε εργασίας του Nature για την περίοδο αυτή (αναφορές το 2004 σε εργασίες που δημοσιεύθηκαν το 2002 και το 2003), βρήκε ότι το 89% του IF παράγεται από το 25% των εργασιών !  Ο Campbell έψεξε το IF για crudeness (ακατέργαστο)  Άλλες κρίσιμες ερωτήσεις:  Γιατί το παράθυρο είναι 2 χρόνια?  Γιατί μετρούμε τις αναφορές προς εργασίες 1 έτους ? ΠΑΡΕΚΒΑΣΗ: Τι είναι ο impact factor O IF EINAI ΛΑΘΟΣ ΕΡΓΑΛΕΙΟ Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 14

15 Times Higher Education World University Rankings (ΤΗΕ) Θεσσαλονίκη, 21 Σεπ 2012  Δημοσιεύεται από το Βρετανικό περιοδικό Times Higher Education  Αντλεί δεδομένα από την Thomson Reuters (SCI & SSCI)  Ξεκίνησε το 2004 σε συνεργασία με την Quacquarelli Symonds (QS)  το 2010 η συνεργασία σταμάτησε και υπάρχουν πλέον 2 λίστες κατάταξης με διαφορετικές μεθοδολογίες  Έχει διατυπωθεί κριτική:  Ατεκμηρίωτος συνυπολογισμός έρευνας και διδασκαλίας  Εμπλοκή υποκειμενικών κριτηρίων (έρευνα ερωτηματολογίων)  Ευνοεί μικρά ιδρύματα προσανατολισμένα στην έρευνα (θετικές επιστήμες & τεχνολογία), με μεγάλο αριθμό διδακτόρων και λίγους προπτυχιακούς φοιτητές κοκ Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 15

16 ΤΗΕ – Δείκτες (13 σε 5 κατηγορίες ) (1/2) Θεσσαλονίκη, 21 Σεπ 2012  Διδασκαλία (30%)  Φήμη ιδρύματος ως προς τη διδασκαλία (15%)  ερωτηματολόγια Thomson-Reuters  το 2011 συμμετείχαν 17,500 ακαδημαϊκοί από 137 χώρες  Αριθμός εκπονημένων διδακτορικών / μέλος ΔΕΠ (6%)  Αριθμός προπτυχιακών φοιτητών / μέλος ΔΕΠ (4.5%)  Έσοδα (από διδασκαλία) / μέλος ΔΕΠ (2.25%)  Ποσοστό διδακτορικών / προπτυχιακούς τίτλους (2.25%)  Έρευνα (30%)  Φήμη ιδρύματος ως προς την έρευνα (18%)  ερωτηματολόγια Thomson-Reuters  Έσοδα (από έρευνα) / μέλος ΔΕΠ (6%)  Αριθμός δημοσιεύσεων / μέλος ΔΕΠ (6%) Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 16

17 ΤΗΕ – Δείκτες (13 σε 5 κατηγορίες ) (1/2) Θεσσαλονίκη, 21 Σεπ 2012  Διδασκαλία (30%)  Φήμη ιδρύματος ως προς τη διδασκαλία (15%)  ερωτηματολόγια Thomson-Reuters  το 2011 συμμετείχαν 17,500 ακαδημαϊκοί από 137 χώρες  Αριθμός εκπονημένων διδακτορικών / μέλος ΔΕΠ (6%)  Αριθμός προπτυχιακών φοιτητών / μέλος ΔΕΠ (4.5%)  Έσοδα (από διδασκαλία) / μέλος ΔΕΠ (2.25%)  Ποσοστό διδακτορικών / προπτυχιακούς τίτλους (2.25%)  Έρευνα (30%)  Φήμη ιδρύματος ως προς την έρευνα (18%)  ερωτηματολόγια Thomson-Reuters  Έσοδα (από έρευνα) / μέλος ΔΕΠ (6%)  Αριθμός δημοσιεύσεων / μέλος ΔΕΠ (6%) Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 17

18  Ερευνητική απήχηση / ετερο - αναφορές (30%)  Κανονικοποιημένος μέσος όρος ετερο - αναφορών σε εργασίες των μελών ΔΕΠ  Διεθνής διάσταση (7.5%)  Ποσοστό μελών ΔΕΠ από την αλλοδαπή σε σχέση με την ημεδαπή (2.5%)  Ποσοστό αλλοδαπών φοιτητών σε σχέση με ημεδαπούς φοιτητές (2.5%)  Ποσοστό ερευνητικών εργασιών με συν - συγγραφείς από την αλλοδαπή (2.5%)  Έσοδα από τον ιδιωτικό τομέα (2.5%)  Δηλώνουν την καινοτομία που παράγει το ίδρυμα  Διαιρείται δια του αριθμού μελών ΔΕΠ ΤΗΕ – Δείκτες (13 σε 5 κατηγορίες ) (2/2) Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 18

19 Θεσσαλονίκη, 21 Σεπ 2012 Σε ιδρυματικό επίπεδο: • Αδελφοποιήσεις με ιδρύματα ? • Οργάνωση ευρωπαϊκών μεταπτυχιακών (Mundus) ? • Απονομή ευρωπαϊκών διδακτορικών ? • Συμμετοχή σε ευρωπαϊκά R&D έργα ? Σε ατομικό επίπεδο (μέλη ΔΕΠ): • Προσκλήσεις σε συνέδρια, colloquia, summer schools ? • Συμμετοχή σε editorial board περιοδικών ? • Διοργάνωση διεθνών συνεδρίων ? • Συμμετοχή σε επιτροπές προγράμματος συνεδρίων ? ΠΑΡΕΚΒΑΣΗ : Τι είναι η διεθνής διάσταση Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 19

20 QS World University Rankings Θεσσαλονίκη, 21 Σεπ 2012  Εκδίδεται από την Quacquarelli Symonds από το 2004  Παρουσιάζει πολλές ομοιότητες με την THE  Διαφέρουν ως προς τα βάρη, την ανάλυση και τις ΒΔ  Η THE έχει πιο πολλά και αναλυτικά κριτήρια από την QS  Στην ορθή κατεύθυνση η καταμέτρηση των αναφορών  Έχει δεχτεί κριτική:  υπερβολικό ποσοστό (50%) υποκειμενικότητας (έναντι 33% της THE) λόγω των ερωτηματολογίων  πώς επιλέγονται αυτοί που απαντούν τα ερωτηματολόγια;  ερωτηματολόγιο: ζητάται η γνώμη για τα 30 καλύτερα πανεπιστήμια, χωρίς να παρέχονται δεδομένα στα οποία θα βασιστεί αυτή η κατάταξη  παρουσιάζει απότομα σκαμπανεβάσματα ιδρυμάτων από χρόνο σε χρόνο  δεν χρησιμοποιεί νεότερα αξιολογικά εργαλεία, όπως ο h-index και οι γενικεύσεις του Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 20

21 QS – Δείκτες (6) (1/2) Θεσσαλονίκη, 21 Σεπ 2012  Ακαδημαϊκή έρευνα ερωτηματολογίων (40%)  Το περισσότερο αμφισβητούμενο κριτήριο  Χρησιμοποιούνται ακαδημαϊκοί διαφόρων ειδικοτήτων  Ποια είναι κατά τη γνώμη σας τα 30 καλύτερα πανεπιστήμια;  Δεν μπορούν να επιλέξουν το δικό τους  Το 2011 χρησιμοποιήθηκαν 33,744 ερωτηματολόγια από ακαδημαϊκούς που προέρχονται από 140 χώρες  Χρησιμοποιούνται και ερωτηματολόγια προηγούμενων ετών  Έρευνα ερωτηματολογίων εργοδοτών (10%)  Απευθύνεται σε δείγμα εργοδοτών των αποφοίτων των πανεπιστημίων  Το 2011 χρησιμοποιήθηκαν 16,875 ερωτηματολόγια από 130 χώρες  Θεωρείται ότι αντιπροσωπεύει την ποιότητα διδασκαλίας Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 21

22 QS – Δείκτες (6) (1/2) Θεσσαλονίκη, 21 Σεπ 2012  Ακαδημαϊκή έρευνα ερωτηματολογίων (40%)  Το περισσότερο αμφισβητούμενο κριτήριο  Χρησιμοποιούνται ακαδημαϊκοί διαφόρων ειδικοτήτων  Ποια είναι κατά τη γνώμη σας τα 30 καλύτερα πανεπιστήμια;  Δεν μπορούν να επιλέξουν το δικό τους  Το 2011 χρησιμοποιήθηκαν 33,744 ερωτηματολόγια από ακαδημαϊκούς που προέρχονται από 140 χώρες  Χρησιμοποιούνται και ερωτηματολόγια προηγούμενων ετών  Έρευνα ερωτηματολογίων εργοδοτών (10%)  Απευθύνεται σε δείγμα εργοδοτών των αποφοίτων των πανεπιστημίων  Το 2011 χρησιμοποιήθηκαν 16,875 ερωτηματολόγια από 130 χώρες  Θεωρείται ότι αντιπροσωπεύει την ποιότητα διδασκαλίας Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 22

23 QS – Δείκτες (6) (2/2) Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 23  Λόγος φοιτητών προς μέλη ΔΕΠ (20%)  Θεωρείται ότι αντανακλά την αφοσίωση του πανεπιστημίου στη διδασκαλία  Αριθμός ετερο-αναφορών ανά μέλος ΔΕΠ (20%)  Δεδομένα της βάσης Scopus  Αθροίζεται ο συνολικός αριθμός ετερο-αναφορών σε εργασίες της τελευταίας πενταετίας που συνεγράφησαν από μέλη ΔΕΠ και διαιρούνται με τον αριθμό μελών ΔΕΠ.  Διεθνής διάσταση (10%)  Ποσοστό αλλοδαπών φοιτητών (5%)  Ποσοστό αλλοδαπών μελών ΔΕΠ (5%)

24 Ranking Web ή Webometrics Θεσσαλονίκη, 21 Σεπ 2012  Διευθύνεται από το Cybermetrics Lab (Ινστιτούτο CCHS, Ισπανία)  Δημοσιεύεται 2 φορές το χρόνο, από το 2004  Καλύπτει >20.000 ιδρύματα  Κύρια πηγή πληροφορίας είναι ο Παγκόσμιος Ιστός  Θεωρείται ότι οι σημαντικότερες δραστηριότητες ενός ιδρύματος ανακλώνται κατ’ ανάγκη στον ΠΙ  Κατά τούτο η κατάταξη είναι αντικειμενική και επαληθεύσιμη  Έχει δεχτεί κριτική:  ο ΠΙ δεν αποτελείται από πιστοποιημένες ΒΔ  το περιεχόμενο και η συνδεσιμότητα του ΠΙ δεν ελέγχονται ως προς τη σχετικότητα και την αξιοπιστία  η ποσότητα και η δημοτικότητα των ιστοσελίδων ενός ιδρύματος δεν αποδεικνύουν ποιότητα-αριστεία Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 24

25 Webometrics – Δείκτες (4) Θεσσαλονίκη, 21 Σεπ 2012  Παρουσία (20%)  Συνολικός αριθμός ιστοσελίδων-εγγράφων που δημοσιεύονται από το domain του ιδρύματος (Google)  Απήχηση (50%)  Αριθμός εξωτερικών links σε περιεχόμενο του ιδρύματος  Ανοιχτό Επιστημονικό Περιεχόμενο (15%)  Πλήθος εγγράφων του ιδρύματος στο Google Scholar  Αριστεία (15%)  Ποσοστό δημοσιεύσεων του ιδρύματος που ανήκει στο 10% των περισσότερο αναφερόμενων δημοσιεύσεων σε κάθε επιστημονικό πεδίο (από τη SCImago) Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 25

26 Webometrics – Δείκτες (4) Θεσσαλονίκη, 21 Σεπ 2012  Παρουσία (20%)  Συνολικός αριθμός ιστοσελίδων-εγγράφων που δημοσιεύονται από το domain του ιδρύματος (Google)  Απήχηση (50%)  Αριθμός εξωτερικών links σε περιεχόμενο του ιδρύματος  Ανοιχτό Επιστημονικό Περιεχόμενο (15%)  Πλήθος εγγράφων του ιδρύματος στο Google Scholar  Αριστεία (15%)  Ποσοστό δημοσιεύσεων του ιδρύματος που ανήκει στο 10% των περισσότερο αναφερόμενων δημοσιεύσεων σε κάθε επιστημονικό πεδίο (από τη SCImago) ΚΑΝΟΝΙΚΟΠΟΙΗΣΗ = TERRA INCOGNITA Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 26

27 Τι δεν καταλαβαίνετε ? Θεσσαλονίκη, 21 Σεπ 2012  Η αξιολόγηση συνήθως βασίζεται σε έναν αριθμό ανεξαρτήτων ποσοτήτων - παραμέτρων. Μόλις καθοριστούν αυτές οι παράμετροι, τότε εμφανίζεται και ο όρος « βάρος » των διαφόρων παραμέτρων αξιολόγησης. Το βάρος είναι ένας επίσης αυθαίρετος συντελεστής που δίνουμε σε κάθε παράμετρο. Επομένως τον αυθαίρετο αριθμό, τον οποίο έχουμε λόγω της αυθαιρεσίας της επιλογής της μονάδας, τον πολλαπλασιάζουμε με τον αυθαίρετο αριθμό του βάρους και αθροίζουμε αυτά τα γινόμενα για όσες αυθαίρετες παραμέτρους επιλέξαμε. Ο αριθμός ο οποίος προκύπτει, προερχόμενος από τρεις κατηγορίες αυθαιρεσίας, αποτελεί το « αντικειμενικό » πλέον κριτήριο της αξιολόγησης !  Βουγιουκλή Θωμά : « Αξιολογείν ά - λογα », Τα Νέα, Τρίτη 11 Σεπτεμβρίου 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 27

28 Στατιστική Ανάλυση Κατατάξεων Θεσσαλονίκη, 21 Σεπ 2012  Έγινε ομογενοποίηση των δεδομένων: δόθηκαν νέοι αριθμοί κατάταξης που αντιπροσωπεύουν διαστήματα (ομαδοποίηση σε 50άδες και 100άδες)  Η ομαδοποίηση καθιστά την ανάλυση ανθεκτικότερη σε αλλαγές  Η ανάλυση αφορά 847 ιδρύματα που εμφανίζονται σε >=1 λίστα  Η στατιστική ανάλυση έγινε με τη βοήθεια  του συντελεστή συσχέτισης τ του Kendall  της ανάλυση αντιστοιχιών (correspondence analysis)  Οι κατατάξεις παρότι παρουσιάζουν μεταξύ τους στατιστικά σημαντική συσχέτιση, αυτή δεν είναι ισχυρή. Συχνά ιδρύματα που εμφανίζονται στα πρώτα 50 μίας κατάταξης, εμφανίζονται πολύ χαμηλά σε κάποια άλλη κατάταξη  Ιδιαίτερα σημαντικές αλλαγές (πχ άνοδος ή κάθοδος 50 θέσεων) μέσα σε μικρά χρονικά διαστήματα δημιουργούν ερωτήματα αξιοπιστίας και ευαισθησίας  Τεχνικές λεπτομέρειες στο κείμενο των πρακτικών Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 28

29 Θεσσαλονίκη, 21 Σεπ 2012 Ιδρύματα που εμφανίζονται στα 50 πρώτα όλων των κατατάξεων 1Columbia University 2Cornell University 3Harvard University 4Massachusetts Institute of Technology (MIT) 5Stanford University 6University College London 7University of California, Berkeley 8University of California, Los Angeles 9University of Cambridge 10University of Michigan 11University of Oxford 12University of Pennsylvania 13University of Toronto 14University of Wisconsin, Madison 15Yale University Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 29

30 Ιδρύματα που εμφανίζονται στα 100 πρώτα όλων των κατατάξεων InstitutionSCIMAGOTHEARWUQSWeb 1California Institute of Technology51-1001-50 2Columbia University1-50 3Cornell University1-50 4Harvard University1-50 5Johns Hopkins University1-50 51-100 6Kyoto University1-5051-1001-50 51-100 7Massachusetts Institute of Technology (MIT)1-50 8McGill University51-1001-5051-1001-5051-100 9New York University51-1001-50 10Pennsylvania State University51-100 1-5051-1001-50 11Purdue University51-100 1-50 12Stanford University1-50 13Swiss Federal Institute of Technology Zurich (ETH)51-1001-50 14Universitat Munchen51-1001-5051-100 15University College London1-50 16University of British Columbia1-50 51-1001-50 17University of California, Berkeley1-50 18University of California, Los Angeles1-50 19University of California, San Diego1-50 51-1001-50 20University of Cambridge1-50 21University of Chicago51-1001-50 51-100 22University of Edinburgh51-1001-5051-1001-5051-100 23University of Illinois, Urbana Champaign1-50 51-1001-50 24University of Melbourne51-1001-5051-1001-5051-100 25University of Michigan1-50 26University of North Carolina, Chapel Hill51-1001-50 51-1001-50 27University of Oxford1-50 28University of Pennsylvania1-50 29University of Queensland51-100 1-5051-100 30University of Sydney51-100 1-5051-100 31University of Texas, Austin51-1001-50 51-1001-50 32University of Toronto1-50 33University of Washington1-50 51-1001-50 34University of Wisconsin, Madison1-50 35Utrecht University51-100 1-5051-100 36Washington University in Saint Louis51-1001-50 51-100 37Yale University1-50 Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 30 21 31 30 26 26

31 Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 31 ΙΔΡΥΜΑΔΙΑΦΟΡΑ MINMAX Pohang University of Science and Technology432THEWEB Rutgers University411WEBQS Universität Basel396ARWUSCIMAGO Rice University365THESCIMAGO Oregon State University357WEBQS Trinity College Dublin357QSSCIMAGO University of Oregon356WEBQS Harbin Institute of Technology356SCIMAGOARWU University of Georgia355WEBQS Xian Jiao Tong University354SCIMAGOWEB Wuhan University352SCIMAGOQS Maastricht University342QSWEB Louisiana State University340WEBQS Nanyang Technological University336QSWEB National Central University336WEBSCIMAGO Queen Mary University of London336THEWEB Universitat Politècnica de Catalunya332WEBQS Freie Universität Berlin328QSSCIMAGO University of Nebraska, Lincoln328WEBQS Hong Kong University of Science and Technology327QSWEB Μέγιστες Αποκλίσεις Κατατάξεων WEB14 QS13 THE3 SCIMAGO8 ARWU2 Τάση προς μέγιστες αποκλίσεις WEB158 SCIMAGO249 ARWU301-400 QS451-500 THE??? ΑΠΘ

32 Επιλογικά - τεχνικά  Όλες οι κατατάξεις αν και βασίζονται σε λίγο-πολύ κοινά δεδομένα, εντούτοις παρουσιάζουν σημαντικές αποκλίσεις [παράξενες μάλιστα]  Όλες οι κατατάξεις στραγγίζουν τις εμπορικές βάσεις δεδομένων ή τον Παγκόσμιο Ιστό [ξύγγι από τη μύγα]  Αν ήθελαν αποτελέσει ενδελεχείς μηχανές, τότε θα έπρεπε να εφεύρουν άλλους δείκτες και μετα-δείκτες [και μάλιστα με πολλαπλή κανονικοποίηση]  Πέρα από την αυθαιρεσία οι κατατάξεις είναι αδιαφανείς και μη αναπαράξιμες σε μεγάλο βαθμό [άκρατος υποκειμενισμός]  Δεν δηλώνουν κάτι απολύτως συγκεκριμένο, σαν τα αποτελέσματα των φοιτητικών εκλογών [καθείς διαβάζει κατά το δοκούν, κάποια κατάταξη θα βολεύει τους σκοπούς του]  Καταρρακωμένη η αξιοπιστία τους Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 32

33  ΤΙ ΝΑ ΚΑΝΟΥΜΕ  Να γνωρίσουμε την προέλευση, τα συμφέροντα, τις συνεργασίες, τις σκοπιμότητές τους  Να μη τσιμπάμε δολώματα του πολιτιστικού ιμπεριαλισμού  Να μην δαπανώμαστε ως οργανισμός και ως άτομα  Να μην προσαρμοζόμαστε εμείς στα κριτήρια των αξιολογήσεων, αυτές οφείλουν να κουμπώσουν στο concept ΝΕΟ πανεπιστήμιο  Να εμπεδώσουμε κουλτούρα αξιολόγησης  Να εκσυγχρονίσουμε την έρευνα και τη διδασκαλία μας  Να βελτιώσουμε και το μη μετρήσιμο, την εικόνα του δημόσιου χώρου μας [βαγόνι, στέκια, ευπρέπεια, υγειινή]  ΕΝΑ ΒΗΜΑ ΕΜΠΡΟΣ, ΔΥΟ ΒΗΜΑΤΑ ΠΙΣΩ Θεσσαλονίκη, 21 Σεπ 2012 Επιλογικά – μετά τα φυσικά Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 33

34 Θεσσαλονίκη, 21 Σεπ 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, " Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων " 34