ΑΞΙΟΛΟΓΗΣΗ ΤΩΝ ΔΙΕΘΝΩΝ ΚΑΤΑΤΑΞΕΩΝ ΠΑΝΕΠΙΣΤΗΜΙΩΝ Λ. Αγγελής, Ν. Βασιλειάδης, Γ. Μανωλόπουλος Τμήμα Πληροφορικής Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης

Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012 Θεσσαλονίκη, 21 Σεπ 2012

Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Οι αγορές Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Η παγκοσμιοποίηση Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Οι κατατάξεις Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Από τους Εμπόρους των Εθνών στους Εμπόρους των Πανεπιστημίων Υπότιτλος Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Το μενού Στο κείμενο των πρακτικών Εισαγωγή: διεθνές περιβάλλον – παγκοσμιοποίηση Παρουσίαση των 5 εμπορικότερων κατατάξεων Σχολιασμός κριτηρίων και μεθοδολογιών Στατιστική ανάλυση για διαπίστωση αποκλίσεων Εξαγωγή συμπερασμάτων Στην παρούσα παρουσίαση εστιάζουμε μόνο σε μερικά σημεία Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Λίστες Κατάταξης Πανεπιστημίων Συλλέχθηκαν τα δεδομένα από τους ιστοτόπους των κατατάξεων ARWU, THE, QS, SIR και Webometrics με μη αυτοματοποιημένο τρόπο Ομογενοποιήθηκαν τα δεδομένα Χρησιμοποιήθηκαν τα δεδομένα του 2011 Webometrics (Ιανουάριος 2012) Συγκεντρώθηκαν τα 500 καλύτερα Πανεπιστήμια από κάθε κατάταξη, THE (δημοσιεύονται 400 Πανεπιστήμια) Δεν χρησιμοποιήθηκαν όλα τα δεδομένα στην επεξεργασία Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Academic Ranking of World Universities (ARWU) ή Shanghai Ranking Προέρχεται από το Πανεπιστήμιο Shanghai Jiaotong Ιστορικά η πρώτη λίστα κατάταξης (από το 2003) Η λίστα κάθε χρόνο αξιολογεί περίπου 1.200 ιδρύματα και δημοσιεύει τα 500 καλύτερα από αυτά Έχει δεχτεί κριτική: προσανατολισμός κυρίως στις θετικές-φυσικές επιστήμες έμφαση στην αριστεία όπως αποτυπώνεται από βραβεία που μπορεί να εξυπηρετούν και σκοπιμότητες απουσία δεικτών που να σχετίζονται με παρεχόμενη εκπαίδευση τα αποτελέσματα δεν είναι αναπαράξιμα από τρίτους ακολουθώντας τη δημοσιευμένη μεθοδολογία Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ARWU – Δείκτες (6) Αριθμός αποφοίτων που έχουν λάβει βραβεία - 10% Αριθμός μελών ΔΕΠ που έχουν λάβει βραβεία - 20% Αριθμός μελών ΔΕΠ που συμπεριλαμβάνονται σε λίστες ερευνητών με πολύ μεγάλο αριθμό ετερο-αναφορών - 20% Αριθμός δημοσιεύσεων στα Nature και Science - 20% Αριθμός δημοσιεύσεων που συμπεριλαμβάνονται στις βάσεις δεδομένων SCI & SSCI - 20% Κανονικοποιημένη ακαδημαϊκή επίδοση - 10% Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ARWU – Δείκτες (6) Επιλογές πολιτικές-οικονομικές Αριθμός αποφοίτων που έχουν λάβει βραβεία - 10% Αριθμός μελών ΔΕΠ που έχουν λάβει βραβεία - 20% Αριθμός μελών ΔΕΠ που συμπεριλαμβάνονται σε λίστες ερευνητών με πολύ μεγάλο αριθμό ετερο-αναφορών - 20% Αριθμός δημοσιεύσεων στα Nature και Science - 20% Αριθμός δημοσιεύσεων που συμπεριλαμβάνονται στις βάσεις δεδομένων SCI & SSCI - 20% Κανονικοποιημένη ακαδημαϊκή επίδοση - 10% Επιλογές πολιτικές-οικονομικές Δείκτης αριστείας Επιλογές με βάση impact factor Επιλογές με βάση το impact factor – Συμμαχία στον πόλεμο του περιεχομένου Επιτέλους!! Αλλά πώς?? Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ΠΑΡΕΚΒΑΣΗ: Τι είναι ο impact factor O Eugene Garfield (1972) όρισε τον Impact Factor (IF) για περιοδικά Ο IF για το Journal_X το έτος 2012 είναι το κλάσμα A/B ►A = # αναφορών σε όλα τα άρθρα του ISI κατά το 2012 για εργασίες που δημοσιεύθυκαν στο X κατά τη διετία 2010–11 ►B = # of άρθρων που δημοσιεύθηκαν στο X κατά τη διετία 2010–11 Ο IF υπολογίζεται με δεδομένα που συγκεντρώνονται από το Institute for Scientific Information (ISI), νυν Thomson Reuters, που δημοσιεύει το Science Citation Index και το Social Science Citation Index Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ΠΑΡΕΚΒΑΣΗ: Τι είναι ο impact factor Λίγα είναι τα άρθρα που κάνουν τη διαφορά: Ο Philip Campbell, Editor-in-Chief του Nature, σε μελέτη του 2008 αναφέρθηκε στον IF του 2004 που ήταν ~32 !! Όταν ανέλυσε τις αναφορές κάθε εργασίας του Nature για την περίοδο αυτή (αναφορές το 2004 σε εργασίες που δημοσιεύθηκαν το 2002 και το 2003), βρήκε ότι το 89% του IF παράγεται από το 25% των εργασιών !! Ο Campbell έψεξε τον IF για crudeness (ακατέργαστο) Άλλες κρίσιμες ερωτήσεις: Γιατί το παράθυρο είναι 2 χρόνια? Γιατί μετρούμε τις αναφορές προς εργασίες 1 έτους ? sic O IF EINAI ΛΑΘΟΣ ΕΡΓΑΛΕΙΟ Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ΠΑΡΕΚΒΑΣΗ: Τι είναι ο impact factor Λίγα είναι τα άρθρα που κάνουν τη διαφορά: Ο Philip Campbell, Editor-in-Chief του Nature, σε μελέτη του 2008 αναφέρθηκε στο IF του 2004 που ήταν 32.2 !! Όταν ανέλυσε τις αναφορές κάθε εργασίας του Nature για την περίοδο αυτή (αναφορές το 2004 σε εργασίες που δημοσιεύθηκαν το 2002 και το 2003), βρήκε ότι το 89% του IF παράγεται από το 25% των εργασιών ! Ο Campbell έψεξε το IF για crudeness (ακατέργαστο) Άλλες κρίσιμες ερωτήσεις: Γιατί το παράθυρο είναι 2 χρόνια? Γιατί μετρούμε τις αναφορές προς εργασίες 1 έτους ? Negotiable, irreproducible, mathematically unsound garbage in – garbage out O IF EINAI ΛΑΘΟΣ ΕΡΓΑΛΕΙΟ Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Times Higher Education World University Rankings (ΤΗΕ) Αντλεί δεδομένα από την Thomson Reuters (SCI & SSCI) Ξεκίνησε το 2004 σε συνεργασία με την Quacquarelli Symonds (QS) το 2010 η συνεργασία σταμάτησε και υπάρχουν πλέον 2 λίστες κατάταξης με διαφορετικές μεθοδολογίες Έχει διατυπωθεί κριτική: Ατεκμηρίωτος συνυπολογισμός έρευνας και διδασκαλίας Εμπλοκή υποκειμενικών κριτηρίων (έρευνα ερωτηματολογίων) Ευνοεί μικρά ιδρύματα προσανατολισμένα στην έρευνα (θετικές επιστήμες & τεχνολογία), με μεγάλο αριθμό διδακτόρων και λίγους προπτυχιακούς φοιτητές κοκ Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ΤΗΕ – Δείκτες (13 σε 5 κατηγορίες) (1/2) Διδασκαλία (30%) Φήμη ιδρύματος ως προς τη διδασκαλία (15%) ερωτηματολόγια Thomson-Reuters το 2011 συμμετείχαν 17,500 ακαδημαϊκοί από 137 χώρες Αριθμός εκπονημένων διδακτορικών / μέλος ΔΕΠ (6%) Αριθμός προπτυχιακών φοιτητών / μέλος ΔΕΠ (4.5%) Έσοδα (από διδασκαλία) / μέλος ΔΕΠ (2.25%) Ποσοστό διδακτορικών / προπτυχιακούς τίτλους (2.25%) Έρευνα (30%) Φήμη ιδρύματος ως προς την έρευνα (18%) Έσοδα (από έρευνα) / μέλος ΔΕΠ (6%) Αριθμός δημοσιεύσεων / μέλος ΔΕΠ (6%) Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ΤΗΕ – Δείκτες (13 σε 5 κατηγορίες) (1/2) Διδασκαλία (30%) Φήμη ιδρύματος ως προς τη διδασκαλία (15%) ερωτηματολόγια Thomson-Reuters το 2011 συμμετείχαν 17,500 ακαδημαϊκοί από 137 χώρες Αριθμός εκπονημένων διδακτορικών / μέλος ΔΕΠ (6%) Αριθμός προπτυχιακών φοιτητών / μέλος ΔΕΠ (4.5%) Έσοδα (από διδασκαλία) / μέλος ΔΕΠ (2.25%) Ποσοστό διδακτορικών / προπτυχιακούς τίτλους (2.25%) Έρευνα (30%) Φήμη ιδρύματος ως προς την έρευνα (18%) Έσοδα (από έρευνα) / μέλος ΔΕΠ (6%) Αριθμός δημοσιεύσεων / μέλος ΔΕΠ (6%) 33% αγνώστου ταυτότητος ιπτάμενο αντικείμενο Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ΤΗΕ – Δείκτες (13 σε 5 κατηγορίες) (2/2) Ερευνητική απήχηση / ετερο-αναφορές (30%) Κανονικοποιημένος μέσος όρος ετερο-αναφορών σε εργασίες των μελών ΔΕΠ Διεθνής διάσταση (7.5%) Ποσοστό μελών ΔΕΠ από την αλλοδαπή σε σχέση με την ημεδαπή (2.5%) Ποσοστό αλλοδαπών φοιτητών σε σχέση με ημεδαπούς φοιτητές (2.5%) Ποσοστό ερευνητικών εργασιών με συν-συγγραφείς από την αλλοδαπή (2.5%) Έσοδα από τον ιδιωτικό τομέα (2.5%) Δηλώνουν την καινοτομία που παράγει το ίδρυμα Διαιρείται δια του αριθμού μελών ΔΕΠ Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ΠΑΡΕΚΒΑΣΗ: Τι είναι η διεθνής διάσταση Σε ιδρυματικό επίπεδο: Αδελφοποιήσεις με ιδρύματα ? Οργάνωση ευρωπαϊκών μεταπτυχιακών (Mundus) ? Απονομή ευρωπαϊκών διδακτορικών ? Συμμετοχή σε ευρωπαϊκά R&D έργα ? Σε ατομικό επίπεδο (μέλη ΔΕΠ): Προσκλήσεις σε συνέδρια, colloquia, summer schools ? Συμμετοχή σε editorial board περιοδικών ? Διοργάνωση διεθνών συνεδρίων ? Συμμετοχή σε επιτροπές προγράμματος συνεδρίων ? Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

QS World University Rankings Εκδίδεται από την Quacquarelli Symonds από το 2004 Παρουσιάζει πολλές ομοιότητες με την THE Διαφέρουν ως προς τα βάρη, την ανάλυση και τις ΒΔ Η THE έχει πιο πολλά και αναλυτικά κριτήρια από την QS Στην ορθή κατεύθυνση η καταμέτρηση των αναφορών Έχει δεχτεί κριτική: υπερβολικό ποσοστό (50%) υποκειμενικότητας (έναντι 33% της THE) λόγω των ερωτηματολογίων πώς επιλέγονται αυτοί που απαντούν τα ερωτηματολόγια; ερωτηματολόγιο: ζητάται η γνώμη για τα 30 καλύτερα πανεπιστήμια, χωρίς να παρέχονται δεδομένα στα οποία θα βασιστεί αυτή η κατάταξη παρουσιάζει απότομα σκαμπανεβάσματα ιδρυμάτων από χρόνο σε χρόνο δεν χρησιμοποιεί νεότερα αξιολογικά εργαλεία, όπως ο h-index και οι γενικεύσεις του Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

QS – Δείκτες (6) (1/2) Ακαδημαϊκή έρευνα ερωτηματολογίων (40%) Το περισσότερο αμφισβητούμενο κριτήριο Χρησιμοποιούνται ακαδημαϊκοί διαφόρων ειδικοτήτων Ποια είναι κατά τη γνώμη σας τα 30 καλύτερα πανεπιστήμια; Δεν μπορούν να επιλέξουν το δικό τους Το 2011 χρησιμοποιήθηκαν 33,744 ερωτηματολόγια από ακαδημαϊκούς που προέρχονται από 140 χώρες Χρησιμοποιούνται και ερωτηματολόγια προηγούμενων ετών Έρευνα ερωτηματολογίων εργοδοτών (10%) Απευθύνεται σε δείγμα εργοδοτών των αποφοίτων των πανεπιστημίων Το 2011 χρησιμοποιήθηκαν 16,875 ερωτηματολόγια από 130 χώρες Θεωρείται ότι αντιπροσωπεύει την ποιότητα διδασκαλίας Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Ρωτήθηκε κανείς από εσάς? Γνωρίζετε κάποιον που να ρωτήθηκε? QS – Δείκτες (6) (1/2) Ακαδημαϊκή έρευνα ερωτηματολογίων (40%) Το περισσότερο αμφισβητούμενο κριτήριο Χρησιμοποιούνται ακαδημαϊκοί διαφόρων ειδικοτήτων Ποια είναι κατά τη γνώμη σας τα 30 καλύτερα πανεπιστήμια; Δεν μπορούν να επιλέξουν το δικό τους Το 2011 χρησιμοποιήθηκαν 33,744 ερωτηματολόγια από ακαδημαϊκούς που προέρχονται από 140 χώρες Χρησιμοποιούνται και ερωτηματολόγια προηγούμενων ετών Έρευνα ερωτηματολογίων εργοδοτών (10%) Απευθύνεται σε δείγμα εργοδοτών των αποφοίτων των πανεπιστημίων Το 2011 χρησιμοποιήθηκαν 16,875 ερωτηματολόγια από 130 χώρες Θεωρείται ότι αντιπροσωπεύει την ποιότητα διδασκαλίας Ρωτήθηκε κανείς από εσάς? Γνωρίζετε κάποιον που να ρωτήθηκε? Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

QS – Δείκτες (6) (2/2) Λόγος φοιτητών προς μέλη ΔΕΠ (20%) Θεωρείται ότι αντανακλά την αφοσίωση του πανεπιστημίου στη διδασκαλία Αριθμός ετερο-αναφορών ανά μέλος ΔΕΠ (20%) Δεδομένα της βάσης Scopus Αθροίζεται ο συνολικός αριθμός ετερο-αναφορών σε εργασίες της τελευταίας πενταετίας που συνεγράφησαν από μέλη ΔΕΠ και διαιρούνται με τον αριθμό μελών ΔΕΠ. Διεθνής διάσταση (10%) Ποσοστό αλλοδαπών φοιτητών (5%) Ποσοστό αλλοδαπών μελών ΔΕΠ (5%) Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Ranking Web ή Webometrics Διευθύνεται από το Cybermetrics Lab (Ινστιτούτο CCHS, Ισπανία) Δημοσιεύεται 2 φορές το χρόνο, από το 2004 Καλύπτει >20.000 ιδρύματα Κύρια πηγή πληροφορίας είναι ο Παγκόσμιος Ιστός Θεωρείται ότι οι σημαντικότερες δραστηριότητες ενός ιδρύματος ανακλώνται κατ’ ανάγκη στον ΠΙ Κατά τούτο η κατάταξη είναι αντικειμενική και επαληθεύσιμη Έχει δεχτεί κριτική: ο ΠΙ δεν αποτελείται από πιστοποιημένες ΒΔ το περιεχόμενο και η συνδεσιμότητα του ΠΙ δεν ελέγχονται ως προς τη σχετικότητα και την αξιοπιστία η ποσότητα και η δημοτικότητα των ιστοσελίδων ενός ιδρύματος δεν αποδεικνύουν ποιότητα-αριστεία Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Webometrics – Δείκτες (4) Παρουσία (20%) Συνολικός αριθμός ιστοσελίδων-εγγράφων που δημοσιεύονται από το domain του ιδρύματος (Google) Απήχηση (50%) Αριθμός εξωτερικών links σε περιεχόμενο του ιδρύματος Ανοιχτό Επιστημονικό Περιεχόμενο (15%) Πλήθος εγγράφων του ιδρύματος στο Google Scholar Αριστεία (15%) Ποσοστό δημοσιεύσεων του ιδρύματος που ανήκει στο 10% των περισσότερο αναφερόμενων δημοσιεύσεων σε κάθε επιστημονικό πεδίο (από τη SCImago) Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Webometrics – Δείκτες (4) Παρουσία (20%) Συνολικός αριθμός ιστοσελίδων-εγγράφων που δημοσιεύονται από το domain του ιδρύματος (Google) Απήχηση (50%) Αριθμός εξωτερικών links σε περιεχόμενο του ιδρύματος Ανοιχτό Επιστημονικό Περιεχόμενο (15%) Πλήθος εγγράφων του ιδρύματος στο Google Scholar Αριστεία (15%) Ποσοστό δημοσιεύσεων του ιδρύματος που ανήκει στο 10% των περισσότερο αναφερόμενων δημοσιεύσεων σε κάθε επιστημονικό πεδίο (από τη SCImago) ΚΑΝΟΝΙΚΟΠΟΙΗΣΗ = TERRA INCOGNITA Το μέγεθος μετράει Δημοφιλία – star system html, pdf, ps, όλα μα όλα Επιτέλους αριστεία !! Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Τι δεν καταλαβαίνετε ? Η αξιολόγηση συνήθως βασίζεται σε έναν αριθμό ανεξαρτήτων ποσοτήτων-παραμέτρων. Μόλις καθοριστούν αυτές οι παράμετροι, τότε εμφανίζεται και ο όρος «βάρος» των διαφόρων παραμέτρων αξιολόγησης. Το βάρος είναι ένας επίσης αυθαίρετος συντελεστής που δίνουμε σε κάθε παράμετρο. Επομένως τον αυθαίρετο αριθμό, τον οποίο έχουμε λόγω της αυθαιρεσίας της επιλογής της μονάδας, τον πολλαπλασιάζουμε με τον αυθαίρετο αριθμό του βάρους και αθροίζουμε αυτά τα γινόμενα για όσες αυθαίρετες παραμέτρους επιλέξαμε. Ο αριθμός ο οποίος προκύπτει, προερχόμενος από τρεις κατηγορίες αυθαιρεσίας, αποτελεί το «αντικειμενικό» πλέον κριτήριο της αξιολόγησης! Βουγιουκλή Θωμά: «Αξιολογείν ά-λογα», Τα Νέα, Τρίτη 11 Σεπτεμβρίου 2012 Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Στατιστική Ανάλυση Κατατάξεων Έγινε ομογενοποίηση των δεδομένων: δόθηκαν νέοι αριθμοί κατάταξης που αντιπροσωπεύουν διαστήματα (ομαδοποίηση σε 50άδες και 100άδες) Η ομαδοποίηση καθιστά την ανάλυση ανθεκτικότερη σε αλλαγές Η ανάλυση αφορά 847 ιδρύματα που εμφανίζονται σε >=1 λίστα Η στατιστική ανάλυση έγινε με τη βοήθεια του συντελεστή συσχέτισης τ του Kendall της ανάλυση αντιστοιχιών (correspondence analysis) Οι κατατάξεις παρότι παρουσιάζουν μεταξύ τους στατιστικά σημαντική συσχέτιση, αυτή δεν είναι ισχυρή. Συχνά ιδρύματα που εμφανίζονται στα πρώτα 50 μίας κατάταξης, εμφανίζονται πολύ χαμηλά σε κάποια άλλη κατάταξη Ιδιαίτερα σημαντικές αλλαγές (πχ άνοδος ή κάθοδος 50 θέσεων) μέσα σε μικρά χρονικά διαστήματα δημιουργούν ερωτήματα αξιοπιστίας και ευαισθησίας Τεχνικές λεπτομέρειες στο κείμενο των πρακτικών Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Ιδρύματα που εμφανίζονται στα 50 πρώτα όλων των κατατάξεων 1 Columbia University 2 Cornell University 3 Harvard University 4 Massachusetts Institute of Technology (MIT) 5 Stanford University 6 University College London 7 University of California, Berkeley 8 University of California, Los Angeles 9 University of Cambridge 10 University of Michigan 11 University of Oxford 12 University of Pennsylvania 13 University of Toronto 14 University of Wisconsin, Madison 15 Yale University Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Ιδρύματα που εμφανίζονται στα 100 πρώτα όλων των κατατάξεων   Institution SCIMAGO THE ARWU QS Web 1 California Institute of Technology 51-100 1-50 2 Columbia University 3 Cornell University 4 Harvard University 5 Johns Hopkins University 6 Kyoto University 7 Massachusetts Institute of Technology (MIT) 8 McGill University 9 New York University 10 Pennsylvania State University 11 Purdue University 12 Stanford University 13 Swiss Federal Institute of Technology Zurich (ETH) 14 Universitat Munchen 15 University College London 16 University of British Columbia 17 University of California, Berkeley 18 University of California, Los Angeles 19 University of California, San Diego 20 University of Cambridge 21 University of Chicago 22 University of Edinburgh 23 University of Illinois, Urbana Champaign 24 University of Melbourne 25 University of Michigan 26 University of North Carolina, Chapel Hill 27 University of Oxford 28 University of Pennsylvania 29 University of Queensland 30 University of Sydney 31 University of Texas, Austin 32 University of Toronto 33 University of Washington 34 University of Wisconsin, Madison 35 Utrecht University 36 Washington University in Saint Louis 37 Yale University 21 31 30 26 26 Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Μέγιστες Αποκλίσεις Κατατάξεων ΙΔΡΥΜΑ ΔΙΑΦΟΡΑ MIN MAX Pohang University of Science and Technology 432 THE WEB Rutgers University 411 QS Universität Basel 396 ARWU SCIMAGO Rice University 365 Oregon State University 357 Trinity College Dublin University of Oregon 356 Harbin Institute of Technology University of Georgia 355 Xian Jiao Tong University 354 Wuhan University 352 Maastricht University 342 Louisiana State University 340 Nanyang Technological University 336 National Central University Queen Mary University of London Universitat Politècnica de Catalunya 332 Freie Universität Berlin 328 University of Nebraska, Lincoln Hong Kong University of Science and Technology 327 Τάση προς μέγιστες αποκλίσεις WEB 14 QS 13 THE 3 SCIMAGO 8 ARWU 2 ΑΠΘ WEB 158 SCIMAGO 249 ARWU 301-400 QS 451-500 THE ??? Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Επιλογικά - τεχνικά Όλες οι κατατάξεις αν και βασίζονται σε λίγο-πολύ κοινά δεδομένα, εντούτοις παρουσιάζουν σημαντικές αποκλίσεις [παράξενες μάλιστα] Όλες οι κατατάξεις στραγγίζουν τις εμπορικές βάσεις δεδομένων ή τον Παγκόσμιο Ιστό [ξύγγι από τη μύγα] Αν ήθελαν αποτελέσει ενδελεχείς μηχανές, τότε θα έπρεπε να εφεύρουν άλλους δείκτες και μετα-δείκτες [και μάλιστα με πολλαπλή κανονικοποίηση] Πέρα από την αυθαιρεσία οι κατατάξεις είναι αδιαφανείς και μη αναπαράξιμες σε μεγάλο βαθμό [άκρατος υποκειμενισμός] Δεν δηλώνουν κάτι απολύτως συγκεκριμένο, σαν τα αποτελέσματα των φοιτητικών εκλογών [καθείς διαβάζει κατά το δοκούν, κάποια κατάταξη θα βολεύει τους σκοπούς του] Καταρρακωμένη η αξιοπιστία τους Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

Επιλογικά – μετά τα φυσικά ΤΙ ΝΑ ΚΑΝΟΥΜΕ Να γνωρίσουμε την προέλευση, τα συμφέροντα, τις συνεργασίες, τις σκοπιμότητές τους Να μη τσιμπάμε δολώματα του πολιτιστικού ιμπεριαλισμού Να μην δαπανώμαστε ως οργανισμός και ως άτομα Να μην προσαρμοζόμαστε εμείς στα κριτήρια των αξιολογήσεων, αυτές οφείλουν να κουμπώσουν στο concept ΝΕΟ πανεπιστήμιο Να εμπεδώσουμε κουλτούρα αξιολόγησης Να εκσυγχρονίσουμε την έρευνα και τη διδασκαλία μας Να βελτιώσουμε και το μη μετρήσιμο, την εικόνα του δημόσιου χώρου μας [βαγόνι, στέκια, ευπρέπεια, υγειινή] ΕΝΑ ΒΗΜΑ ΕΜΠΡΟΣ, ΔΥΟ ΒΗΜΑΤΑ ΠΙΣΩ Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012

ευχαριστω για την προσοχη και την κατανοηση σασ! ευχαριστω για την προσοχη και την κατανοηση σασ! Αγγελής, Βασιλειάδης, Μανωλόπουλος, "Αξιολόγηση των Διεθνών Κατατάξεων Πανεπιστήμιων" Θεσσαλονίκη, 21 Σεπ 2012