Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Μάνος Ρουμελιώτης Πανεπιστήμιο Μακεδονίας Εισαγωγή στην Παράλληλη Επεξεργασία

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Ορισμός Ιστορική Αναδρομή Κατηγοριοποιήσεις Απόδοση Αρχιτεκτονικές Προγραμματισμός Θέματα

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Παράλληλη επεξεργασία είναι η εκτέλεση ενός προγράμματος από πολλούς επεξεργαστές που επικοινωνούν και συνεργάζονται μεταξύ τους. Τι είναι Παράλληλη Επεξεργασία;

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Illiac IV University of Illinois Ιστορική Αναδρομή

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Cray «Ο πιο ακριβός καναπές του κόσμου» Vector processing 250 Mflops peak

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Intel ASCII Red processors (MPP) R peak 1.8 Tflops

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ IBM Blue Gene/L processors (MPP) R max 478 Tflops R peak 596 Tflops

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Επίσης σήμερα Grid Computing!

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ SISD (Single Instruction Single Data) π.χ. PC SIMD (Single Instruction Multiple Data) π.χ. Illiac IV, Cray-1 MIMD π.χ. Blue Gene/L MISD ??? 1. Πώς επεξεργάζονται τα δεδομένα; Κατηγοριοποιήσεις 2. Πόσο ισχυροί είναι οι επεξεργαστές; Coarse Grain (χονδρόκοκκο) π.χ. Blue Gene/L Fine Grain (λεπτόκοκκο) π.χ. Array processors Ενδιάμεσο 3. Πώς προσπελαύνουν τη μνήμη; Κοινή μνήμη Τοπική μνήμη Κοινή και τοπική μνήμη 4. Πώς ανταλλάσουν πληροφορίες και μηνύματα; Τοπολογία -> δίκτυο διασύνδεσης -> αρχιτεκτονική

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ «Ταχύτητα» = Εύρος data bus X Συχνότητα ρολογιού Επίπεδο Παραλληλισμού 4 bit8 bit16 bit 32 bit 64 bit Η συχνότητα ρολογιού είναι καθαρά τεχνολογικό θέμα. Άρα: Πρώτη προσπάθεια παραλληλισμού σε εύρος bit Δεύτερη προσπάθεια παραλληλισμού σε επίπεδο εντολής. Εμπόδιο: η αλληλεξάρτηση εντολών Τι απομένει; Πολλαπλοί επεξεργαστές ή επεξεργαστικά στοιχεία (PEs)

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ α) Speed-up (επιτάχυνση;): Πόσο πιο γρήγορο είναι το παράλληλο σύστημα σε σχέση με ένα σειριακό Απόδοση Παράλληλου Συστήματος Speed-up= T1T1 TnTn όπου: T 1 : χρόνος εκτέλεσης στο σειριακό σύστημα T n : χρόνος εκτέλεσης σε σύστημα με n επεξεργαστές β) Efficiency (βαθμός χρήσης): Πόσο αποδοτικά χρησιμοποιούνται οι επεξεργαστές του παράλληλου συστήματος Efficiency= Speed-up n

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Το θεωρητικά μέγιστο Speed-up είναι ίσο με n. Αλλά ισχύει ο νόμος του Ahmdal Νόμος του Ahmdal Speed-up= όπου P είναι το ποσοστό παραλληλοποίησης

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Αρχιτεκτονικές: δίκτυα διασύνδεσης

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Αρχιτεκτονικές: τοπολογίες μνήμης Crossbar=μεγάλο κόστος Κοινός δίαυλος=μποτιλιάρισμα

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Systolic Arrays PEs μικρής υπολ. Ισχύος Ροή δεδομένων μέσω των PEs Εξειδικευμένες εφαρμογές

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Έστω ότι θέλουμε να υπολογίσουμε την τιμή του πολυωνύμου: f(x)=a 4 x 4 +a 3 x 3 +a 2 x 2 +a 1 x 1 +a 0, για κάποια τιμή του x. Γράφουμε το πολυώνυμο ως: f(x)=(((a 4 x+a 3 )x+a 2 )x+a 1 )x+a 0 Παράδειγμα πολυωνύμου a0a0 a1a1 a2a2 a3a3 a4a4 xx x x a 4 x+a 3 (a 4 x+a 3 )x+a 2 (((a 4 x+a 3 )x+a 2 )x+a 1 )x+a 0 ((a 4 x+a 3 )x+a 2 )x+a 1 f(x)

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Η αύξηση της ταχύτητας των δικτύων επέτρεψε την επικοινωνία επεξεργαστών μέσω TCP/IP δικτύου. Grid Computing Ετερογενείς υπολογιστές Μικρής σχετικά ισχύος Χονδρόκοκκο σύστημα

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ RankSiteComputerProcessorsYearRmaxRpeak 1 DOE/NNSA/LLNL United States BlueGene/L - eServer Blue Gene Solution IBM Forschungszentrum Juelich (FZJ) Germany JUGENE - Blue Gene/P Solution IBM SGI/New Mexico Computing Applications Center (NMCAC) United States SGI Altix ICE 8200, Xeon quad core 3.0 GHz SGI Computational Research Laboratories, TATA SONS India EKA - Cluster Platform 3000 BL460c, Xeon 53xx 3GHz, Infiniband Hewlett-Packard Government Agency Sweden Cluster Platform 3000 BL460c, Xeon 53xx 2.66GHz, Infiniband Hewlett-Packard NNSA/Sandia National Laboratories United States Red Storm - Sandia/ Cray Red Storm, Opteron 2.4 GHz dual core Cray Inc Oak Ridge National Laboratory United States Jaguar - Cray XT4/XT3 Cray Inc IBM Thomas J. Watson Research Center United States BGW - eServer Blue Gene Solution IBM NERSC/LBNL United States Franklin - Cray XT4, 2.6 GHz Cray Inc Stony Brook/BNL, New York Center for Computational Sciences United States New York Blue - eServer Blue Gene Solution IBM Top 10 Supercomputers

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Προγραμματισμός Επικοινωνία και συγχρονισμός Προσδιορισμός ανεξάρτητων διεργασιών («σπάσιμο» του προβλήματος) Αποφυγή αδιεξόδων και μποτιλιαρισμάτων Στόχοι: Μεγάλη Απόδοση Ευρεία εφαρμογή Εύκολος προγραμματισμός Επεκτασιμότητα Χαμηλό κόστος

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Μοντέλα επικοινωνίας 1)Μοιραζόμενη μνήμη Η επικοινωνία γίνεται έμμεσα με εγγραφές και αναγνώσεις Συνήθως η μνήμη αποτελεί σημείο μποτιλιαρίσματος 2)Ανταλλαγή μηνυμάτων Κάθε επεξεργαστής προσπελαύνει μόνο τη δική του μνήμη Επικοινωνία με ανταλλαγή μηνυμάτων

Τμήμα Διοίκησης Τεχνολογίας - 15/5/ Τυποποιημένο μοντέλο προγραμματισμού Αν και υπάρχουν εξειδικευμένες γλώσσες (π.χ. Parallel Fortran), η αυτόματη παραλληλοποίηση δεν είναι η αποδοτικότερη MPI (Message Passing Interface): Προσδιορίζει μόνο τον τρόπο επικοινωνίας Ανεξάρτητο από γλώσσα προγραμματισμού Ανεξάρτητο από αρχιτεκτονική Επιτρέπει επικοινωνία σημείου-προς-σημείο και καθολική (global)