Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 1 Μάνος Ρουμελιώτης Πανεπιστήμιο Μακεδονίας Εισαγωγή στην Παράλληλη Επεξεργασία.

Παρουσίαση με θέμα: "Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 1 Μάνος Ρουμελιώτης Πανεπιστήμιο Μακεδονίας Εισαγωγή στην Παράλληλη Επεξεργασία."— Μεταγράφημα παρουσίασης:

1 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 1 Μάνος Ρουμελιώτης Πανεπιστήμιο Μακεδονίας http://www.etl.uom.gr/mr/ Εισαγωγή στην Παράλληλη Επεξεργασία

2 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 2 Ορισμός Ιστορική Αναδρομή Κατηγοριοποιήσεις Απόδοση Αρχιτεκτονικές Προγραμματισμός Θέματα

3 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 3 Παράλληλη επεξεργασία είναι η εκτέλεση ενός προγράμματος από πολλούς επεξεργαστές που επικοινωνούν και συνεργάζονται μεταξύ τους. Τι είναι Παράλληλη Επεξεργασία;

4 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 4 Illiac IV University of Illinois 1965-1975 Ιστορική Αναδρομή

5 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 5 Cray-1 1976 «Ο πιο ακριβός καναπές του κόσμου» Vector processing 250 Mflops peak

6 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 6 Intel ASCII Red 1996 4536 processors (MPP) R peak 1.8 Tflops

7 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 7 IBM Blue Gene/L 2007 212992 processors (MPP) R max 478 Tflops R peak 596 Tflops

8 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 8 Επίσης σήμερα Grid Computing!

9 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 9 SISD (Single Instruction Single Data) π.χ. PC SIMD (Single Instruction Multiple Data) π.χ. Illiac IV, Cray-1 MIMD π.χ. Blue Gene/L MISD ??? 1. Πώς επεξεργάζονται τα δεδομένα; Κατηγοριοποιήσεις 2. Πόσο ισχυροί είναι οι επεξεργαστές; Coarse Grain (χονδρόκοκκο) π.χ. Blue Gene/L Fine Grain (λεπτόκοκκο) π.χ. Array processors Ενδιάμεσο 3. Πώς προσπελαύνουν τη μνήμη; Κοινή μνήμη Τοπική μνήμη Κοινή και τοπική μνήμη 4. Πώς ανταλλάσουν πληροφορίες και μηνύματα; Τοπολογία -> δίκτυο διασύνδεσης -> αρχιτεκτονική

10 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 10 «Ταχύτητα» = Εύρος data bus X Συχνότητα ρολογιού Επίπεδο Παραλληλισμού 4 bit8 bit16 bit 32 bit 64 bit Η συχνότητα ρολογιού είναι καθαρά τεχνολογικό θέμα. Άρα: Πρώτη προσπάθεια παραλληλισμού σε εύρος bit 197119751978 1985 1995 Δεύτερη προσπάθεια παραλληλισμού σε επίπεδο εντολής. Εμπόδιο: η αλληλεξάρτηση εντολών Τι απομένει; Πολλαπλοί επεξεργαστές ή επεξεργαστικά στοιχεία (PEs)

11 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 11 α) Speed-up (επιτάχυνση;): Πόσο πιο γρήγορο είναι το παράλληλο σύστημα σε σχέση με ένα σειριακό Απόδοση Παράλληλου Συστήματος Speed-up= T1T1 TnTn όπου: T 1 : χρόνος εκτέλεσης στο σειριακό σύστημα T n : χρόνος εκτέλεσης σε σύστημα με n επεξεργαστές β) Efficiency (βαθμός χρήσης): Πόσο αποδοτικά χρησιμοποιούνται οι επεξεργαστές του παράλληλου συστήματος Efficiency= Speed-up n

12 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 12 Το θεωρητικά μέγιστο Speed-up είναι ίσο με n. Αλλά ισχύει ο νόμος του Ahmdal Νόμος του Ahmdal Speed-up= όπου P είναι το ποσοστό παραλληλοποίησης

13 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 13 Αρχιτεκτονικές: δίκτυα διασύνδεσης

14 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 14 Αρχιτεκτονικές: τοπολογίες μνήμης Crossbar=μεγάλο κόστος Κοινός δίαυλος=μποτιλιάρισμα

15 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 15 Systolic Arrays PEs μικρής υπολ. Ισχύος Ροή δεδομένων μέσω των PEs Εξειδικευμένες εφαρμογές

16 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 16 Έστω ότι θέλουμε να υπολογίσουμε την τιμή του πολυωνύμου: f(x)=a 4 x 4 +a 3 x 3 +a 2 x 2 +a 1 x 1 +a 0, για κάποια τιμή του x. Γράφουμε το πολυώνυμο ως: f(x)=(((a 4 x+a 3 )x+a 2 )x+a 1 )x+a 0 Παράδειγμα πολυωνύμου a0a0 a1a1 a2a2 a3a3 a4a4 xx x x a 4 x+a 3 (a 4 x+a 3 )x+a 2 (((a 4 x+a 3 )x+a 2 )x+a 1 )x+a 0 ((a 4 x+a 3 )x+a 2 )x+a 1 f(x)

17 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 17 Η αύξηση της ταχύτητας των δικτύων επέτρεψε την επικοινωνία επεξεργαστών μέσω TCP/IP δικτύου. Grid Computing Ετερογενείς υπολογιστές Μικρής σχετικά ισχύος Χονδρόκοκκο σύστημα

18 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 18 RankSiteComputerProcessorsYearRmaxRpeak 1 DOE/NNSA/LLNL United States BlueGene/L - eServer Blue Gene Solution IBM2129922007478200596378 2 Forschungszentrum Juelich (FZJ) Germany JUGENE - Blue Gene/P Solution IBM655362007167300222822 3 SGI/New Mexico Computing Applications Center (NMCAC) United States SGI Altix ICE 8200, Xeon quad core 3.0 GHz SGI143362007126900172032 4 Computational Research Laboratories, TATA SONS India EKA - Cluster Platform 3000 BL460c, Xeon 53xx 3GHz, Infiniband Hewlett-Packard142402007117900170880 5 Government Agency Sweden Cluster Platform 3000 BL460c, Xeon 53xx 2.66GHz, Infiniband Hewlett-Packard137282007102800146430 6 NNSA/Sandia National Laboratories United States Red Storm - Sandia/ Cray Red Storm, Opteron 2.4 GHz dual core Cray Inc.265692007102200127531 7 Oak Ridge National Laboratory United States Jaguar - Cray XT4/XT3 Cray Inc.230162006101700119350 8 IBM Thomas J. Watson Research Center United States BGW - eServer Blue Gene Solution IBM40960200591290114688 9 NERSC/LBNL United States Franklin - Cray XT4, 2.6 GHz Cray Inc19320200785368100464 10 Stony Brook/BNL, New York Center for Computational Sciences United States New York Blue - eServer Blue Gene Solution IBM36864200782161103219 Top 10 Supercomputers

19 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 19 Προγραμματισμός Επικοινωνία και συγχρονισμός Προσδιορισμός ανεξάρτητων διεργασιών («σπάσιμο» του προβλήματος) Αποφυγή αδιεξόδων και μποτιλιαρισμάτων Στόχοι: Μεγάλη Απόδοση Ευρεία εφαρμογή Εύκολος προγραμματισμός Επεκτασιμότητα Χαμηλό κόστος

20 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 20 Μοντέλα επικοινωνίας 1)Μοιραζόμενη μνήμη Η επικοινωνία γίνεται έμμεσα με εγγραφές και αναγνώσεις Συνήθως η μνήμη αποτελεί σημείο μποτιλιαρίσματος 2)Ανταλλαγή μηνυμάτων Κάθε επεξεργαστής προσπελαύνει μόνο τη δική του μνήμη Επικοινωνία με ανταλλαγή μηνυμάτων

21 Τμήμα Διοίκησης Τεχνολογίας - 15/5/2008 21 Τυποποιημένο μοντέλο προγραμματισμού Αν και υπάρχουν εξειδικευμένες γλώσσες (π.χ. Parallel Fortran), η αυτόματη παραλληλοποίηση δεν είναι η αποδοτικότερη MPI (Message Passing Interface): Προσδιορίζει μόνο τον τρόπο επικοινωνίας Ανεξάρτητο από γλώσσα προγραμματισμού Ανεξάρτητο από αρχιτεκτονική Επιτρέπει επικοινωνία σημείου-προς-σημείο και καθολική (global)