1 Α. Βαφειάδης Τ.Ε.Ι Θεσσαλονίκης – Τμήμα Πληροφορικής Μάθημα Προηγμένες Αρχιτεκτονικές Υπολογιστών Εργαστηριακό Μέρος Μέρος: Πρώτο Απόδοση συστημάτων Εξάμηνο: Έβδομο Καθηγητής: Α. Βαφειάδης 2007

2 Α. Βαφειάδης ? Τι στο καλό συμβαίνει ?

3 Α. Βαφειάδης Μερικοί είναι πιο ευγενικοί

4 Α. Βαφειάδης Τα παθήματα Ta τελευταία χρόνια, εταιρείες, όπως Amazon.com Inc., eBay Inc., and Yahoo Inc. έχουν ταχύτατα αναπτυχθεί από το μηδέν σε επενδύσεις εκατομμυρίων δολαρίων. Εν τούτοις ο μετασχηματισμός δεν ήταν ομαλός. Οι χρήστες παραπονιούνται για καθυστερήσεις στην επικοινωνία με τους web servers που φτάνουν μέχρι την αδυναμία εξυπηρέτησης By Paul Korzeniowski 28 Aug 2001 | availability.com Οι υπολογιστές έκλεισαν προσωρινά το ηλεκτρονικό βιβλιοπωλείο Amazon.com. Αυτό έμεινε κλειστό από τις 10 το πρωί μέχρι τις 10 το βράδυ The Seattle Times 1/8/98

5 Α. Βαφειάδης Διαπιστώσεις Οι εταιρείες ηλεκτρονικού εμπορίου (e-commerce companies) επικεντρώνουν την προσοχή τους στο περιεχόμενο των sites και παραμελούν το γεγονός ότι ένας βασικός παράγοντας για να απόκτηση και διατήρηση πελατών είναι η απόδοση των web εφαρμογών. Gene Shklar, Keynote, The New York Times Tripod’s Web site είναι η δουλειά μας. Αν δεν γίνει γρήγορο και αξιόπιστο γρήγορα θα χρεοκοπήσουμε Don Zereski Tripod’s vice-president (Internet World)

6 Α. Βαφειάδης ΣΤΟΧΟΣ του Εργαστηρίου Η μέτρηση της απόδοσης ενός υπολογιστικού Συστήματος και των επιμέρους μονάδων Computer Performance Evaluation

7 Α. Βαφειάδης ΠΕΡΙΕΧΟΜΕΝΑ  Δείκτες απόδοσης  CPU και instruction set performance  Workload (φόρτος εργασίας)  Μέθοδοι αποτίμησης  Μοντελοποίηση(Modeling)  Αναλυτικά Μοντέλα  Μοντέλα προσομοίωσης  Μελέτη απόδοσης Συστήματος  Απόδοση Cache και Main Memory  Απόδοση CPU  Αποτίμηση Απόδοσης(performance evaluation)

8 Α. Βαφειάδης ΕΡΩΤΗΜΑΤΑ  Τι είναι η αποτίμηση ή εκτίμηση της απόδοσης.  Γιατί και πότε πρέπει να εκτιμήσουμε την απόδοση.  Ποια είναι τα εργαλεία μέτρησης.  Ποιες μεταβλητές (δείκτες απόδοσης) τη χαρακτηρίζουν.  Τι είναι ο φόρτος εργασίας (workload).  Πώς γίνεται ο χαρακτηρισμός του workload.  Πως μπορούμε να μετρήσουμε την απόδοση ενός υπολογιστή πριν αυτός κατασκευαστεί.  Τι είναι η μοντελοποίηση (modeling).  Πότε ένας υπολογιστής είναι «καλύτερος» από έναν άλλο.

9 Α. Βαφειάδης Αποτίμηση απόδοσης Συστήματος  Με τον όρο performance evaluation (αποτίμηση απόδοσης) εννοούμε την εύρεση των αριθμητικών τιμών ή των στατιστικών μεγεθών ή κατανομών των δεικτών απόδοσης  ενός υπολογιστικού συστήματος  των μονάδων ενός υπολογιστικού συστήματος  ενός δικτύου  ενός προγράμματος (συστήματος ή εφαρμογής)

10 Α. Βαφειάδης Γιατί πρέπει να αποτιμήσουμε την απόδοση ενός συστήματος;  Βελτίωση υπάρχοντος συστήματος (improvement) Ένας από τους βασικούς στόχους της αποτίμησης της απόδοσης είναι και η βελτίωση της απόδοσης των συστημάτων που βρίσκονται σε λειτουργία(system tuning).  Προμήθεια νέου συστήματος(Procurement) Κατά τη φάση της επιλογής ενός νέου συστήματος πρέπει να γνωρίζουμε αν το σύστημα Α είναι καλύτερο από το σύστημα Β με γνώμονα πάντα της ανάγκες μας.

11 Α. Βαφειάδης Γιατί πρέπει να μετρήσουμε ;  Σχεδιασμός νέου συστήματος (design) Στη διάρκεια της φάσης του σχεδιασμού χρειάζεται να γνωρίζουμε τη μελλοντική του απόδοση, ώστε να είμαστε σίγουροι ότι θα ανταποκριθεί στους στόχους που τέθηκαν αρχικά.  Προγραμματισμός χωρητικότητας (Capacity planning) Χρειάζεται να γνωρίζουμε αν η χωρητικότητα (μέγιστές τιμές των δεικτών απόδοσης) ενός συστήματος θα είναι αρκετή για να ανταποκριθεί στις απαιτήσεις του περιβάλλοντος (workload) για ένα επιθυμητό επίπεδο απόδοσής

12 Α. Βαφειάδης Workload – capacity planning  Workload (φόρτος εργασίας) είναι το σύνολο των απαιτήσεων των χρηστών ενός συστήματος σε ένα καθορισμένο χρονικό διάστημα.  Capacity planning (προϋπολογισμός της χωρητικότητας) είναι ο εύρεση του αριθμού και των μέγιστων τιμών της χωρητικότητας των μονάδων ενός συστήματος (π.χ Disk Capacity)

13 Α. Βαφειάδης Models  Model είναι ένα αντικείμενο, το οποίο χρησιμοποιείται από κάποιον εξ αιτίας της ομοιότητας του προς ένα πραγματικό σύστημα, ως προς την συμπεριφορά, την δομή και την λειτουργία του.  Model είναι μια αφαίρεση της πραγματικότητας  Στην περίπτωση μας, ονομάζουμε computer model ή Network model είναι ένα πρόγραμμα που προσπαθεί να επιλύσει ή να προσεγγίσει τους δείκτες απόδοσης ενός υπολογιστή ή ενός δικτυού υπολογιστών.  Στη μελέτη της απόδοσης συστημάτων χρησιμοποιούνται  Τα αναλυτικά μοντέλα (analytic models)  Τα μοντέλα προσομοίωσης (simulation models)

14 Α. Βαφειάδης Αναλυτικό μοντέλο – μοντέλο προσομοίωσης  Το αναλυτικό μοντέλο χρησιμοποιεί μαθηματικές υποθέσεις, θεωρίες και εξισώσεις από τον χώρο των στοχαστικών μαθηματικών για την περιγραφή του πραγματικού συστήματος που πρόκειται να μελετήσουμε (π.χ θεωρία ουρών, operational analysis, προσέγγιση).  Το μοντέλο προσομοίωσης είναι ένα πρόγραμμα υπολογιστή, το οποίο μιμείται τις βασικές συμπεριφορές και λειτουργίες του πραγματικού υπό μελέτη συστήματος.

15 Α. Βαφειάδης Ποιο σύστημα είναι πιο γρήγορο ???  Υπόθεση  Συμπέρασμα πρώτο Αν το σύστημα «τρέχει» μόνο αυτά τα δύο προγράμματα τότε το σύστημα C είναι το γρηγορότερο

16 Α. Βαφειάδης Ποιο σύστημα είναι πιο γρήγορο ???  Συμπέρασμα δεύτερο Αν το σύστημα τρέχει καθημερινά 500 φορές το πρόγραμμα P1 και 5 φορές το πρόγραμμα P2 τότε συνολικός χρόνος απασχόλησης για τα τρία συστήματα θα είναι: Σύστημα Α 500*1sec + 5*1000sec = 5500sec Σύστημα Β 500*10sec + 5*100sec = 5500sec Σύστημα C 500*20sec + 5*20sec = 10100sec Άρα τα συστήματα Α και Β έχουν την ίδια απόδοση ενώ το σύστημα C είναι το αργότερο (Η απόδοση ποσοτικοποιείται με τον δείκτη απόδοσης «χρόνος απασχόλησης» ΤΕΛΙΚΟ ΣΥΜΠΕΡΑΣΜΑ ΚΑΛΥΤΕΡΟ ΕΙΝΑΙ ΤΟ ΣΥΣΤΗΜΑ ΠΟΥ ΚΑΝΕΙ ΓΡΗΓΟPΑ ΑΥΤΟ ΠΟΥ ΘΕΛΕΙΣ ΕΣΥ ΝΑ ΚΑΝΕΙ

17 Α. Βαφειάδης Ποιο από τα παρακάτω αεροπλάνα έχει την καλύτερη απόδοση ?? Airplane Passengers Range (mi) Speed (mph) Boeing Boeing BAC/Sud Concorde Douglas DC  Περίπτωση πρώτη: Ταχύτητα πτήσης (BAC/Sud Concorde)  Περίπτωση δεύτερη: Χωρητικότητα (Boeing 747)  Περίπτωση Τρίτη: Εμβέλεια (Douglas DC-8-50)  Περίπτωση τέταρτη: Μεταφορά επιβατών στο λιγότερο χρόνο (passengers*speed) (Boeing 747 )  Περίπτωση τέταρτη: Μεταφορά επιβατών στη μεγίστη απόσταση (passengers*range) (Boeing 747 )

18 Α. Βαφειάδης Μελέτη-βελτίωση απόδοσης συστήματος

19 Α. Βαφειάδης

20 Α. Βαφειάδης Workload (φόρτος εργασίας)  Workload (φόρτος εργασίας) είναι το σύνολο των απαιτήσεων των χρηστών ενός συστήματος από το ίδιο το σύστημα σε ένα καθορισμένο χρονικό διάστημα.  Το σύνολο των απαιτήσεων των χρηστών καθορίζεται π.χ από:  τον κώδικα των προγραμμάτων  τα δεδομένα των προγραμμάτων  τις εντολές προς το λειτουργικό σύστημα  τις SQL σε Βάσεις δεδομένων  τις HTTP απαιτήσεις  Κ.λ.π

21 Α. Βαφειάδης Χαρακτηρισμός του Workload  Η ποσοτική περιγραφή των χαρακτηριστικών ενός Workload (φόρτος εργασίας σε ορισμένο χρονικό διάστημα), ονομάζεται χαρακτηρισμός του Workload και γίνεται από παραμέτρους οι οποίες επηρεάζουν την συμπεριφορά του συστήματος.

22 Α. Βαφειάδης Παράμετροι χαρακτηρισμού Workload/1  Basic workload  Χρόνος που καταναλώνει η CPU  Το πλήθος των Ι/Ο λειτουργιών  Το πλήθος των bytes που μεταφερθήκαν  Το μέσο μήκος της μνήμης που απαιτούν τα προγράμματα  Το πλήθος των αρχείων (μόνιμα ή προσωρινά)  Το μέσο μήκος των αρχείων  Η συχνότητα των εντολών γλώσσας μηχανής (instruction mix)  Ο μέσος χρόνος απασχόλησης της CPU μεταξύ δύο Ι/Ο λειτουργιών.  Ο μέσος χρόνος απασχόλησης των Ι/Ο συσκευών  Η πιθανότητα μετάβασης στο δίσκο Α ή Β μετά το τέλος μιας CPU λειτουργίας

23 Α. Βαφειάδης Παράμετροι χαρακτηρισμού Workload/2  Interactive workload  O μέσος χρόνος μεταξύ δύο διαδοχικών αφίξεων απαιτήσεων προς μια συσκευή η ένα πρόγραμμα. (Π.Χ ο μέσος χρόνος μεταξύ δυο διαδοχικών εκδόσεων εντολών προς το λειτουργικό σύστημα, ή τα http request)  Η κατανομή των παραπάνω χρόνων.  Ο μέσος αριθμός διαλογικών χρηστών που απασχολούν ταυτόχρονα το σύστημα και κατανομή τους κατά την διάρκεια της ημέρας.  Ο μέσος χρόνος απαιτήσεων των διαλογικών χρηστών  Database Workload  Ο μέσος όρος αφίξεως των data base Queries  O μέσος χρόνος απαιτήσεων των data base Queries

24 Α. Βαφειάδης Workload Model  Workload Model είναι μια τεχνητή αναπαράσταση ενός πραγματικού workload  Τα Workload Models χρησιμοποιούνται για:  την επιλογή ενός συστήματος  το προγραμματισμό της χωρητικότητας  τη βελτίωση της απόδοσης (performance tuning)

25 Α. Βαφειάδης  Το Workload Model ή το test workload πρέπει να πληροί τους παρακάτω όρους  Να μπορεί να επαναληφθεί  Να είναι σχετικά σύντομο  Να είναι αντιπροσωπευτικό  Να εξαφανίζει τους περιορισμούς ασφαλείας που ενδέχεται να υπάρχουν για προγράμματα και δεδομένα και τα οποία συναντάμε κατά την διάρκεια των πραγματικών συνθηκών λειτουργίας Workload Model

26 Α. Βαφειάδης Χαρακτηρισμός Μοντέλων

27 Α. Βαφειάδης Ταξινόμηση των workload models  Real : Αποτελείται από όλα τα αρχικά προγράμματα και δεδομένα που «τρέχουν» οι χρήστες κατά την διάρκεια της μετρούμενης περιόδου.  Synthetic:  Natural: Είναι ένα υποσύνολο του real workload. ( Ο αρχικός ορισμός του benchmark)  Hybrid : Μίξη προγραμμάτων που αποσπάστηκαν από ένα πραγματικό workload και από προγράμματα που κατασκευάστηκαν για τον σκοπό της μέτρησης (artificial)

28 Α. Βαφειάδης Ταξινόμηση των workload models  Artificial:  Executable είναι ένα workload το οποίο αποτελείται από ένα σύνολο από προγράμματα που κατασκευάστηκαν ειδικά για να αποτελέσουν ένα τεχνητό workload.  Τα executable workloads “τρέχουν” στο πραγματικό υπό μελέτη σύστημα το οποίο χρησιμοποιεί κάποια τεχνική μέτρησης(hardware ή software) για τon υπολογισμό) των δεικτών απόδοσης  Non executable είναι όλα τα δεδομένα που δίδονται στα αναλυτικά μοντέλα και τα μοντέλα προσομοίωσης

29 Α. Βαφειάδης Κατηγορίες workload models  Instruction mixes : Ένα πρόγραμμα το οποίο αντικατοπτρίζει τη σχετική συχνότητα των CPU εντολών γλώσσας μηχανής (π.χ πολλές load/store εντολές, και μερικές πράξειςακέραιες ή κινητής υποδιαστολής).  Kernels: Μικρές ρουτίνες κώδικά ο οποίος υπάρχει συνήθως μέσα σε εφαρμογές των χρηστών (π.χSieve, Puzzle, tree searching, Acckerman’s function, Sorting, αντιστροφή πινάκων)  Synthetic programs: Μικρά προγράμματα τα οποία ελέγχουν συμπεριφορές του συστήματος ή του δικτύου οι οποίες όμως δεν σχετίζονται με συγκεκριμένες εφαρμογές (π.χ disk test για τον έλεγχο του χρόνου προσπέλασης στον δίσκο, ή τον χρόνο ανταπόκρισης ενός απομακρυσμένου δικτυακού κόμβου.

30 Α. Βαφειάδης Κατηγορίες workload models  Traces or scripted applications: Μια σειρά από διαφορετικές εφαρμογές οι οποίες συνδυάζονται μεταξύ τους με scripts (shell, perl) για να προσομοιάσουν (μιμηθούν) τυπικές συμπεριφορές ενός τυπικού χρήστη (π.χ να προσομοιάσουν την δικτυακή συμπεριφορά ενός τυπικού χρήστη). Ονομάζονται και σενάρια.  Real applications: Π.χ video applications, Συνεχής χρεώσεις πιστώσεις(τράπεζες)

31 Α. Βαφειάδης Σύγκριση μεταξύ Real και artificial Real artificial Αντιπροσωπευτικόταταπολύ μεγάλημικρότερη Κόστος κατασκευήςχαμηλόυψηλότερο Κόστος χρήσηςχαμηλόυψηλότερο Ευελιξίαχαμηλήυψηλή Επαναληπτικότηταχαμηλήυψηλή Ανεξαρτησίαχαμηλήυψηλή ΠειραματισμόςΑνεξέλεγκτοςελεγχόμενος ΧρήσητροποποίησηΣχεδιασμός tuning Αγορά

32 Α. Βαφειάδης Benchmarks  Αρχικός ορισμός: Ονομαζόταν έτσι τα natural Workload Models  Σημερινός ορισμός: Ονομάζεται έτσι κάθε artificial workload model.  Κύρια χρήση: Η μέτρηση της απόδοσης ενός υπολογιστή ή τμημάτων του, δικτύων, βάσεων δεδομένων, web servers, με στόχο την επιλογή της πιο συμφέρουσας αγοράς. Συμφέρουσα αγορά θεωρείται αυτή που έχει τον μικρότερο λόγο κόστους/απόδοσης