Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Διδάσκων: Νεκτάριος Κοζύρης, καθηγητής Βοηθοί Δρ. Ιωάννης Κωνσταντίνου, Δρ. Μανόλης Τερροβίτης,

Παρόμοιες παρουσιάσεις


Παρουσίαση με θέμα: "Διδάσκων: Νεκτάριος Κοζύρης, καθηγητής Βοηθοί Δρ. Ιωάννης Κωνσταντίνου, Δρ. Μανόλης Τερροβίτης,"— Μεταγράφημα παρουσίασης:

1 Διδάσκων: Νεκτάριος Κοζύρης, καθηγητής Βοηθοί Δρ. Ιωάννης Κωνσταντίνου, Δρ. Μανόλης Τερροβίτης, Δρ. Δημήτρης Σκούτας,

2  Κατανεμημένα Συστήματα Επεξεργασίας δεδομένων  Database συστήματα: παραδοσιακά vs «κατανεμημένα» ◦ Αποθήκευση ◦ Ευρετηρίαση ◦ Ανάκτηση ◦ Ερωτήματα  Κατανεμημένα συστήματα αρχείων  Cloud computing – Γιατί? 2

3  Γενικά για τα clouds ◦ Δομή, υπηρεσίες, είδη cloud κλπ ◦ Cloud management software  Παραδοσιακά θέματα ΒΔ ◦ Transaction schedules, ACID properties, Locking protocols, Lamport Clocks  Επεξεργασία δεδομένων με MapReduce  Google File System (GFS) και HDFS  RDBMS vs Key-Value Stores (NoSQL)  Ανακοίνωση εργασίας, Φροντιστήριο 3

4  Row, Key-value Stores ◦ Big Table, HBase ◦ Cassandra ◦ Dynamo  Παρουσίαση ειδικών θεμάτων 4

5  “Παροχή υπολογιστικής ισχύος ως υπηρεσία και όχι σαν προϊόν. Πόροι, λογισμικό και πληροφορίες παρέχονται σε άλλους υπολογιστές και συσκευές σαν υπηρεσίες κοινής ωφελείας (πχ σαν το ρεύμα της ΔΕΗ) μέσω ενός δικτύου (συνήθως του Internet)”  Διαβάστε: “Above the clouds: A Berkeley View of Cloud Computing” ◦ 5

6  Τα νέφη υπολογιστών είναι ένα μοντέλο που επιτρέπει: ◦ πρόσβαση μέσω δικτύου σε διαμορφώσιμους πόρους, όπως:  υπολογιστική ισχύ,  δίκτυα,  αποθηκευτικό χώρο,  εφαρμογές, υπηρεσίες, κλπ ◦ που μπορούν να δεσμεύονται και να απελευθερώνονται ταχέως με ελάχιστη διαχειριστική προσπάθεια ή επέμβαση από τον πάροχο της υπηρεσίας (elasticity). 6

7  Μεγάλα Data Centers ◦ Συστοιχίες από χιλιάδες υπολογιστές και αποθηκευτικές μονάδες  Μεσαίας ισχύος υλικό (commodity hardware) ◦ Αποτυχίες κόμβων συνηθισμένες ◦ Διάφορα μοντέλα υπολογισμού / Ανομοιογενείς υπολογιστικοί πόροι 7 Apple, North Carolina USA

8  Βασίζεται σε ήδη υπάρχουσες τεχνολογίες και πρακτικές ◦ Virtual machines ◦ Οn-demand, self-service, pay-as-you-go model ◦ Παροχή υπηρεσιών μέσω διαδικτύου ◦ Open Source  Μοιάζει με προηγούμενα μοντέλα ◦ Grid computing ◦ Volunteer computing ◦ Peer to Peer Computing 8

9 Παραδοσιακή Αρχιτεκτονική Virtualized Αρχιτεκτονική Υλικό Λειτουργικό Σύστημα guest Λ.Σ. Guest Λ.Σ. Hypervisor (kvm-xen- virtualbox-vmware) Εφαρμογή Εφ 9 Host Λειτουργικό Σύστημα

10  Προβλήματα μεγάλης κλίμακας ◦ Crawling, Indexing, Searching, Web 2.0 εφαρμογές επιστημονικοί υπολογισμοί ◦ Επεξεργασία πολλών PB τη μέρα ◦ Κλιμάκωση!  Διαδραστικές Web Εφαρμογές ◦ Google (mail, maps, docs, ads, …), Facebook, Yahoo, Amazon ◦ Startups: foursquare (ec2), dropbox (s3), κλπ. ◦ Ταχύτητα!  Ανάγκη για διαχείριση δεδομένων!!!! ◦ Παραδοσιακές βάσεις δεν αρκούν!! 10

11  Κλιμακωσιμότητα  Διαθεσιμότητα  Αξιοπιστία  Ασφάλεια  Ευελιξία  Λειτουργικότητα  Αποδοτικότητα  Μετρήσιμο σύστημα  Απλά APIs  Κατανομή φόρτου 11

12 12 Over-provisioning, κοστίζει. Under-provisioning, δεν λειτουργεί πάντα. Ελαστικό, pay-as-you-go Μόνο στο cloud!!!

13 13  Λύνουν πολλά προβλήματα, αλλά:  Προσθέτουν πολυπλοκότητα ◦ Εξισορρόπηση φόρτου ◦ Συνέπεια ◦ Συγχρονισμός ◦ Ανοχή σε σφάλματα

14 Infrastructure as a Service (IaaS) Platform as a Service (PaaS) Software as a Service (SaaS) Νοίκιασε υπολογιστές (υπολογιστική ισχύ, κύκλους) και αν θες παραπάνω τους παίρνεις όταν τους χρειάζεσαι π.χ. Amazon EC2 Παίρνεις ένα καλό και εύχρηστο API Και φτιάχνεις τις εφαρμογές σου π.χ. Google App Engine Χρήση προσφερόμενων υπηρεσιών π.χ. Google maps, mail, docs,… 14

15 15

16 16

17 17 Public Cloud π.χ. Amazon ή okeanos • πολλοί χρήστες • ενοικίαση πόρων σε δημόσιο Cloud (a la carte) • πιθανότατα πιο φθηνό • σύνδεση μέσω διαδικτύου Private Cloud (π.χ. το Cloud του cslab) • λίγοι χρήστες • πιθανή εσωτερική σύνδεση • υψηλή ασφάλεια • πιθανό μεγαλύτερο κόστος Hybrid Cloud Community Cloud Συνδεδεμένα clouds παρόμοιων οργανισμών π.χ GovCloud

18  Amazon Elastic Compute Cloud (EC2) ◦ Η πρώτη εταιρία που έδωσε cloud υπηρεσίες το 2006  RackSpace, RightScale, GoGrid, CloudSigma και άλλες πολλές  Ελληνικό Cloud: okeanos ◦ ◦ Ήδη σε πιλοτική λειτουργία ◦ Στόχος είναι η παροχή IaaS cloud υπηρεσίες στην ακαδημαϊκή κοινότητα ◦ Το project του μαθήματος θα γίνει στον okeano 18

19  OpenStack ◦ Υποστήριξη από 150+ εταιρίες (Nasa, Dell, AMD, Intel, Canonical, κλπ) ◦ Από Μάιο 2011 προεπιλεγμένο cloud στο ubuntu ◦ O okeanos υποστηρίζει OpenStack εντολές 19

20  Κατανεμημένα Συστήματα Αρχείων ◦ Google File System (GFS) ◦ Hadoop Distributed File System (HDFS) ◦ CEPH file system ◦ Amazon Simple Storage Service (S3)  Batch Processing Συστήματα ◦ Hadoop ecosystem (MapReduce, PIG, Hive, etc) ◦ Dryad ◦ Map Reduce Merge  Row Stores (NoSQL) ◦ Proprietary: Big Table, Sherpa/PNUTS, AzureDB, SimpleDB ◦ Open source: Hbase, Cassandra, Dynamo, MongoDB ◦ Και πολλά άλλα 20

21  GFS: ένα κλιμακώσιμο κατανεμημένο σύστημα αρχείων για μεγάλες data-intensive εφαρμογές. Παρέχει ανοχή σε σφάλματα ενώ τρέχει σε φτηνό υλικό και προσφέρει υψηλή επίδοση σε μεγάλο αριθμό χρηστών.  Παραδοχές : ◦ Υψηλή συχνότητα βλαβών. ◦ Συνήθως µεγάλα αρχεία. ◦ Η ανάκτηση γίνεται είτε σε µεγάλα κοµµάτια είτε σε πολλά µικρά. ◦ Τα περισσότερα αρχεία τροποποιούνται µε προσάρτηση(append). ◦ Το υψηλό bandwidth προτιµάται από το χαµηλό latency. 21

22 22  Μοντέλο παράλληλης επεξεργασίας μεγάλου όγκου δεδομένων  Ο χρήστης ορίζει map και reduce functions ανάλογα με το πώς θέλει να επεξεργαστεί τα δεδομένα του ◦ Map : παίρνει για είσοδο ένα key/value και παράγει ένα ή περισσότερα ενδιάμεσα key/values ◦ Reduce : κάνει merge και επεξεργάζεται τα ενδιάμεσα key/values των mappers  Αυτόματη παραλληλοποίηση των προγραμμάτων του χρήστη ◦ Partitioning στα δεδομένα εισόδου ◦ Scheduling ◦ Πιθανή αποτυχία κάποιου υπολογιστή ◦ Επικοινωνία μεταξύ υπολογιστών

23 worker Input Map Reduce Master Output Part 1 Part 2 Part 3

24  Θα δούμε στο μάθημα αναλυτικά κάποια από αυτά και τις ιδιαιτερότητές τους  Βάσεις δεδομένων χωρίς schema ◦ NoSQL (NoRel)  Ένας μεγάλος πίνακας με ομογενοποιημένα δεδομένα ◦ διαχωρίζονται μέσω του κλειδιού (1 key = 1 row) ◦ πολλά attributes – values ◦ Key-value stores  Συνήθως κάθονται πάνω από ένα κατανεμημένο σύστημα αρχείων ◦ πχ BigTable->GFS 24

25 IdΗθοποιόςΗμ.γέννησης 1234Christian Bale Natalie Portman Melissa Leo Colin Firth IdΤαινίαΈτος 1The Dark Knight2008 2King’s Speech2010 3The Fighter2010 4Black Swan2010 5The Prestige2006 ΗθοπΤαινία ΗθοπΤαινία Keyvalue The Dark KnightΗθοποιοί: Christian BaleΈτος: 2008 King’s SpeechΗθοποιοί: Colin FirthΈτος: 2010 The FighterΗθοποιοί: Melissa Leo, Christian Bale Έτος: 2010 Black SwanΗθοποιοί: Natalie PortmanΈτος: 2010 The PrestigeΗθοποιοί: Christian BaleΈτος: 2006 Christian BaleΗμ.Γέννησης: Keyvalue The Dark KnightΗθοποιοί: Christian BaleΈτος: 2008 King’s SpeechΗθοποιοί: Colin FirthΈτος: 2010 The FighterΗθοποιοί: Melissa Leo, Christian Bale Έτος: 2010 Black SwanΗθοποιοί: Natalie PortmanΈτος: 2010 The PrestigeΗθοποιοί: Christian BaleΈτος: 2006

26  Εργασία στο Hadoop, απαιτεί: ◦ Εξοικείωση με το σύστημα ◦ Κατανόηση του MapReduce ◦ Γράψιμο δικών σας MapReduce προγραμμάτων ◦ Αποθήκευση και ανάγνωση  Στο HDFS  Στο Hbase 26


Κατέβασμα ppt "Διδάσκων: Νεκτάριος Κοζύρης, καθηγητής Βοηθοί Δρ. Ιωάννης Κωνσταντίνου, Δρ. Μανόλης Τερροβίτης,"

Παρόμοιες παρουσιάσεις


Διαφημίσεις Google