1/6/2011 Προσαρμοστικοί Αλγόριθμοι Εξισορρόπησης Φόρτου σε Κατανεμημένα Περιβάλλοντα (Δίκτυα Ομοτίμων και Υπολογιστικά Νέφη)

Slides:



Advertisements
Παρόμοιες παρουσιάσεις
Ηλεκτρονικός Φάκελος Υγείας
Advertisements

ΕΘΝΙΚΟ ΠΛΗΡΟΦΟΡΙΑΚΟ ΣΥΣΤΗΜΑ ΕΡΕΥΝΑΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ (ΕΠΣΕ+Τ) - Γ' ΦΑΣΗ ΑΠΟΘΕΤΗΡΙΑ ΚΑΙ ΕΠΙΣΤΗΜΟΝΙΚΑ ΗΛΕΚΤΡΟΝΙΚΑ ΠΕΡΙΟΔΙΚΑ ΑΝΟΙΚΤΗΣ ΠΡΟΣΒΑΣΗΣ Το έργο «Εθνικό.
Ιεραρχίες Κόμβων Δομημένες σε Δακτύλιο για Ρ2Ρ Συστήματα Βασισμένα σε RDF Σχήματα Παρουσίαση Μεταπτυχιακής Διατριβής: Νικόλαος Κρεμμυδάς Επιβλέπουσα καθηγήτρια:
Ερωτηματολόγιο Συλλογής Απαιτήσεων Εφαρμογών Υψηλών Επιδόσεων
1 “Ανάπτυξη και Εφαρμογή Ολοκληρωμένου Συστήματος για τον Έλεγχο και την Παρακολούθηση των Μονάδων Επεξεργασίας Αστικών Λυμάτων στην Κύπρο, COMWATER” (Δεκέμβριος.
ΔΙ.ΟΡΓΑΝΩ.ΣΗ Σύστημα ΔΙαχείρισης ΟΡΓΑΝΩσιακής ΓνώΣΗς για τις ελληνικές επιχειρήσεις. Μπίμπη Σταματία1 Σαμολαδάς Ιωάννης1 Σταμέλος Ιωάννης1 Κατσιαδάκης.
ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΤΟΙΧΕΙΑ
Σχέδιο Δράσης Σ.Δ.Ε. Αγρινίου
Internet ‘Εκεί που η πληροφορία είναι το νόμισμα’ Παρουσιάζεται από τον Παναγιώτη Μιντόπουλο.
ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΑΡΧΕΙΟΝΟΜΙΑΣ-ΒΙΒΛΙΟΘΗΚΟΝΟΜΙΑΣ ΕΡΓΑΣΙΑ ΣΤΟ ΜΑΘΗΜΑ «ΨΗΦΙΑΚΕΣ ΒΙΒΛΙΟΘΗΚΕΣ» ΘΕΜΑ: ΧΡΗΣΗ ΦΟΡΗΤΩΝ ΣΥΣΚΕΥΩΝ ΣΤΙΣ ΨΗΦΙΑΚΕΣ ΒΙΒΛΙΟΘΗΚΕΣ.
Σχεδιαστικά εργαλεία Διαχείριση σελίδων Βιβλιοθήκες αντικειμένων Διαχείριση αντικειμένων Επιφάνεια ψηφιακής μελάνης Πληκτρολόγιο οθόνης ΟΦΕΛΗ Αναγνώριση.
ΠΜΣ ΠΡΟΗΓΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Κατεύθυνση ΤΕΔΑ Τεχνολογίες Διαχείρισης Ασφάλειας Security Management Engineering Τμήμα Πληροφορικής ΠΑΝΕΠΙΣΤΗΜΙΟ.
Άρης Σωτηρόπουλος Εθνικό Δίκτυο Έρευνας Τεχνολογίας Διημερίδα: «Εισαγωγή στο EGEE» Αθήνα, ΕΜΠ, Μαρτίου 2006.
Ανακτηση Πληροφοριασ σε νεφη Υπολογιστων
CERN- Εκπαίδευση Τεχνολογία Συνεργασία Έρευνα και Ανακάλυψη Εμμανουήλ Τσεσμελής (CERN) 16 Νοεμβρίου 2011.
Peer-to-Peer Systems Ευθυμία Ρόβα Βίκυ Τζιοβάρα Μαρία Χριστοδουλίδου.
24/11/2003Message Passing Interface (MPI)1 Αθήνα, Νοέμβριος 2003 Συστήματα Παράλληλης Επεξεργασίας Εργαστήριο Υπολογιστικών Συστημάτων.
22/11/2004Message Passing Interface (MPI)1 Αθήνα, Νοέμβριος 2004 Συστήματα Παράλληλης Επεξεργασίας Εργαστήριο Υπολογιστικών Συστημάτων.
Σελίδα 1 ΕΚΠΑ. «Διαμόρφωση υπηρεσίας καταλόγου Active Directory σε Windows 2003» Τηλέμαχος Ράπτης Εθνικό και Καποδιστριακό.
1/23 DHTStrings: Συστήματα Δημοσιεύσεων/Συνδρομών σε DHT Δίκτυα με Υποστήριξη για Συμβολοσειρές Διανομή Περιεχομένου στο Διαδίκτυο Τμήμα ΜΗΥΠ Παν/μιο Πατρών.
Εισαγωγικές Έννοιες Διδάσκοντες: Σ. Ζάχος, Δ. Φωτάκης Επιμέλεια διαφανειών: Δ. Φωτάκης Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο.
Επιλογή Διδάσκοντες: Σ. Ζάχος, Δ. Φωτάκης Επιμέλεια διαφανειών: Δ. Φωτάκης Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο.
Έλεγχος Πρόσβασης σε Δεδομένα: Νέες Προκλήσεις και Λύσεις Νίκος Φωτίου Εργαστήριο Ασυρμάτων Δικτύων και Πολυμεσικών Επικοινωνιών.
Εφαρμογή της Θεωρίας Βέλτιστης Παύσης στον έλεγχο συνέπειας (consistency) σε WWW Caching Servers Δημήτριος Λορέντζος ΠΛΣ Διπλωματική Εργασία Επιβλέπων:
Περιφερειακός Δ/ντής Α/θμιας & Β/θμιαςΕκπ/σης Δυτικής Ελλάδος
Κατεύθυνση «Προηγμένες Τεχνολογίες Ανάπτυξης Λογισμικού»
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Σχολή Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών “ Πολιτικές Προώθησης Ευρυζωνικότητας “ Θ.Καρούνος,
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Σχολή Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών “ Ψηφιακό Περιεχόμενο και Διαδικτυακές Εφαρμογές “ Θ.Καρούνος,
Σελίδα 1 ΤΟ ΣΗΜΕΡΑ ΕΙΝΑΙ ΕΥΡΥΖΩΝΙΚΟ. Σελίδα 2 OTE - Ευρυζωνικότητα Οι Ευρυζωνικές Υπηρεσίες αποτελούν την κύρια ευκαιρία ανάπτυξης στις τηλεπικοινωνίες.
Διαίρει-και-Βασίλευε
Επιμέλεια: Α. Παπαθανασίου* I. Τζιγκουνάκης ΣΧΟΛΙΚΟ ΕΡΓΑΣΤΗΡΙΟ ΠΛΗΡΟΦΟΡΙΚΗΣ: ΓΝΩΡΙΜΙΑ, ΧΡΗΣΗ, ΔΙΑΧΕΙΡΙΣΗ (ΙΙ) Σχολή Χημικών Μηχανικών Εθνικό Μετσόβιο Πολυτεχνείο.
1 Content Addressable Network Λίλλης Κώστας Καλλιμάνης Νικόλαος Αγάθος Σπυρίδων – Δημήτριος Σταθοπούλου Ευγενία Γεωργούλας Κώστας.
VODAFONE WIND COSMOTE WHATS UP “CALL ΕΡΩΣ” Q.
ΟΔΗΓΟΣ ΨΗΦΙΟΠΟΙΗΣΗΣ ΔΙΣΔΙΑΣΤΑΤΩΝ ΕΙΚΟΝΩΝ ΚΑΙ ΤΡΙΣΔΙΑΣΤΑΤΩΝ ΚΙΝΗΤΩΝ ΚΑΙ ΑΚΙΝΗΤΩΝ ΑΝΤΙΚΕΙΜΕΝΩΝ ΕΡΓΑΣΙΑ ΣΤΟ ΜΑΘΗΜΑ: ΨΗΦΙΑΚΕΣ ΒΙΒΛΙΟΘΗΚΕΣ ΡΟΚΙΔΗ ΧΡΥΣΟΥΛΑ-ΔΙΟΝΥΣΙΑ.
ΕΚΕΦΕ «Δημόκριτος» Ινστιτούτο Πληροφορικής & Τηλεπικοινωνιών Κοινωνία της Πληροφορίας & Τεχνητή Νοημοσύνη Δρ. Κωνσταντίνος Δ. Σπυρόπουλος Δντής Έρευνας.
ΕΙΔΙΚΟΤΗΤΑ ΥΠΟΣΤΗΡΙΞΗ ΣΥΣΤΗΜΑΤΩΝ, ΕΦΑΡΜΟΓΩΝ ΚΑΙ ΔΙΚΤΥΩΝ Η/Υ
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Σχολή Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών “ ΥΠΟΔΟΜΕΣ & ΥΠΗΡΕΣΙΕΣ ΝΕΕΣ ΤΑΣΕΙΣ ” Θεόδωρος Καρούνος,
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΩΓΡΑΦΙΚΑ ΣΥΣΤΗΜΑΤΑ ΠΛΗΡΟΦΟΡΙΩΝ
Στρατηγική «Ευρώπη 2020» ICT - θέσεις εργασίας - οικονομική ανάπτυξη - καθημερινότητα.
Αλγόριθμοι και Πολυπλοκότητα
CALIS (China Academic Library and Information System) Κοινοπραξία ακαδημαϊκών βιβλιοθηκών της Κίνας Σύστημα παροχής πληροφοριών 1998.
ΠΛΗΡΟΦΟΡΙΚΗ Α’ ΓΥΜΝΑΣΙΟΥ
Διδάσκοντες: Σ. Ζάχος, Δ. Φωτάκης
Οριζόντιο Έργο Υποστήριξης Σχολείων, Εκπαιδευτικών και Μαθητών στο Δρόμο για το ΨΗΦΙΑΚΟ ΣΧΟΛΕΙΟ, νέες υπηρεσίες Πανελλήνιου Σχολικού Δικτύου και Στήριξη.
Επισκόπηση ΟΜΑΔΑ: Παππάς Χάρης Κρεμμυδάς Νίκος Σκυβαλίδας Πάνος Σταμκόπουλος Κώστας.
Εισαγωγή στην Επιστήμη των Υπολογιστών και Επικοινωνιών Εισαγωγή στο ηλεκτρονικό και κινητό επιχειρείν Σπύρος Κοκολάκης ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ.
1 Εφαρμογή Ενιαίου Κτηματολογίου. 2 Πρόσκληση Πρόσκληση: 49 Φορέας Υλοποίησης Φορέας Υλοποίησης: ΕΚΠΑ Τεχνικό Δελτίο Τεχνικό Δελτίο: Δράσεις Υποστήριξης.
Εισαγωγικές Διαφάνειες: Παρουσίαση Εργασιακού Περιβάλλοντος Διαχείριση Δικτύων - Ευφυή Δίκτυα, 9 ο Εξάμηνο, ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ - ΕΜΠ.
ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ 2: ΘΕΜΑΤΑ ΘΕΩΡΗΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ Η/Υ
0.1 Διοίκηση Πληροφοριακών Συστημάτων Εισαγωγή Μαρία Καρύδα Γραφείο Β13, Κτήριο Λυμπέρη Ώρες Γραφείου: Δευτέρα 10-12, Πέμπτη
1 Chord: A scalable Peer to Peer Lookup Service for Internet Applications Νικόλαος Καλλιμάνης Σπυρίδων-Δημήτριος Αγάθος Ευγενία Σταθοπούλου.
Ασυμπτωτικός Συμβολισμός
Ο υπολογιστής ως ψηφιακή μηχανή
Advanced Data Indexing (Προηγμένη ευρετηρίαση δεδομένων) Ροές Δεδομένων (3 ο Μέρος)
Εισαγωγή στους Η/Υ Ενότητα 6: Το εσωτερικό της μηχανής Ιωάννης Σταματίου Οργάνωση και Διοίκηση Επιχειρήσεων.
S/MIME Στα πρώτα στάδια ανάπτυξης η εφαρμογή υποστήριζε αποκλειστικά τη μεταφορά κειμένου μεταξύ των χρηστών Το πρωτόκολλο MIME (Multipurpose Internet.
Cloud Computing Το cloud computing παρέχει υπηρεσίες υπολογισμού, λογισμικού, πρόσβασης σε δεδομένα και αποθήκευσης που δεν απαιτούν ο τελικός χρήστης.
Εφαρμογές Νέφους ΚΕΦΑΛΑΙΟ 13.
Εισαγωγικές Διαφάνειες: Παρουσίαση Εργασιακού Περιβάλλοντος
Μάνος Σατόπουλος Συντάκτης λευκωμάτων και λάτρης των τεχνών
Εισαγωγικές Διαφάνειες: Παρουσίαση Εργασιακού Περιβάλλοντος
Εφαρμογές Νέφους ΚΕΦΑΛΑΙΟ 13.
Υπηρεσίες Διαδικτύου.
<<Προσεγγίζοντας τις απαρχές του Σύμπαντος>>
ΕΚΣΤΡΑΤΕΙΑ ΕΝΗΜΕΡΩΣΗΣ ΓΙΑ ΤΗΝ ΧΡΗΣΗ ΨΗΦΙΑΚΩΝ ΤΕΧΝΟΛΟΓΙΩΝ
ΥΠΟΛΟΓΙΣΤΙΚΕΣ ΤΕΧΝΙΚΕΣ ΓΙΑ ΣΥΣΤΗΜΑΤΑ ΜΕΤΑΔΟΣΗΣ ΠΛΗΡΟΦΟΡΙΑΣ
Εισαγωγικές Διαφάνειες: Παρουσίαση Εργασιακού Περιβάλλοντος
ΟΝΟΜΑ ΚΑΘΗΓΗΤΗ | ΑΡΙΘΜΟΣ ΜΑΘΗΜΑΤΟΣ
Στοιχεία Χωρικής Πολυπλοκότητας
ΔΙΑΔΙΚΤΥΑΚΗ ΣΟΥΙΤΑ ΠΡΟΓΡΑΜΜΑΤΩΝ
Μεταγράφημα παρουσίασης:

1/6/2011 Προσαρμοστικοί Αλγόριθμοι Εξισορρόπησης Φόρτου σε Κατανεμημένα Περιβάλλοντα (Δίκτυα Ομοτίμων και Υπολογιστικά Νέφη) Εργαστήριο Υπολογιστικών Συστημάτων Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο Ιωάννης Κωνσταντίνου Υποστήριξη Διδακτορικής διατριβής

1/6/2011 Big Data 90% των σημερινών δεδομένων δημιουργήθηκαν τα τελευταία 2 χρόνια Νόμος του Moore: Διπλασιασμός δεδομένων κάθε 18 μήνες – YouTube: 13 εκατ. ώρες και 700 δις αναπαραγωγές το 2010 – Facebook: 20TB/ημέρα συμπιεσμένα – CERN/LHC: 40TB/μέρα (15PB/έτος) Πολλά, πολλά ακόμα… – Web logs, αρχεία ομιλιών, ιατρικοί φάκελοι, κλπ 2 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Έκρηξη δεδομένων 1 EB (Exabyte=10 18 bytes) = 1000 PB (Petabyte=10 15 bytes) Κίνηση δεδομένων κινητής τηλεφωνίας στις ΗΠΑ για το ZB (Zettabyte) = 1200 EB Σύνολο ψηφιακών δεδομένων το ZB (Zettabyte = bytes) Εκτίμηση για σύνολο ψηφιακών δεδομένων το Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Κατανεμημένα συστήματα (1) Ανάγκη για κατανεμημένη επεξεργασία!! Δίκτυα ομοτίμων (Peer to Peer) – Γνωστά για διαδικτυακή ανταλλαγή αρχείων – Έμφυτη ικανότητα κλιμάκωσης – Χρησιμοποιούνται από πολλές εφαρμογές Υπολογιστικά νέφη (cloud computing) – À la carte πρόσβαση σε: – Εικονικούς πόρους σε απομακρυσμένα datacenters – Εύκολη προσθαφαίρεση πόρων μέσω API 4 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Κατανεμημένα συστήματα (2) 5 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου Λύνουν πολλά προβλήματα, αλλά: Προσθέτουν πολυπλοκότητα – Εξισορρόπηση φόρτου – Συνέπεια – Συγχρονισμός – Ανοχή σε σφάλματα – Ασφάλεια - Ιδιωτικότητα

1/6/2011 Περιεχόμενα NIXMIG: εξισορρόπηση φόρτου σε κατανεμημένες δομές που υποστηρίζουν ερωτήματα εύρους τιμών Κατανεμημένο σύστημα δεικτοδότησης, αποθήκευσης και επερώτησης δεδομένων μεγάλου όγκου Συμπεράσματα Μελλοντικές Κατευθύνσεις 6 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Κίνητρο (1) Ερωτήματα εύρους είναι πολύ χρήσιμα – κύβοι OLAP – Χωρικές Βάσεις Δεδομένων – Booking και e-commerce ιστοσελίδες – Παιχνίδια on-line, κλπ Πλήθος κατανεμημένων δομών που υποστηρίζουν ερωτήματα εύρους – Skip Graphs, P-Grids, P-trees, BATON, Prefix Hash Trees, κλπ 7 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Κίνητρο (2) 8 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου Συνήθως η ζήτηση δεν είναι ομοιόμορφη!! – Ειδικά σε διαδικτυακές εφαρμογές – Άνισες κατανομές απαιτούν εξισορρόπηση!!!!

1/6/2011 Εξισορρόπηση με κατακερματισμό Εφαρμόζεται από DHTs όπως Chord, κλπ Καταστρέφει την τοπικότητα Θεωρητικός λόγος ασυμμετρίας logN Όχι κατάλληλος για ερωτήματα εύρους!! 9 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Εξισορρόπηση με μεταφορά αντικειμένων [KR06],[GBGM04],[AKK04],[BAS04],[VORT09],[LCLC09],[SX07],[SX08],[Jou08],[CLM + 11][G DA10],[GH05],[GS04],[TZX10] [KR06]: Τυχαία μηνύματα συγκρίνουν φορτία – Εάν τα φορτία διαφέρουν κατά ε, 0<ε<1/4 τότε γίνεται εξισορρόπηση [GBDM04]: Ενημέρωση κεντρικού καταλόγου με φορτία [AKK04]: απαιτεί ελευθέρους κόμβους [SX07]: Διατηρεί δείκτες μεταξύ πηγής και προορισμού 10 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Ορθογώνιες προσεγγίσεις Εξισορρόπηση με αντίγραφα – [PNT06],[PNT10],[GSBK04],[TR06],[LCC + 2] – Θέματα συνέπειας κατά την ενημέρωση – Απαιτεί αλλαγές στο πρωτόκολλο δρομολόγησης για updates/inserts Εξισορρόπηση με Εικονικούς κόμβους – [DKK + 01],[RLS + 03],[SGL + 06],[GS05],[ZH05],[HLCH11],[CT08],[LCLC09]… – Εύκολη υλοποίηση σαν threads, αλλά: κατακερματίζεται το ID space, αυξημένες ανάγκες σε bandwidth και μνήμη 11 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Συνεισφορά (1) Μελέτη των δυο βασικών μεθόδων εξισορρόπησης φόρτου με μεταφορά αντικειμένων – Διαδοχική Ανταλλαγή Αντικειμένων μεταξύ Γειτόνων (NIX) – Μεταναστεύσεις κόμβων (MIG) NIXMIG Υβριδική μέθοδος μεταφοράς αντικειμένων Ρυθμίζει προσαρμοστικά τις NIX/MIG 12 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Συνεισφορά (2) Θεωρητική ανάλυση Αποτίμηση επίδοσης NIX, MIG και NIXMIG Μελέτη ύπαρξης σημείου σύγκλισης Υλοποίηση πάνω από έναν Skip Graph Πειραματική ανάλυση Ο NIXMIG “κερδίζει” τους NIX, MIG και τον IB [KR06] Ταχύτητα Όγκο μεταφερόμενων μηνυμάτων και αντικειμένων 13 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Βασικές έννοιες – Στόχος Αποθήκευση M κλειδιών σε N κόμβους, N<<M – Ισόποσος χωρισμός σε N τμήματα με διαδοχικά όρια Ορισμός φορτίου (load) L i ενός κόμβου N i – Αριθμός αιτήσεων αντικειμένων στον χρόνο (reqs/sec) – Μπορεί να αναχθεί σε κατανάλωση εύρους ζώνης για την απάντηση ερωτήσεων (kb/sec) Κατώφλι φορτίου (Load threshold) – Χωρίζει σε overloaded και underloaded – Τοπική ανά κόμβο ρύθμιση Στόχος: Μεταφορά αντικειμένων έτσι ώστε να πέσει το φορτίο του κάθε κόμβου κάτω από το κατώφλι του 14 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Διαδοχική Ανταλλαγή Αντικειμένων μεταξύ Γειτόνων (NIX) ΥΠΕΡ – Χωρίς αναγνωριστικά μηνύματα για την εντόπιση κόμβων που υπολειτουργούν – Χωρίς συντήρηση του υπερκείμενου δικτύου ΚΑΤΑ – Αδυναμία εφαρμογής σε μεγάλες περιοχές υπερφορτωμένων κόμβων – Απαιτεί πολλές διαδοχικές μετακινήσεις αντικειμένων 15 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Θεωρητική αποτίμηση NIX Χειρότερη αρχική τοποθέτηση κλειδιών N κλειδιά με μοναδιαίο load Στο t 0 μεταφέρονται Μ-1 κλειδιά, στο t 1 Μ-2, κοκ. Μετά από Ο(N) χρόνο έχουν μεταφερθεί Ο(Μ) κλειδιά ανά εκτέλεση, για Ν<<Μ 16 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Μεταναστεύσεις κόμβων (MIG) ΥΠΕΡ – Γρήγορος, ταυτόχρονη εφαρμογή σε πολλούς κόμβους – Απαιτεί την μεταφορά μικρού αριθμού αντικειμένων ΚΑΤΑ – Χρειάζονται επιπλέον probing μηνύματα για εντοπισμό κόμβων που υπολειτουργούν – Χρειάζεται ενημέρωση των πινάκων δρομολόγησης 17 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Θεωρητική αποτίμηση MIG Χειρότερη αρχική τοποθέτηση κλειδιών Ταυτόχρονη εκτέλεση Ν-1 MIG όπου μεταφέρονται Μ/Ν κλειδιά. logN κόστος για ενημέρωση routing table και για εύρεση κόμβων κόστος και Ο(1) χρόνος 18 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Μέση (average) περίπτωση για NIX και MIG Αναγωγή σε balls into bins [MU05] Άρα “ρίχνουμε” ομοιόμορφα Ν μπάλες σε Ν κάδους P[N i is not overloaded]=P[L i =0]+P[L i =1] =e -1 +e -1 = 74% Άρα μόνο 26% κόμβοι είναι overloaded Επίσης, μέγιστο Load= Πολύ μικρότερο από τις worst case περιπτώσεις 19 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 NIX ή MIG? Αποτελεσματικός NIX : η απορρόφηση γίνεται τοπικά Αποτελεσματικός MIG : ο NIX θα έκανε ταλαντώσεις 20 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 NIXMIG (1) Επιλογή κόμβων με την μορφή κύματος έτσι ώστε: – Εξέταση φόρτου, επιλογή τύπου εξισορρόπησης και υπολογισμό extra απαιτούμενων κόμβων – Δέσμευση (lock) κόμβων για συμμετοχή στην εξισορρόπηση Τοπικό κύμα ελέγχει την “γειτονιά” Μακρινά (προαιρετικά) probes ψάχνουν για ελεύθερους 21 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 NIXMIG (2) Ο έλεγχος σταματάει όταν – Απαιτούνται περισσότεροι από TTL κοντινοί ή TTL μακρινοί κόμβοι – Συμβαίνει “σύγκρουση” tmpLoad παράμετρος υπολογίζει το συνολικό “εικονικό load” – Μόνο NIX, εάν το φορτίο απορροφάται τοπικά – Και NIX και MIG, εάν το πολύ TTL τοπικοί κόμβοι έχουν επιλεχτεί και χρειάζονται επιπλέον κόμβοι – Μόνο MIG, εάν περισσότεροι από TTL μακρινοί κόμβοι χρειάζονται εξαρχής. 22 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 NIXMIG (3) Μεταφορά φορτίου από τους τοπικούς κόμβους στον τελευταίο (N 4 ) – Ρυθμιζόμενη παράμετρος α, 0<α<1 ποσοστό μεταφερόμενου φορτίου επιθετικότητα του αλγορίθμου Ο N 4 παραμένει overloaded για λίγο χρόνο, καθώς ήδη έχουν δεσμευτεί οι μακρινοί 23 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 NIXMIG (4) Απομακρυσμένοι κόμβοι – Μεταφέρουν τα κλειδιά τους στον N 10 – Τοποθετούνται δίπλα από τον N 4 και παίρνουν μέρος του φορτίου – Ελαχιστοποιείται η ενημέρωση routing entries Στο τέλος όλοι οι κόμβοι έχουν εξισορροπήσει το φορτίο τους!! 24 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Θεωρητική αποτίμηση (1) Σε ποιες περιπτώσεις συγκλίνει? – Συνάρτηση δυναμικού: – Για να έχουμε σύγκλιση, πρέπει – Μείωση δυναμικού κατά ένα balancing operation (έστω N i overloaded): – Ο τρίτος όρος πρέπει να είναι θετικός – Ταχύτερη σύγκλιση έχουμε εάν ο N j είναι underloaded 25 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Θεωρητική αποτίμηση (2) Για ποιες τιμές του α έχουμε ταχύτερη σύγκλιση? Έστω ομογενές δίκτυο με σταθερό thres Έστω το φορτίο που μεταφέρεται από τον N i στον N j, τότε έχουμε Το είναι τριώνυμο με αρνητικό πρώτο όρο Άρα, παρουσιάζει μέγιστο για Από όπου προκύπτει 26 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Πειραματική αξιολόγηση Υλοποίηση εξομοιωτή σε 6K γραμμές Java 500 κόμβοι, 50k κλειδιά (100 ανά κόμβο) – Πειράματα μέχρι 50k κόμβους και 5M κλειδιά Συνθετικά φορτία με λοξότητα (skew) – Παλμός: μόνο ένα εύρος κλειδιών ζητιέται συνεχώς – Zipf κατανομές με διαφορετικά θ Ρεαλιστικά φορτία: AOL dataset με user queries – 20M λέξεις κλειδιά – 650K χρήστες – 3 μήνες 27 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Σύγκριση με [KR06] 28 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου NIXMIG KARGER’S IB

1/6/2011 Σύγκριση NIXMIG με IB [KR06] 29 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Δυναμικό φορτίο 30 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Περιεχόμενα NIXMIG: εξισορρόπηση φόρτου σε κατανεμημένες δομές που υποστηρίζουν ερωτήματα εύρους τιμών Κατανεμημένο σύστημα δεικτοδότησης, αποθήκευσης και επερώτησης δεδομένων μεγάλου όγκου Συμπεράσματα Μελλοντικές Κατευθύνσεις 31 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Κίνητρο Web 2.0 datasets – Linked Data – Wikipedia – Amazon public datasets, … Φτηνό hardware και bandwidth επιτρέπει την ανάλυση Webscale δεδομένων Θέλουμε να πετύχουμε – εξισορρόπηση φόρτου – Κλιμάκωση (scalability) – Ανοχή σε σφάλματα – Real time απόκριση σε ερωτήματα – Υποστήριξη πολλών τύπων δεδομένων 32 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Συνεισφορά Κατανεμημένο σύστημα για την επεξεργασία, δεικτοδότηση και διαμοιρασμό TBs από δεδομένα Συνδυασμός NoSQL + MapReduce : MapReduce επεξεργάζεται τα δεδομένα εισόδου και φτιάχνει το ευρετήριο Το ευρετήριο και τα δεδομένα διαμοιράζονται μέσω μιας NoSQL βάσης 33 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Σχετικές εργασίες Κατανεμημένα συστήματα δεικτοδότησης βασισμένα σε Hadoop – Το Ivory κατανέμει μόνο την δημιουργία του index. – To Hindex κατανέμει τα indices μέσω HBase, αλλά η δημιουργία είναι κεντρικοποιημένη Στο σύστημά μας και η δημιουργία και ο διαμοιρασμός του ευρετηρίου είναι κατανεμημένος!!! 34 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Αρχιτεκτονική (1) “Ανέβασμα ” των δεδομένων στο HDFS Τα δεδομένα μαζί με τους κανόνες δεικτοδότησης τροφοδοτούν τον Uploader – Δημιουργία του πίνακα Content 35 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Αρχιτεκτονική (2) Ο Πίνακας Content τροφοδοτείται στον Indexer για την εξαγωγή του πινακα Index Το client API επικοινωνεί με τον Index για αναζητήσεις, και με τον Content για ανάκτηση αντικειμένων 36 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Κανόνες Δεικτοδότησης Ioannis Konstantinou 26/04/2010 Attribute types Record boundaries Τα όρια εγγραφών χωρίζουν τα δεδομένα σε μονάδες για επεξεργασία Τα είδη attributes επιλέγουν περιοχές για δεικτοδότηση – Ένα XML tag, ένας πίνακας HTML, μία στήλη DB, κλπ 37 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Πίνακες Content/Index Αναζήτηση με τον πίνακα Index – Exact Match (Hbase Get) – Prefix Search (Hbase Scan) Ανάκτηση με τον πίνακα Content – Με απλό Hbase Get Row key: MD5HashRow value: record content 2da0ae7cb5… Ioannis 223c14b2a8… Evangelos 38 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου Row key: “term”_”attribute type” Row value: list(MD5Hash) _date2da0ae7cb598ac8e… _date223c14b2a8c7bbe2… Konstantinou_name2da0ae7cb5988.., 223c14b2a8c7bb… Content Table Index Table

1/6/2011 Είδη δεδομένων και φορτίων Δομημένα: 23 GB MySQL Database dump από την τελευταία έκδοση wikipedia Ημι-δομημένα (XML-HTML) – 150 GB XML από τα 2,55TB κάθε άρθρου wikipedia μάζί με τις αναθεωρήσεις του μέχρι τον Μάιο 2008 – 150 GB HTML από μια στατική έκδοση της wikipedia Αδόμητα: 20GB από όλα τα κείμενα σε όλες τις γλώσσες της συλλογής Gutenberg ( αρχεία) Ερωτήσεις χρηστών από την AOL Οι πελάτες κάνουν point και prefix queries ακολουθώντας κατανομή zipfian 39 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Χρόνος απόκρισης για διαφορετικό φορτίο Χρόνοι απόκρισης για φυσιολογικό φόρτο – Point queries: 20ms – Any attribute queries: 150ms – Range queries: 27sec Caching effect της HBase – Μέχρι 100queries/sec υπάρχουν αρκετά διαθέσιμα connections – Μεταξύ 100 και 1000 queries/sec: το queuing και caching είναι σημαντικό 40 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Χρόνος απόκρισης για διαφορετικό μέγεθος Dataset και Index Η αύξηση του ευρετηρίου δεν επηρεάζει τον χρόνο απόκρισης Τα ερωτήματα εύρους κοστίζουν Μικρή γραμμική αύξηση του χρόνου απόκρισης με την αύξηση του dataset Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου 41

1/6/2011 Συμπεράσματα Κατανεμημένα συστήματα κάτω από μεγάλο φόρτο – Όγκο Δεδομένων – Ταυτόχρονα ερωτήματα Εξισορρόπηση φόρτου σε δύο βασικά προβλήματα – Ερωτήματα εύρους – Δημιουργία και διαχείριση ευρετηρίων P2P και “bleeding edge” cloud ready συστήματα – Παραδοσιακοί κατανεμημένοι αλγόριθμοι – Αντιμετωπίζουν τα ίδια προβλήματα – Αλλάζει κάθε φορά η εφαρμογή – Είναι αλληλένδετα 42 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Περιεχόμενα NIXMIG: εξισορρόπηση φόρτου σε κατανεμημένες δομές που υποστηρίζουν ερωτήματα εύρους τιμών Κατανεμημένο σύστημα δεικτοδότησης, αποθήκευσης και επερώτησης δεδομένων μεγάλου όγκου Συμπεράσματα Μελλοντικές Κατευθύνσεις 43 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Προσαρμοστική αντιγραφή κατανεμημένων δομών που υποστηρίζουν ερωτήματα εύρους Ερωτήματα q 1..q 7 υπερφορτώνο υν τον N 1 Ο NIXMIG μεταφέρει τους N 3,N 4,N 5 44 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Δυική προσέγγιση Η δημοφιλής περιοχή διαμοιράζεται και από τους N 3,N 4, N 5 Κάθε κόμβος παίρνει το ¼ των ερωτημάτων 45 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου Προσαρμοστική αντιγραφή κατανεμημένων δομών που υποστηρίζουν ερωτήματα εύρους

1/6/2011 Βελτιώσεις του συστήματος Δεικτοδότησης Ενημερώσεις? Υπέρ/κατά της συμπίεσης? Υποστήριξη για RDF? – Jena – Hexastore 46 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Ελαστική NoSQL μέσω clouds Προσθαφαίρεση κόμβων ανάλογα με την ζήτηση 47 Πώς/ποια μετρικά χρειάζονται? Πότε και πόσους κόμβους χρειάζεται να προσθαφαιρέσουμε? Μπορούμε ταυτόχρονα να εξυπηρετούμε ερωτήματα? CIKM 2011 submission Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Δημοσιεύσεις (1) Περιοδικά – Fast and Cost-Effective Online Load-Balancing in Distributed Range-Queriable Systems. I. Konstantinou, D. Tsoumakos and N. Koziris. IEEE Transactions on Parallel and Distributed Systems (To appear) – A Grid Middleware for Data Management Exploiting Peer-to-Peer Techniques. A. Asiki, K. Doka, I. Konstantinou, A. Zissimos, D. Tsoumakos, N. Koziris and P. Tsanakas. Future Generation Computer Systems, Volume 25, Issue 4, April 2009, Pages Διεθνή συνέδρια με κριτές – Distributed Indexing of Web Scale Datasets for the Cloud. I. Konstantinou, E. Angelou, D. Tsoumakos and N. Koziris. In Proceedings of the International Workshop on Massive Data Analytics on the Cloud (MDAC in conjunction with WWW 2010), Raleigh, NC, USA, 26 April 2010 – Measuring the Cost of Online Load-Balancing in Distributed Range-Queriable Systems. I. Konstantinou, D. Tsoumakos and N. Koziris. In Proceedings of the 9th International IEEE Conference on Peer-to-Peer Computing (P2P), Seattle, WA, USA, 8-11 September Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Δημοσιεύσεις (2) Διεθνή συνέδρια με κριτές – GRIDNEWS: A Distributed Automatic Greek Broadcast Transcriptions System. D. Dimitriadis, A. Metallinou, I. Konstantinou, G. Goumas, P. Maragos and N. Koziris. In Proceedings of the 2009 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP-09), Taipei, Taiwan, March 2009 – PASS It ON (PASSION): An Adaptive Online Load-Balancing Algorithm for Distributed Range-Query specialized Systems. I. Konstantinou, D. Tsoumakos and N. Koziris. In Proceedings of the 16th International Conference on Cooperative Information Systems (CoopIS), Monterrey, Mexico, November 2008 – A Distributed Architecture for Multi-Dimensional Indexing and Data Retrieval in Grid Environments. A. Asiki, K. Doka, I. Konstantinou, A. Zissimos, and N. Koziris. In Proceedings of the Cracow 2007 Grid Workshop (CGW’07), Krakow, Poland, October 16-17, 2007 – Gredia Middleware Architecture. I. Konstantinou, K. Doka, A. Asiki, A. Zissimos, and N. Koziris. In Proceedings of the Cracow 2007 Grid Workshop (CGW’07), Krakow, Poland, October 16-17, Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/2011 Ερωτήσεις? 50 Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου

1/6/ Υποστήριξη διδακτορικής διατριβής – Ιωάννης Κωνσταντίνου Ελαφόνησος, Χανιά