Βάσεις Δεδομένων ΙΙ 2004-2005 Ευαγγελία Πιτουρά 1 Διαχείριση Δεδομένων σε Συστήματα Ομότιμων Κόμβων.

Slides:



Advertisements
Παρόμοιες παρουσιάσεις
Indexing.
Advertisements

Ιεραρχίες Κόμβων Δομημένες σε Δακτύλιο για Ρ2Ρ Συστήματα Βασισμένα σε RDF Σχήματα Παρουσίαση Μεταπτυχιακής Διατριβής: Νικόλαος Κρεμμυδάς Επιβλέπουσα καθηγήτρια:
The EDONKEY protocol Ιωάννης Ζιαγκλιαβός Α.Μ.123 Παναγιώτης Κατσίκος Α.Μ.124 Ευφροσύνη Κουρή Α.Μ. 138.
A Scalable Content- Addressable Network Sylvia Ratnasamy, Paul Francis, Mark Handley, Richard Karp, Scott Shenker Proceedings of ACM SIGCOMM ’01 Sections.
1 ΥΠΟΛΟΓΙΣΤΙΚΉ ΓΕΩΜΕΤΡΊΑ. 2 Πρόβλημα:  Δυναμική διατήρηση N διαστημάτων με διαφορετικά ανά δύο σημεία αρχής και τέλους (σύνορα) έτσι ώστε να απαντάμε.
Ιστορία του Ιντερνετ.
Chord: A scalable Peer-to-Peer Lookup Service for Internet Applications Παρουσίαση: Αθανασόπουλος, Αλεξάκης, Δεβελέγκα, Πεχλιβάνη, Φωτιάδου, Φωτόπουλος.
ΕΙΣΑΓΩΓΗ ΣΤΑ ΔΙΚΤΥΑ ΕΠΙΚΟΙΝΩΝΙΑΣ
A Peer-to-peer Framework for Caching Range Queries O. D. Sahin A. Gupta D. Agrawal A. El Abbadi Παρουσίαση: Καραγιάννης Τάσος, Κρεμμυδάς Νίκος, Μαργαρίτη.
ΠΑΡΑΔΟΣΕΙΣ ΜΑΘΗΜΑΤΟΣ «ΔΙΚΤΥΑ ΕΛΕΓΧΟΥ» ΟΚΤΩΒΡΙΟΣ 2004.
Συνάφεια Κρυφής Μνήμης σε Επεκτάσιμα Μηχανήματα. Συστήματα με Κοινή ή Κατανεμημένη Μνήμη  Σύστημα μοιραζόμενης μνήμης  Σύστημα κατανεμημένης μνήμης.
Freenet: A Distributed Anonymous Information Storage and Retrieval System Κοκκίνης Νίκος Κώνστα Λαμπρινή Μπουντουρόπουλος Νίκος Νικολαϊδου Παναγιώτα Παπαγεωργίου.
 Αυδίκου Χριστίνα  Γιουμούκης Παναγιώτης  Κιντσάκης Θάνος  Πάπιστας Γιάννης.
Δ.Π.Θ. Συνδέοντας έγγραφα - 1 Συνδέοντας έγγραφα Μια σύνδεση στο Web (link) αποτελείται από δύο μέρη : Aυτό που βλέπουμε στη σελίδα και λέγεται άγκυρα.
Peer-to-Peer Systems Ευθυμία Ρόβα Βίκυ Τζιοβάρα Μαρία Χριστοδουλίδου.
Semantic Overlay Networks in P2P systems A. Crespo, H. Garcia-Molina Κρεμμυδάς Νίκος Σκυβαλίδας Πάνος Παππάς Θεοχάρης.
A Scalable Content- Addressable Network Sylvia Ratnasamy, Paul Francis, Mark Handley, Richard Karp, Scott Shenker Proceedings of ACM SIGCOMM ’01 ΠΑΡΟΥΣΙΑΣΗ:
Βάσεις Δεδομένων (ΚΒΔ)
1/23 DHTStrings: Συστήματα Δημοσιεύσεων/Συνδρομών σε DHT Δίκτυα με Υποστήριξη για Συμβολοσειρές Διανομή Περιεχομένου στο Διαδίκτυο Τμήμα ΜΗΥΠ Παν/μιο Πατρών.
Συστήματα Διαδικτύου1 Συστήματα Διαδικτύου (Συστήματα και Δίκτυα Ομοτίμων - Peer-to-Peer Systems/Networks) Καθ. Παναγιώτης Τριανταφύλλου.
Εισαγωγικές Έννοιες Διδάσκοντες: Σ. Ζάχος, Δ. Φωτάκης Επιμέλεια διαφανειών: Δ. Φωτάκης Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο.
Εφαρμογή της Θεωρίας Βέλτιστης Παύσης στον έλεγχο συνέπειας (consistency) σε WWW Caching Servers Δημήτριος Λορέντζος ΠΛΣ Διπλωματική Εργασία Επιβλέπων:
Σύστημα Ονομάτων Περιοχών (Domain Name System, DNS)
Δυναμική Διατήρηση Γραμμικής Διάταξης Διατηρεί μια γραμμική διάταξη δυναμικά μεταβαλλόμενης συλλογής στοιχείων. Υποστηρίζει τις λειτουργίες: Έλεγχος της.
1 Content Addressable Network Λίλλης Κώστας Καλλιμάνης Νικόλαος Αγάθος Σπυρίδων – Δημήτριος Σταθοπούλου Ευγενία Γεωργούλας Κώστας.
A Balanced Tree Structure for Peer-to-Peer Networks
Κατανεμημένα Συστήματα με Java Ενότητα # 15: Κατανεμημένος καταμερισμός αρχείων Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής.
Επισκόπηση ΟΜΑΔΑ: Παππάς Χάρης Κρεμμυδάς Νίκος Σκυβαλίδας Πάνος Σταμκόπουλος Κώστας.
Distributed Systems 2 Multicast DNS. Τι είναι; Πρωτόκολλο αντίστοιχο του DNS για τοπικά δίκτυα. Κάθε Η/Υ έχει την δική του λίστα με DNS records.
Μεταγωγή (Switching) Πως σχηματίζουμε διαδίκτυα. Περίληψη Μεταγωγή Κυκλωμάτων (Circuit switching) Μεταγωγή Πακέτων (Packet switching) Μεταγωγή Εικονικών.
ΔΙΚΤΥΑ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΚΤΥΑ ΗΥ - ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ.
7.8 Πρωτόκολλο DNS Δίκτυα Υπολογιστών ΙΙ.
Εισαγωγικά Θέματα WWW Δίκτυα Ομοτίμων p2p.
Μεταγωγή (Switching) Πως σχηματίζουμε διαδίκτυα. Περίληψη Μεταγωγή Κυκλωμάτων (Circuit switching) Μεταγωγή Πακέτων (Packet switching) Μεταγωγή Εικονικών.
EDonkey Νικόλαος Καλλιμάνης Κώστας Λίλλης. eDonkey Γενικά  Υβριδικό (weakly centralized) P2P σύστημα για διαμοιρασμό αρχείων.  Αποτελείται από servers.
CHORD A Scalable Peer-to-peer Lookup Service for Internet Applications Μαρίνα Δρόσου Νικόλαος Μπουντουρόπουλος Οδυσσέας Πετρόχειλος Παναγιώτης Δομουχτσίδης.
Advanced Data Indexing (Προηγμένη ευρετηρίαση δεδομένων) Κατακερματισμός – Hashing (1 ο Μέρος)
Ανασκόπηση Σχεδιασμού στο CAN Διονύσης Αθανασόπουλος Βασιλική Δεβελέγκα.
Βάσεις Δεδομένων Ευαγγελία Πιτουρά 1 Εισαγωγή στην Επεξεργασία Ερωτήσεων.
A Scalable Content-Addressable Network Μυρτώ Ντέτσικα Παναγιώτα Νικολαΐδου Ελένη Γεώργα Λαμπρινή Κώνστα Βαγγέλης Λάππας Γρηγόρης Τζώρτζης Γιώργος Καρπάθιος.
1 Chord: A scalable Peer to Peer Lookup Service for Internet Applications Νικόλαος Καλλιμάνης Σπυρίδων-Δημήτριος Αγάθος Ευγενία Σταθοπούλου.
Σημασιολογική Ολοκλήρωση Ολοκλήρωση Πληροφορίας Το πρόβλημα της ολοκλήρωσης πληροφορίας (information integration) προκύπτει από την ύπαρξη ετερογενών.
ΕΠΛ 231 – Δομές Δεδομένων και Αλγόριθμοι13-1 Στην ενότητα αυτή θα μελετηθούν τα εξής επιμέρους θέματα: Ο αλγόριθμος Dijkstra για εύρεση βραχυτέρων μονοπατιών.
Τεχνολογία TCP/IP TCP/IP internet είναι ένα οποιοδήποτε δίκτυο το οποίο χρησιμοποιεί τα πρωτόκολλα TCP/IP. Διαδίκτυο (Internet) είναι το μεγαλύτερο δίκτυο.
1 ΤΜΗΜΑ ΜΠΕΣ Αλγόριθμοι Αναζήτησης Εργασία 1 Τυφλή Αναζήτηση.
Διαχείριση Δικτύων Ευφυή Δίκτυα Άσκηση 1: Χρήση βασικών εργαλείων για συλλογή πληροφοριών για τη διαμόρφωση και την κατάσταση λειτουργίας του δικτύου.
Βάσεις Δεδομένων Ευαγγελία Πιτουρά 1 Ευρετήρια.
Βάσεις Δεδομένων Ευαγγελία Πιτουρά 1 Ευρετήρια.
Διαχείριση Δικτύων Ευφυή Δίκτυα Άσκηση 2: Συλλογή πληροφοριών για τη διαμόρφωση και την κατάσταση λειτουργίας του δικτύου. Εργαστήριο Διαχείρισης και Βέλτιστου.
Peer-To-Peer Networks Θέματα Πτυχιακών Αναστάσιος Ιωαννίδης Σαράντης Πασκαλής
Peer-To-Peer Networks Αναστάσιος Ιωαννίδης
S3 Laboratory - Τεχνολογία Ηλεκτρονικού Εμπορίου P2P αρχιτεκτονικές γιά Υλοποίηση Επιχειρησιακών Μοντέλων για Η- Εμπόριο.
Συνδετικότητα γραφήματος (graph connectivity). α β Υπάρχει μονοπάτι μεταξύ α και β; Παραδείγματα: υπολογιστές ενός δικτύου ιστοσελίδες ισοδύναμες μεταβλητές.
Κινητά και Διάχυτα Συστήματα Ενότητα # 6: Εφαρμογές DHT Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής.
ΤΙΤΛΟΣ ΕΡΓΑΣΙΑΣ ΒΑΣΕΙΣ ΔΕΔΟΜΕΝΩΝ Ανδρέου Βασίλης.
Ευρετήρια Βάσεις Δεδομένων Ευαγγελία Πιτουρά.
Δυναμικός Κατακερματισμός
Επίλυση Προβλημάτων με Αναζήτηση
Java DataBase Connectivity
Βάσεις Δεδομένων ΙΙ 7η διάλεξη
Κατανεμημένα Συστήματα
ΚΑΤΑΝΕΜΗΜΕΝΑ ΣΥΣΤΗΜΑΤΑ (ΕΡΓΑΣΤΗΡΙΟ)
Κεφάλαιο 7: Διαδικτύωση-Internet
Κεφάλαιο 7: Διαδικτύωση-Internet Μάθημα 7.9: Δρομολόγηση
Κεφάλαιο 6o. Επίπεδο εφαρμογής
Το μοντέλο πελάτη - εξυπηρετητή
ONLINE ΕΙΣΑΓΩΓΗ ΠΑΚΕΤΩΝ ΚΑΙ OBLIVOUS ΔΡΟΜΟΛΟΓΗΣΗ ΣΕ ΔΙΚΤΥΑ ΑΙΣΘΗΤΗΡΩΝ ONLINE ΕΙΣΑΓΩΓΗ ΠΑΚΕΤΩΝ ΚΑΙ OBLIVOUS ΔΡΟΜΟΛΟΓΗΣΗ ΣΕ ΔΙΚΤΥΑ ΑΙΣΘΗΤΗΡΩΝ Ζώντου Αικατερίνη.
Ερωτήματα Επιλογής σε ACCESS
Μη Γραμμικός Προγραμματισμός
Δυναμικός Κατακερματισμός
Μεταγράφημα παρουσίασης:

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 1 Διαχείριση Δεδομένων σε Συστήματα Ομότιμων Κόμβων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 2 Εισαγωγή Μεγάλος αριθμός από κόμβους (συνήθως υπολογιστές στην «άκρη» του διαδικτύου) Συμμετέχουν στον υπολογισμό  Προσφέροντας πόρους (π.χ., μουσικά αρχεία) – servers (εξυπηρετητές)  Χρησιμοποιώντας πόρους που προσφέρουν άλλοι κόμβοι – clients (πελάτες)

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 3 Κάποιες Ιδιότητες  Αποκέντρωση (και στη διαχείριση)  Αυτονομία (οι κόμβοι αποφασίζουν τι δεδομένα να αποθηκεύσουν, ποια μηνύματα να προωθήσουν κλπ)  Δυναμική Συμμετοχή (churn)  Εγωιστική Συμπεριφορά (“free-riding”)  Προβλήματα Εμπιστοσύνης (trust) – επίσης ασφάλεια, privacy Βασικός Στόχος  Αποδοτικό μοίρασμα πόρων και κόστους Εισαγωγή

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 4 Εισαγωγή Θα δούμε το γενικό πρόβλημα της ΑΝΑΖΗΤΗΣΗΣ Ένας κόμβος θέτει ένα ερώτημα για κάποιο πόρο (ή δεδομένο): πως θα το βρει, δηλαδή πως θα εντοπίσει τον κόμβο ή τους κόμβους που το έχουν

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 5 Το Πρόβλημα της Αναζήτησης Παρατηρήσεις Πόροι προς Διαμοιρασμό  Συνήθως αρχεία (Gnutella, Napster, Freenet, ΚαΖαα)  Αποθηκευτικός χώρος (lockss)  Υπολογιστική δύναμη Entropia)  Βandwidth (PeerCast) Η ερώτηση συνήθως το «όνομα» κάποιου αρχείου ή κάποιες λέξεις κλειδιά q Ιδέες για την αναζήτηση... Δρομολόγηση (routing) της ερώτησης

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 6 Κεντρικό Ευρετήριο (Napster) AB Napster Server register (user, files) “Where is X.mp3?” “A has X.mp3” Download X.mp3 Υπάρχει ένα κεντρικό ευρετήριο με πληροφορία για όλα τα αρχεία που υπάρχουν στο σύστημα - Register/Lookup (p2p μεταφορά αρχείου) - αντί για Register (crawler!) Πολλή γρήγορη αναζήτηση, αλλά Προβλήματα  Αποτυχίες  Φορτίο (σκεφτείτε τις ενημερώσεις) αλλά και  Νομικές αγωγές

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 7 zNapster xyz.mp3 ? xyz.mp3 Napster

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 8 zNapster yC-S search xyz.mp3 Napster

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 9 zNapster yC-S search xyz.mp3 ? xyz.mp3 Napster

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 10 Napster xyz.mp3 ? xyz.mp3 zNapster yC-S search yp2p file transfer

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 11 zNapster yC-S search y“pt2pt” file xfer xyz.mp3 ? xyz.mp3 Napster

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 12 Η Ιστορία του Napster zMay 1999: Napster Inc. file share service founded by Shawn Fanning and Sean Parker zDec : Recording Industry Association of America (RIAA) sues Napster for copyright infringement zApril 13, 2000: Heavy metal rock group Metallica sues Napster for copyright infringement zApril 27, 2000: Rapper Dr. Dre sues Napster zMay 3, 2000: Metallica’s attorney claims 335,000 Internet users illegally share Metallica’s songs via Napster zJuly 26, 2000: Court orders Napster to shut down zOct 31, 2000: Bertelsmann becomes a partner and drops lawsuit zFeb 12, 2001: Court orders Napster to cease trading copyrighted songs and to prevent subscribers to gain access to content on its search index that could potentially infringe copyrights zFeb 20, 2001: Napster offers $1 billion to record companies (rejected) zMarch 2, 2001: Napster installs software to satisfy the order

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 13 Κατανεμημένη Προσέγγιση Κατανεμημένο Μοντέλο Δεν υπάρχει κεντρικό ευρετήριο Παραδείγματα: Freenet, Gnutella Ιεραρχικό Μοντέλο Μερικοί κόμβοι «πιο» ίσοι από τους άλλους “super-peers” - υπερ-ομότιμοι Υβριδικό μεταξύ (πλήρως) κατανεμημένου και κεντρικοποιημένου Παράδειγμα: KaZaa, DNS

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 14 Υπερ-Ομότιμοι Είτε ορίζονται από την αρχή είτε προάγονται

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 15 Η έννοια του Ιδεατού Δικτύου Κάθε κόμβος συνδέεται με (γνωρίζει) έναν αριθμό από άλλους κόμβους κατασκευάζοντας έτσι ένα ιδεατό δίκτυο (overlay network) Μια ερώτηση (αίτηση) για κάποιο πόρο υποβάλλεται σε έναν κόμβο του συστήματος Δρομολόγηση της ερώτησης στο ιδεατό δίκτυο προς τους κόμβους με σχετικά δεδομένα Πως κατασκευάζουμε το “overlay” και πως δρομολογούμε τις ερωτήσεις σε αυτό q

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 16 Η έννοια του Ιδεατού Δικτύου Παρατήρηση Το ιδεατό δίκτυο κτίζεται από-πάνω (on top) του φυσικού - IP-δικτύου Δύο γείτονες στο ιδεατό δίκτυο, πολλά hops μακριά στο φυσικό δίκτυο

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 17 Δυο φιλοσοφίες: Αδόμητα (Unstructured): Kαμία υπόθεση για το που τοποθετούνται οι κόμβοι Κάθε κόμβος συνδέεται «τυχαία» με κάποιους κόμβους του δικτύου Δομημένα (Structured): το ιδεατό δίκτυο ακολουθεί «αυστηρή» και συγκεκριμένη δομή, π.χ, Δακτύλιος (CHORD), Grid (CAN) τα δεδομένα (ή πληροφορία/ευρετήριο) για τα δεδομένα τοποθετούνται σε συγκεκριμένους κόμβους (+) γρήγορη αναζήτηση – συνήθως λογαριθμική στον αριθμό των κόμβων του δικτύου (-) κόστος συντήρησης του δικτύου και εξισορρόπησης του φορτίου Δύο Είδη Συστημάτων Ομοτίμων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 18  Δεν υπάρχει κεντρικός εξυπηρετητής  Σύνδεση Κόμβου: Για να συνδεθεί κάποιος κόμβος στο p2p δίκτυο πρέπει να ξέρει τουλάχιστον έναν κόμβο του  Αναζήτηση Κόμβου: Κάποιο είδος μετάδοσης σε όλους (broadcast) Πλημμύρα (flooding) Δρομολόγηση σε Αδόμητα Συστήματα Ομότιμων Κόμβων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 19 Δρομολόγηση σε Αδόμητα Συστήματα Ομότιμων Κόμβων q Κάποια μορφή πλημμύρας (Flooding): Κάθε κόμβος προωθεί το μήνυμα στους γείτονες του οι οποίοι με τη σειρά το προωθούν στους γείτονες τους κλπ μέχρι να βρεθεί κόμβος με τη πληροφορία

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 20 Δρομολόγηση σε Αδόμητα Συστήματα Ομότιμων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 21 Δρομολόγηση σε Αδόμητα Συστήματα Ομότιμων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 22 Δρομολόγηση σε Αδόμητα Συστήματα Ομότιμων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 23 Δρομολόγηση σε Αδόμητα Συστήματα Ομότιμων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 24 Αδόμητα Συστήματα Ομότιμων Κόμβων TTL (Time-to-Leave) Η αναζήτηση περιορίζεται σε ένα TTL αριθμό από βήματα Είτε BFS (Breadth-First-Search) είτε DFS (Depth-First- Search) BFS καλύτερος χρόνος απόκρισης, αλλά πολύ μεγάλος αριθμός από μηνύματα Παρατήρηση: Η αναζήτηση με BFS συνεχίζεται σε ένα μονοπάτι ακόμα και αν το αντικείμενο εντοπιστεί σε κάποιο άλλο

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 25 Αναδρομική (Recursive) και Επαναληπτική (Iterative) Αναζήτηση Αν ο κόμβος που έθεσε την ερώτηση απευθύνει την ερώτηση απευθείας (απευθείας με IP) ή αναδρομικά (κόμβο-κόμβο) Το αποτέλεσμα ακολουθεί ή όχι το μονοπάτι της ερώτησης Αδόμητα Συστήματα Ομότιμων Κόμβων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 26 retrieve (K 1 ) K V Αδόμητα Συστήματα Ομότιμων Κόμβων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 27 Gnutella: Είσοδος Κόμβου (Ping/Pong) C A BD E A’s ping B’s pong C’s pong D’s pong E’s pong

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 28 Gnutella: Είδη Μηνυμάτων TypeDescriptionContained Information Ping Announce availability and probe for other servents None Pong Response to a pingIP address andport# of responding servent; number and total kb of files shared Query Search requestMinimum network bandwidth of responding servent; search criteria QueryHit Returned by servents that have the requested file IP address,port# and network bandwidth of responding servent; number of results and result set Push File download requests for servents behind a firewall Servent identifier; index of requested file; IP address and port to send file to

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 29 Gnutella: Αναζήτηση (Query/QueryHit/GET) C A BD E A’s query (e.g., X.mp3) C’s query hit E’s query hit X.mp3 GET X.mp3 X.mp3

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 30 Gnutella: Είδη Μηνυμάτων TypeDescriptionContained Information Ping Announce availability and probe for other servents None Pong Response to a pingIP address andport# of responding servent; number and total kb of files shared Query Search requestMinimum network bandwidth of responding servent; search criteria QueryHit Returned by servents that have the requested file IP address,port# and network bandwidth of responding servent; number of results and result set Push File download requests for servents behind a firewall Servent identifier; index of requested file; IP address and port to send file to

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 31 Gnutella  Δεν υπάρχει κεντρικός εξυπηρετητής  Για να συνδεθεί κάποιος κόμβος στο p2p δίκτυο πρέπει να ξέρει τουλάχιστον έναν κόμβο του  Περιορισμένη Μετάδοση σε Όλους  Κάθε κόμβος στέλνει τα πακέτα που δέχεται σε όλους τους γείτονες του (συνήθως 4)  time-to-live (TTL) συνήθως 7  Κύκλοι (loops): συνήθως τα πακέτα έχουν μοναδικά ids

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 32 «Free-riding» στην Gnutella z24 ώρες παρακολούθηση: y70% των χρηστών της Gnutella δε μοιράζονται καθόλου αρχεία y50% όλων των απαντήσεων έρχονται από το top 1% των κόμβων yΣημαντικό θέμα «κίνητρα» (incentives) για συμμετοχή

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 33  Οι κόμβοι συνδέονται μεταξύ τους με τυχαίο κόμβο  Η θέση των δεδομένων (ευρετηρίου ή μετα-δεδομένων) δεν ελέγχεται από το σύστημα  Δεν υπάρχει εγγύηση για την επιτυχία μιας αναζήτησης (ακόμα και αν το αντικείμενο υπάρχει)  Δεν υπάρχει κάποιο όριο (bound) στο χρόνο αναζήτησης  Ο εντοπισμός των μη δημοφιλών δεδομένων είναι ιδιαίτερα δύσκολος  60% της κίνησης του δικτύου p2p αναζητήσεις Αδόμητα Συστήματα Ομότιμων Κόμβων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 34 Αδόμητα Συστήματα Ομότιμων Κόμβων Τροποποίηση Επικοινωνία μόνο με ένα υποσύνολο των γειτόνων κάθε κόμβου Ποιο «υποσύνολο»;  Τυφλές αναζητήσεις  Αναζητήσεις με πληροφορία (Ευρετήρια!)

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 35 Τυχαίοι Περίπατοι (Random Walks): Ο κόμβος που ρωτά στέλνει την ερώτηση σε k (με τυχαία επιλογή) γείτονες του Σε κάθε επόμενο βήμα, η ερώτηση προωθείται από τους γείτονες σε έναν μόνο νέο γείτονα (με τυχαία επιλογή) Δηλαδή, κάθε μία από τις k ερωτήσεις ακολουθεί το δικό της μονοπάτι Μειώνει τον αριθμό των μηνυμάτων σε k x TTL Κάποια μορφή εξισορρόπησης φορτίου Μειώνει τους κύκλους (την επανα-επίσκεψη του ίδιου κόμβου) Αδόμητα Συστήματα Ομότιμων Κόμβων: Τυχαίοι Περίπατοι

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 36 Ευρετήρια Δρομολόγησης Κάθε κόμβος κρατά ένα Τοπικό ευρετήριο: για τα δεδομένα που είναι αποθηκευμένα σε αυτόν Ευρετήρια Δρομολόγησης: ένα για κάθε ακμή – για τα δεδομένα που είναι προσπελάσιμα σε μονοπάτια που ξεκινούν από αυτή την ακμή Αδόμητα Συστήματα Ομότιμων Κόμβων: Ευρετήρια Δρομολόγησης

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 37 Ευρετήρια Δρομολόγησης Τι κρατάμε στο ευρετήριο;  Είδος πληροφορίας (πχ ανεστραμμένα αρχεία)  Πόσοι κόμβοι (ορίζοντας)  εκθετική μείωση με την απόσταση Αδόμητα Συστήματα Ομότιμων Κόμβων: Ευρετήρια Δρομολόγησης

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 38 Τα δεδομένα (ή το ευρετήριο) δεν τοποθετείται σε «τυχαίους» κόμβους Αντιστοιχία των δεδομένων (του id τους, π.χ. του ονόματος ενός αρχείου) σε ένα συγκεκριμένο κόμβο του συστήματος id δεδομένου  id κόμβου Πως; Με μια συνάρτηση κατακερματισμού (hash function) Distributed Hash Tables (DHT) Αναζήτηση σε DHT 1.Lookup(id-δεδομένου) μας δίνει το id του κόμβου που έχει πληροφορία για το δεδομένο 2.ΔΡΟΜΟΛΟΓΗΣΗ προς αυτόν τον κόμβο (βασική αρχή της δρομολόγησης: σε κάθε βήμα μειώνουμε την απόσταση προς τον κόμβο) Δομημένα Συστήματα Ομότιμων Κόμβων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 39 Θα δούμε δύο διάσημα DHT  CAN  CHORD Δομημένα Συστήματα Ομότιμων Κόμβων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 40 CAN  Εικονικό σύστημα συντεταγμένων d διαστάσεων οργανωμένο σε d-torus  Ο χώρος συντεταγμένων διαμοιράζεται δυναμικά σε υπερ-ορθογώνια που καλούνται ζώνες (zones)  Σε κάθε κόμβο του συστήματος ανατίθεται και μία ζώνη και κάθε κόμβος χαρακτηρίζεται από τις συντεταγμένες της ζώνης που καλύπτει ((x 1, y 1 ), (x 2, y 2 )) κάτω αριστερά και πάνω δεξιά σημεία Παράδειγμα 2-διάστατου [0, 1] x [0, 1] CAN με 5 κόμβους

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 41 CAN  Κάθε κλειδί K ενός δεδομένου (π.χ. το όνομα Κ του αρχείου V) αντιστοιχίζεται σε ένα σημείο P του χώρου χρησιμοποιώντας μια ομοιόμορφη συνάρτηση κατακερματισμού και αποθηκεύεται στον κόμβο του οποίου η ζώνη περιλαμβάνει το P  Αναζήτηση του (K, V): εφαρμογή της ίδιας συνάρτησης κατακερματισμού στο (K, V) οπότε προκύπτει το P δηλαδή ο κόμβος που διατηρεί το (K, V). (Βήμα 2: δρομολόγηση) Πως θα φτάσουμε στον P από τον κόμβο που κάναμε την ερώτηση;

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 42 CAN  Κάθε κόμβος διατηρεί έναν πίνακα δρομολόγησης με τις ΙΡ διευθύνσεις και τις ζώνες που καλύπτει κάθε άμεσος γείτονας του στο χώρο συντεταγμένων  Η ερώτηση δρομολογείται κάθε φορά προς το γείτονα που είναι πιο κοντά στον κόμβο που αποθηκεύει το κλειδί σε κάθε βήμα, ο κόμβος ελέγχει τις συντεταγμένες των γειτόνων του και προωθεί την ερώτηση στο γείτονα του οποίου η (π.χ, ευκλείδια) απόσταση από το που είναι πιο κοντά στον κόμβο P που έχει το δεδομένο Δρομολόγηση Ερώτησης

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 43 CAN  Για χώρο διάστασης d χωρισμένο σε n ίσες ζώνες κάθε κόμβος έχει 2d γείτονες και το μέσο μήκος ενός μονοπατιού είναι (d/4)×n 1/d  Κάθε κόμβος αποθηκεύει μικρό αριθμό από πληροφορίες (μόνο για τους γείτονες του) ανεξάρτητο από το συνολικό αριθμό κόμβων του δικτύου

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 44 CAN  Ο καινούργιος κόμβος επιλέγει τυχαία ένα σημείο Ρ  Υποθέτοντας ότι υπάρχει τουλάχιστον ένας κόμβος, στέλνει ένα μήνυμα συνένωσης στον κόμβο στον οποίο ανήκει το P.  Το μήνυμα συνένωσης δρομολογείται στο κόμβο που κατέχει το Ρ.  Όταν το μήνυμα φτάσει στον ιδιοκτήτη του Ρ, ο κόμβος διαιρεί τον εαυτό του στα δύο κατά μήκος μιας από τις διαστάσεις  Ενημέρωση δομών (γείτονες) και δεδομένα που κατέχει Είσοδος Κόμβου στο Δίκτυο

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 45 CAN

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά n1 n2 n3n4 n n1 n2 n3n4 n5 n6n6 Εισαγωγή κόμβου n6 CAN

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 47 CAN  Εθελοντική αποχώρηση: ο κόμβος παραδίδει τη ζώνη του και τα δεδομένα (K,V) σε ένα γείτονα  Αποτυχία δικτύου: Μη-προσβάσιμοι κόμβοι θέτουν σε λειτουργία ένα αλγόριθμο άμεσης ανακατάληψης που δεσμεύει τη περιοχή του κόμβου στο γείτονα  Ανίχνευση αποτυχίας μέσω περιοδικών μηνυμάτων  Ανακατάληψη της ζώνης από το γείτονα με τη μικρότερη ζώνη Διαγραφή, Ανάκαμψη και Συντήρηση Θέματα εξισορρόπησης φορτίου

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 48 CHORD Οι κόμβοι τοποθετούνται σε έναν ιδεατό δακτύλιο 2 m θέσεων μέσω μιας συνάρτησης κατακερματισμού που εφαρμόζεται στο id του κόμβου Τα δεδομένα τοποθετούνται στους κόμβους εφαρμόζοντας μια συνάρτηση κατακερματισμού στο κλειδί τους Αναζήτηση: 1.Εφαρμόζεται η συνάρτηση κατακερματισμού στον κλειδί του δεδομένου που ψάχνουμε 2.Η ερώτηση δρομολογείται προς τον κόμβο που έχει το κλειδί

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 49 CHORD  Οι κόμβοι είναι τοποθετημένοι σε έναν νοητό δακτύλιο.  Συνάρτηση κατακερματισμού εφαρμόζεται σε κάθε κόμβο (στην IP διεύθυνση του)  Δίνει έναν αριθμό από 0 έως 2 m Παράδειγμα Δακτύλιος με m = 4 και 16 θέσεις Κόμβοι υπάρχουν στις θέσεις 3, 5, 6, 9, 12, 14 και 15 δηλαδή, δεν υπάρχουν κόμβοι σε όλες τις ιδεατές θέσεις του δακτύλιου

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 50 CHORD  Συνάρτηση κατακερματισμού εφαρμόζεται στο κλειδί K (id) κάθε δεδομένου  To K αποθηκεύεται στον πρώτο κόμβο του οποίου το id είναι ίσο ή μεγαλύτερο του Κ, successor(Κ) (πρώτος κόμβος με τη φορά του ρολογιού από το Κ) Παράδειγμα Έχουν εισαχθεί τα δεδομένα με κλειδί (μετά την εφαρμογή της συνάρτησης κατακερματισμού) 2, 8, 9, 13, και , , 14

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 51 CHORD Αναζήτηση Για τη δρομολόγηση, αρκεί κάθε κόμβος να ξέρει μόνο τους γείτονες του, αλλά τότε Ο(Ν) μηνύματα Βελτίωση Κάθε κόμβος εκτός από τον άμεσο γείτονά του στο δακτύλιο συνδέεται και με τους κόμβους που βρίσκονται σε απόσταση 2 0, 2 1, 2 2,, …, 2 m-1. (Όλες οι πράξεις γίνονται mod 2 m ). Συγκεκριμένα, συνδέεται με τον πρώτο κόμβο που συναντά σε τουλάχιστον τόση απόσταση. Ο πρώτος κόμβος που ακολουθεί τον κόμβο n σε απόσταση τουλάχιστον 2 i, συμβολίζεται ως successor(n + 2 i ). Σημείωση: Στο CAN, κάθε κόμβος συνδέεται με d άλλους κόμβους, όπου d η διάσταση του CAN.

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 52 CHORD , , 14 Παράδειγμα, ο κόμβος 12 συνδέεται με τους: successor( ) mod 16 = 14 (πρώτος που υπάρχει μετά τον 13) successor( ) mod 16 = 14 successor( ) mod 16 = 3 (πρώτος που υπάρχει μετά τον 0) successor( ) mod 16 = 5 (πρώτος που υπάρχει μετά τον 4) Διαισθητικά, επιτρέπει άλματα σε μακρινούς κόμβους

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 53 CHORD finger table: Η πληροφορία με τους γείτονες (successors) ενός κόμβου σώζεται σε έναν πίνακα m θέσεων ανά κόμβο Επίσης, αποθηκεύουμε στον πίνακα (για ευκολία) και ποια περιοχή (διάστημα στο δακτύλιο) καλύπτει κάθε successor. Η i-οστή εγγραφή του πίνακα του κόμβου n (n.finger(i).interval) αφορά αυτό το διάστημα που καλύπτεται από τον i-στο successor του κόμβου n, συγκεκριμένα το διάστημα: [(n + 2 i-1 ) mod 2 m, (n + 2 i ) mod 2 m ).

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 54 CHORD , , 14 succinterval 5[4, 5) 5[5, 7) 9[7, 11) 12[11, 3) succinterval 6[6, 7) 9[7, 9) 9[9, 13) 14[13, 5) succinterval 9[7, 8) 9[8, 10) 12[10, 14) 14[14, 6) succinterval 12[10, 11) 12[11, 13) 14[13, 1) 3[1, 9) succ interval 14[13, 14) 14 [14, 0) 3[0, 4) 5[4, 12) succinterval 15[15, 0) 3 [0, 2) 3[2, 6) 6 [6, 14) succinterval 3[0, 1) 3[1, 3) 3[3, 7) 9[7, 15) Για παράδειγμα, για τον κόμβο 12

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 55 CHORD Για την αναζήτηση ενός κλειδιού Κ, ο κόμβος n ψάχνει στο finger table για τον κόμβο P που είναι ο αμέσως προηγούμενος του Κ - Ο successor του P θα είναι ο κόμβος που είναι αποθηκευμένο το δεδομένο με κλειδί Κ. Για να το βρει τον P, κάθε κόμβος, κοιτά στο finger table του για να βρει το interval στο οποίο ανήκει το K και στη συνέχεια επικοινωνεί (στέλνει μήνυμα) στον κόμβο που καλύπτει το interval (δηλαδή) στο αντίστοιχο succ.

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 56 CHORD , , 14 succinterval 5[4, 5) 5[5, 7) 9[7, 11) 12[11, 3) succinterval 6[6, 7) 9[7, 9) 9[9, 13) 14[13, 5) succinterval 9[7, 8) 9[8, 10) 12[10, 14) 14[14, 6) succinterval 12[10, 11) 12[11, 13) 14[13, 1) 3[1, 9) succ interval 14[13, 14) 14 [14, 0) 3[0, 4) 5[4, 12) succinterval 15[15, 0) 3 [0, 2) 3[2, 6) 6 [6, 14) succinterval 3[0, 1) 3[1, 3) 3[3, 7) 9[7, 15) lookup(9)

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 57 CHORD , , 14 succinterval 5[4, 5) 5[5, 7) 9[7, 11) 12[11, 3) succinterval 6[6, 7) 9[7, 9) 9[9, 13) 14[13, 5) succinterval 9[7, 8) 9[8, 10) 12[10, 14) 14[14, 6) succinterval 12[10, 11) 12[11, 13) 14[13, 1) 3[1, 9) succ interval 14[13, 14) 14 [14, 0) 3[0, 4) 5[4, 12) succinterval 15[15, 0) 3 [0, 2) 3[2, 6) 6 [6, 14) succinterval 3[0, 1) 3[1, 3) 3[3, 7) 9[7, 15) lookup(13)

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 58 CHORD Εισαγωγή Κόμβου n στο Δίκτυο O n επικοινωνεί με έναν τυχαίο κόμβο n’ και η ερώτηση δρομολογείται στη θέση που πρέπει να εισαχθεί ο n (δηλαδή, στον αμέσως προηγούμενο κόμβο) Βήμα 1: Κατασκευή του finger table του n Lookup(n ), Lookup(n ), …, Lookup(n+2 m-1 ) Κόστος Ο(m log(N)) Βελτιστοποίηση: Έλεγχος αν ίδιοι successors Πρακτική βελτιστοποίηση: Ζητά από έναν άμεσο γείτονα του το δικό του finger table

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 59 CHORD Εισαγωγή Κόμβου n στο Δίκτυο (συνέχεια) Βήμα 2: Τροποποίηση των finger tables κόμβων που ήδη υπάρχουν Θα αλλάξουμε τον i-οστό finger ενός κόμβου p αν: (1) ο p προηγείται του n τουλάχιστον κατά 2 i-1 (2) το i-στό finger του p έπεται του n (πως; lookup(n – 2 0 ) κλπ) Βήμα 3: Μετακίνηση περιεχομένου Μπορεί να πάρει μόνο δεδομένα που το ακολουθούν

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 60 CHORD , , 14 succinterval 5[4, 5) 5[5, 7) 9[7, 11) 12[11, 3) succinterval 6[6, 7) 9[7, 9) 9[9, 13) 14[13, 5) succinterval 9[7, 8) 9[8, 10) 12[10, 14) 14[14, 6) succinterval 12[10, 11) 12[11, 13) 14[13, 1) 3(1, 9) succ interval 14[13, 14) 14 [14, 0) 3[0, 4) 5[4, 12) succinterval 15[15, 0) 3 [0, 2) 3[2, 6) 6 [6, 14) succinterval 3[0, 1) 3[1, 3) 3[3, 7) 9[7, 15) join(1) succinterval 3[2, 3) 3[3, 5) 5[5, 9) 9[9, 1)

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 61 CHORD  Αναζήτηση Ο(logN)  Κάθε κόμβος αποθηκεύει πληροφορία για O(logN) άλλους κόμβους  Εισαγωγή/διαγραφή κόμβου O(log 2 N)

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 62 Συγκριτικός Πίνακας

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 63 Το Πρόβλημα της Αναζήτησης Παρατήρηση Η ερώτηση συνήθως το «όνομα» κάποιου αρχείου ή κάποιες λέξεις κλειδιά, αλλά SQL ερωτήματα (Join, Range queries (ερωτήσεις διαστήματος) XML αρχεία q

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 64 Συγκριτικός Πίνακας Περισσότερα για το πρόβλημα της Αναζήτησης yQuery Expressiveness - Εκφραστικότητα (είδη ερωτήσεων) yComprehensiveness – Πληρότητα (όλα τα διαθέσιμα αποτελέσματα ή απλώς τα πρώτα κ ή τα καλύτερα κ αποτελέσματα y Τοπολογία y Τοποθέτηση Δεδομένων y Δρομολόγηση Μηνυμάτων

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 65 Comparison     

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 66 Comparison         

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 67 Άλλα Θέματα  Σημασιολογικά Ιδεατά Δίκτυα Οι κόμβοι επιλέγουν τους γείτονές τους με βάση το περιεχόμενο τους ή τα ενδιαφέροντά τους  Αντίγραφα/Caching

Βάσεις Δεδομένων ΙΙ Ευαγγελία Πιτουρά 68 Κατανεμημένες Βάσεις Δεδομένων vs ΣΟΚ (p2p) zKατανομή των δεδομένων xΚατανεμημένες ΒΔ: οριζόντιος ή κάθετος κατατεμαχισμός σχέσεων με βάση τη συχνότητα των ερωτήσεων x Παράλληλες ΒΔ: RR, διάστημα, κατακερματισμός xΔε γνωρίζουμε το σύνολο των κόμβων (ούτε το σχήμα των δεδομένων) zΔιαφάνεια Κατανομής (Distribution Transparency) zΤεμαχισμός και Αντίγραφα (Data Allocation and Fragmentation) zΕπεξεργασία SQL Ερωτήσεων zΔοσοληψίες