1 Κινούμενα αντικείμενα & ρεύματα δεδομένων Ερευνητικά προβλήματα & εφαρμογές Τίμος Σελλής, ΙΠΣΥΠ Ε.Κ. «Αθηνά» & ΕΜΠ Κοινή δουλειά με Κ. Πατρούμπα, ΥΔ.

Παρουσίαση με θέμα: "1 Κινούμενα αντικείμενα & ρεύματα δεδομένων Ερευνητικά προβλήματα & εφαρμογές Τίμος Σελλής, ΙΠΣΥΠ Ε.Κ. «Αθηνά» & ΕΜΠ Κοινή δουλειά με Κ. Πατρούμπα, ΥΔ."— Μεταγράφημα παρουσίασης:

1 1 Κινούμενα αντικείμενα & ρεύματα δεδομένων Ερευνητικά προβλήματα & εφαρμογές Τίμος Σελλής, ΙΠΣΥΠ Ε.Κ. «Αθηνά» & ΕΜΠ Κοινή δουλειά με Κ. Πατρούμπα, ΥΔ ΕΜΠ

2 2 Πηγές ρευμάτων δεδομένων • Ρεύματα δεδομένων (data streams) – προκύπτουν δυναμικά από καταγραφές στοιχείων • Κύρια χαρακτηριστικά – μη πεπερασμένο σύνολο στοιχείων • όπως συνηθίζεται σε συμβατικές βάσεις δεδομένων – αλλά μη φραγμένο σύνολο δεδομένων • συνεχή, αλλά με χρονικά κυμαινόμενο όγκο • ταχύτατα, εφήμερα και πιθανόν ανεξάντλητα  δίκτυα αισθητήρων  τηλεφωνικές συνδιαλέξεις  μηχανές αναζήτησης στο Διαδίκτυο  εποπτεία κίνησης σε δίκτυα  παρακολούθηση χρηματοοικονομικών δεικτών ...

3 3 Επεξεργασία ρευμάτων δεδομένων • Προς συστήματα διαχείρισης ρευμάτων δεδομένων ( DSMS ) με νεωτερικούς μηχανισμούς επεξεργασίας ρευμάτων ( SPE ) – εκτέλεση πολλαπλών ερωτημάτων διαρκείας (continuous queries) • σταδιακή επικαιροποίηση με τυχόν νέα δεδομένα εισόδου online – ανεπάρκεια συμβατικών βάσεων δεδομένων (DBMS): pull-based • πρακτικά ανέφικτη η αποθήκευση όλων των στοιχείων στον δίσκο – push-based επεξεργασία μεγάλου όγκου ευμετάβλητων δεδομένων • απευθείας στην κύρια μνήμη για ταχύτερη αποτίμηση • ιδιαίτερη σημασία στην σειρά άφιξης των στοιχείων DBMS Ερώτημα Απάντηση Pull-based processingPush-based processing Ερώτημα διαρκείας Επίκαιρη απάντηση DSMS Ρεύμα δεδομένων

4 4 Διαχείριση ρευμάτων δεδομένων • Αποτίμηση ερωτημάτων  άμεση ανταπόκριση στην είσοδο νέων στοιχείων – δίνουν έγκαιρες – έστω και προσεγγιστικές – απαντήσεις  προσεγγίσεις με δυναμικά τηρούμενες συνόψεις: – σκίτσα (sketches)– δειγματοληψία (sampling) – κυματίδια (wavelets)– ιστογράμματα (histograms)...  εστίαση σε πεπερασμένα πρόσφατα στοιχεία – κυρίως με κυλιόμενα παράθυρα (sliding windows)  επιλεκτική απόρριψη φόρτου ( load shedding ) • Γλώσσα ερωταποκρίσεων  προτίμηση προς παραλλαγές της SQL – Continuous Query Language [STREAM] – SQuAl [Aurora] – StreQuel [TelegraphCQ]– GSQL (Gigascope)  προσπάθειες για πρότυπο StreamSQL

5 5 Εφαρμογές παρακολούθησης • Επεξεργασία συμβάντων ( complex event processing – CEP ), λ.χ.: – ασφάλεια δικτύων – τιμές μετοχών – ειδοποίηση συνδρομητών κ.ά. • Ενδιαφέρον για υπηρεσίες εντοπισμού ( location-based services ): – πλοήγηση– προστασία περιβάλλοντος – τηλεματική– τουρισμός, διαφήμιση κ.ά. Διαχείριση θέσεων κινούμενων αντικειμένων

6 6 Ρεύματα θέσεων αντικειμένων • Μεγάλο πλήθος κινούμενων αντικειμένων – άνθρωποι, συσκευές, εμπορεύματα, πανίδα,... • ΠΑΡΟΝ  καταγραφή θέσης (location) • ΠΑΡΕΛΘΟΝ  τήρηση τροχιάς (trajectory) • ΜΕΛΛΟΝ  πρόβλεψη πορείας • Ρεύματα σημειακών θέσεων  άφιξη πλήθους γεωγραφικών στιγμάτων με κυμαινόμενο ρυθμό  επίκαιρες απαντήσεις σε ποικιλία ερωτημάτων  ανεπάρκεια συμβατικών βάσεων δεδομένων • Ερευνητικά θέματα – Σύνθετα χωροχρονικά ερωτήματα διαρκείας • τεχνικές αποτίμησης / εκτίμησης • ευρετήρια – Διαχείριση δεδομένων • περιορισμός όγκου • κλιμάκωση επεξεργασίας

7 7 Μηχανές επεξεργασίας ρευμάτων • Ακαδημαϊκά πρωτότυπα  Aurora + Borealis (Brown/MIT/Brandeis)  Gigascope (AT&T/Carnegie Mellon)  NiagaraST (Wisconsin/Portland State)  STREAM (Stanford)  TelegraphCQ (UC Berkeley)  … • Εμπορικά συστήματα  StreamBase  Coral8  Sybase CEP  Oracle CEP  Microsoft StreamInsight  Truviso  IBM System S  SQLStream  … • Benchmarks  Linear Road [Aurora, STREAM]  NEXMark [NiagaraST]  BerlinMOD [Hagen Univ.] • CEP  Cayuga [Cornell]  Esper and NEsper [EsperTech] • Χωροχρονικά συστήματα  SECONDO [Hagen Univ.]  PLACE [Purdue]  Microsoft StreamInsight Spatial

8 8 Ορολογία data stream continuous query windowsliding count-based partitioned tumbling summarization sampling sketches wavelet uncertainty approximation incremental results shared evaluation operator single-pass online aggregation join SQL load sheddingpush-based pull-based processing relational monotonicity scheduling scalability histogram tupleunbounded timestamp punctuation memory state append-only scope location-based services position trajectory geostreaming range k-NN similarity compression amnesic error multi-resolution ranking prioritization orientation monitoring indexing expiration

9 9 Ιστορική αναδρομή (2003 - 2007)

10 10 Θεματικοί άξονες διερεύνησης • Παράθυρα με χωρικές επεκτάσεις  χειρισμός συνεχώς κινούμενων αντικειμένων  ευκαιρίες για εξελιγμένα ερωτήματα διαρκείας • Συμπίεση δεδομένων τροχιάς αντικειμένων  συνεξέταση χαρακτηριστικών κίνησης  αντιστάθμιση ακρίβειας απαντήσεων με βαθμό συμπίεσης • Επεξεργασία χωροχρονικών ερωτημάτων διαρκείας  k-εγγύτεροι γείτονες με προσεγγιστικά κελιά Voronoi  ερωτήματα περιοχής με διαβάθμιση προτεραιότητας  εποπτεία προσανατολισμού κινήσεων

11 11 Ιδιότητες ρευμάτων δεδομένων •Σχήμα ρεύματος δεδομένων S –τυπικές σχεσιακές πλειάδες με κοινά γνωρίσματα + πεδίο χρονοσήμου ( timestamp ) σε κάθε πλειάδα • δείχνει αύξοντα αριθμό ή χρονική στιγμή εισδοχής κάθε στοιχείου • Μη φραγμένο σύνολο – αλλά πεπερασμένο πλήθος στοιχείων εισρέουν κάθε  Απευθείας επεξεργασία στην κύρια μνήμη • επίκαιρα αποτελέσματα σε πολλαπλά ερωτήματα διαρκείας • συμβαδίζοντας με κυμαινόμενο ρυθμό άφιξης πλειάδων  Περιορίζοντας τα στοιχεία του ρεύματος που εξετάζονται • συνόψεις • εμβόλιμες στίξεις (punctuations) • παράθυρα – όλα τα χρονόσημα από κοινό σύνολο (Time Domain) • διατεταγμένο, άπειρο σύνολο διακριτών χρονικών στιγμών – …όμως μελετώνται και μη δομημένα ρεύματα (XML streams)

12 12 Ρεύματα θέσεως αντικειμένων • Στο πεδίο του χώρου – στίγματα : σημειακές ενδείξεις θέσης – μελέτη στο Ευκλείδειο επίπεδο • Στο πεδίο του χρόνου – χρονόσημα σε κάθε εισερχόμενο στίγμα – εξασφάλιση διάταξης μεταξύ καταγραφών • Ρεύμα σημειακών θέσεων ( positional stream ) – συρροή «νέφους» πλειάδων με χωρο-χρονόσημα – μη φραγμένες ακολουθίες θέσεων από πολλά αντικείμενα  πεπερασμένο πλήθος στιγμάτων ανά χρονόσημο  έμφαση στην εξέταση φαινομένων κίνησης

13 13 Ρεύματα τροχιάς αντικειμένων • Τροχιά αντικειμένου – ακολουθία σημειακών θέσεων • στίγματα με χρονόσημα – εξελίσσεται διαρκώς • στον χώρο και τον χρόνο t y x t0t0 t1t1 t2t2 t3t3 t4t4 p0p0 p1p1 p2p2 ≡p3≡p3 p4p4 • Ρεύμα τροχιών – ακολουθία στιγμάτων – από πολλά αντικείμενα • ταυτότητα (οid) σε κάθε πλειάδα  χρονική μονοτονία  διάταξη στιγμάτων  τοπικότητα στην κίνηση καθενός αντικειμένου – τήρηση τμημάτων τροχιών στην κύρια μνήμη • ανάγκη για απευθείας επεξεργασία • εποπτικά ερωτήματα διαρκείας για την πρόσφατη κίνηση  παράθυρα

14 14 Συνήθη ερωτήματα διαρκείας • Βάσει συντεταγμένων  Χωροχρονικά • περιοχής (range) • Βάσει τροχιών – ομοιότητας (similarity) – συγχρονισμού (convoy, flocks) – k-εγγύτεροι γείτονες (k-NN) …  Γεωμετρικά • κυρτό περίβλημα (convex hull) • k-εγγύτεροι γείτονες (k-NN) • συνάθροιση (distinct count) • πυκνότητα (density)... • κελιά Voronoi...

15 15 Παράθυρα με χωρική υπόσταση • Τυπικά παράθυρα σε ρεύματα θέσεων αντικειμένων  Κυλιόμενα: λ.χ. στίγματα που ελήφθησαν κατά την τελευταία ώρα Ερώτημα: «Για κάθε όχημα εντός περιοχής R, βρες το κοντινότερό του εντός περιοχής R κάθε 10 sec.» Κατηγόρημα Παράθυρο • ΙΔΕΑ: Υποστήριξη σύνθετων χωρικών+χρονικών συνθηκών – από κοινού διατύπωση & συνδυασμένη αποτίμηση – ελάττωση στιγμάτων προς επεξεργασία  ταχύτερη απόκριση – απομόνωση συμπαγών τμημάτων τροχιάς αντικειμένων – συμπερίληψη χωρικών κριτηρίων στο χρονικό παράθυρο  πριν την αποτίμηση άλλων τελεστών (push-down spatial predicates)

16 16 Διατύπωση χωροχρονικών παραθύρων • Χρονική εμβέλεια (scope) – ενδιαφέρον για τα πιο πρόσφατα στίγματα αντικειμένων • χρονικό διάστημα ω • διαδοχή πλειάδων – συνήθως εξελίσσεται με σταθερό βήμα προόδου β  ερμηνεία: ως χρονικό φίλτρο στιγμάτων  περιεχόμενα παραθύρου • Χωρική κάλυψη (coverage) – περιοχή ενδιαφέροντος για το ερώτημα – πιθανόν χρονικά μεταβαλλόμενη  ερμηνεία: ως χωρικό φίλτρο • προσδιορίζει ποια στίγματα καλύπτονται απ’ το τρέχον παράθυρο • σημειακές εστίες• ημιεπίπεδα • ζώνες• κλειστές επιφάνειες

17 17 Είδη χωροχρονικών παραθύρων • Παράθυρα εκτάσεως ( extent-based windows ) – χρονική εμβέλεια : κυλιόμενο διάστημα – χωρική κάλυψη : στατική ή περιοδικά κινούμενη  εξαίρεση στιγμάτων εκτός ενδιαφέροντος ω = 3, β = 2 dx = 4, dy = 6 D = {d 1, d 2, d 3, d 4, d 5, d 6 } N = 2 στίγματα ανά ζώνη • Ψηφιδωτά παράθυρα ( tessellated windows ) – D: διαμέριση επιπέδου σε διακριτές ψηφίδες – τα N πιο πρόσφατα στίγματα ανά περιοχή  εποπτεία σε προκαθορισμένες ζώνες

18 18 Είδη χωροχρονικών παραθύρων • Παράθυρα k-εγγύτητας ( k-proximity ) – πιθανόν κινούμενες εστίες ενδιαφέροντος F – k-εγγύτερες τρέχουσες θέσεις ανά εστία  Κατάσταση: ένωση σύγχρονων στιγμάτων F = {q 1, q 2, q 3, q 4 } k = 3 • Παράθυρα βεληνεκούς ( distance-based ) – πιθανόν κινούμενες εστίες ενδιαφέροντος F – στίγματα εντός αποστάσεως d γύρω από κάθε καθορισμένη εστία – κυλιόμενο διάστημα ω χρονοσήμων F = {q 1, q 2, q 3 }, d = 5, ω = 2

19 19 Παραθυρική σύνδεση τροχιών • Προοπτικές χρήσης παραθύρων σε συνδέσεις τροχιών – trajectory joins : ζεύγη τροχιών με κάποιου είδους ομοιότητα • Σύνδεση διαρκείας βάσει αποστάσεων (continuous distance-join) – δύο σύνολα από τροχιές • παράλληλα εξελισσόμενες – κυλιόμενο παράθυρο Δt – κατώφλι απόστασης ε(t)  Εύρεση όσων ζευγών τροχιών • απέχουν απόσταση < ε(t) • συνεχώς στο διάστημα Δt – «ομάδες» από παρόμοια συγχρονισμένα τμήματα τροχιών • Χαλαρή σύνδεση τροχιών – ανοχή σε χρονική υστέρηση (lag)

20 20 • Συσσώρευση εφήμερων δεδομένων κίνησης αντικειμένων – στίγματα παρωχημένα με την πάροδο του χρόνου ( time-decaying ) – δύσκολο να αποθηκευθούν πλήρως, δύσχρηστα για ερωτήματα  επεξεργασία στην κύρια μνήμη με ένα πέρασμα ( single-pass ) • Απευθείας συμπίεση ρευμάτων τροχιάς ( online compression ) – Εκμετάλλευση κρίσιμων χαρακτηριστικών της κίνησης  χρήση δειγματοληψίας επί των εισερχόμενων στιγμάτων – Βαθμιαία απώλεια πληροφορίας για το παρελθόν  αμνησιακές συνόψεις (...όπως η ανθρώπινη μνήμη) – Εξισορρόπηση απαιτήσεων για ακρίβεια & περιεκτικότητα  ποιότητα προσεγγίσεων ακόμη και για μεγάλο βαθμό συμπίεσης – Εξυπηρέτηση ερωτημάτων διαρκείας  εκτίμηση διακριτού πλήθους αντικειμένων με σκίτσα FM Συμπίεση δεδομένων τροχιάς

21 21 Αμνησιακές συνόψεις • Προσεγγίσεις δυναμικών ρευμάτων  έμφαση στα πρόσφατα στοιχεία παρά σε παλαιότερα  η σημασία κάθε πλειάδας ελαττώνεται με τον χρόνο – ανάδειξη βασικών χαρακτηριστικών κίνησης – πολλαπλά επίπεδα λεπτομέρειας (multi-resolution) • Αμνησιακό δένδρο (AmTree)  πολλαπλές χρονικές βαθμίδες – απλούστευση: δύο κόμβοι/επίπεδο  σταδιακή ανανέωση (bottom-up) – διάδοση αλλαγών κατά κύματα – χρόνος O(1) ανά στοιχείο – διατήρηση συνάφειας στοιχείων ανά επίπεδο

22 22 • Αναπαράσταση τροχιάς  τήρηση μετατοπίσεων αντί σημειακών θέσεων  «συνεχής» ακολουθία από συναπτά ευθύγραμμα τμήματα Τήρηση συνόψεων τροχιάς • Συμπίεση μεμονωμένων τροχιών  χωριστό αμνησιακό δένδρο για καθεμιά – κόμβοι: μετατοπίσεις βαθμιαία μικρότερης λεπτομέρειας – πάντοτε από πρωτογενείς καταγραφές  ανασύσταση προσεγγιστικής τροχιάς – από υπάρχουσες καταγραφές στους κόμβους του δένδρου

23 23 Ζητήματα προς διερεύνηση • Προηγμένη συμπίεση καταγραφών κίνησης  ποιότητα δειγματοληψίας στιγμάτων – αλγόριθμος με εγγυήσεις σφάλματος  αμνησιακές συνόψεις – εκμετάλλευση τοπολογικών συσχετίσεων αντικειμένων & ερωτημάτων • Στρατηγικές απόρριψης φόρτου  για ερωτήματα σχετικά με την τρέχουσα θέση αντικειμένων – διάκριση ως προς την πυκνότητα των καταγραφών κατά περιοχές – εκτίμηση πιστότητας απαντήσεων για ποικίλες κατανομές θέσεων  για ερωτήματα τροχιάς – όχι αυτοτελώς την καθεμιά – παροδικά ή περιοδικά παραπλήσιες τροχιές πολλών αντικειμένων – αντιπροσώπευση από κοινό τμήμα για ορισμένο χρονικό παράθυρο – εκλογή σημείων άρθρωσης για συνάφεια διαδοχικών τμημάτων – πρακτικό όφελος ιδίως όταν τα αντικείμενα κινούνται σε δίκτυο

24 24 Διαβαθμισμένα ερωτήματα περιοχής •Ιεράρχηση προτεραιοτήτων για κινούμενα ερωτήματα –Όταν οι χρήστες επιθυμούν απαντήσεις άμεσα ή συχνά •κατάταξη μηνυμάτων ανάλογα με την κρισιμότητά τους  Παράδειγμα: κλήση ασθενοφόρου & αναζήτηση εστιατορίων –Ο κεντρικός επεξεργαστής μπορεί να απονείμει προτεραιότητες •δρομολόγηση εκτέλεσης ερωτημάτων για καλύτερη κατανομή πόρων •Διερεύνηση στρατηγικών επεξεργασίας –για κινούμενα ερωτήματα περιοχής με προτεραιότητες: •δηλωμένες από τους ίδιους τους χρήστες •πιθανόν χρονικά μεταβαλλόμενες –Έγκαιρες απαντήσεις – έστω προσεγγιστικές –Θεμιτή η εξέταση ερωτημάτων βάσει προτεραιότητας. Αμερόληπτη; –Ανθεκτικότητα σε κλιμακούμενο πλήθος αντικειμένων & ερωτημάτων –Συνεξέταση πολλαπλών ερωτημάτων διαρκείας •εύνοια προς επικαλυπτόμενες περιοχές κοινού ενδιαφέροντος

25 25 Μοντέλο επεξεργασίας  Κεντρικός επεξεργαστής: –λαμβάνει στίγματα από N κινούμενα αντικείμενα –Περιοδικοί κύκλοι εκτέλεσης •Κάθε κύκλος διαρκεί T χρονόσημα •Ανανεώνει θέσεις αντικειμένων & προσδιορισμούς ερωτημάτων •Αποτιμά αιτήματα χρηστών βάσει επικαιροποιημένων στοιχείων –αποτιμά M διαβαθμισμένα κινούμενα ερωτήματα περιοχής •ορθογώνιες περιοχές ενδιαφέροντος •με χρονικά μεταβαλλόμενες βαθμίδες προτεραιότητας –Συγχρονισμένα ρεύματα δεδομένων •ρεύματα θέσεων & περιοχών –Ευρετήριο ερωτημάτων & αντικειμένων •grid: ομοιόμορφος κάνναβος κελιών

26 26 Εκτίμηση προτεραιότητας ερωτημάτων •Εξέταση ερωτημάτων συλλογικά σε επίπεδο κελιού –Κάθε κελί λαμβάνει έναν βαθμό σταθμίζοντας : α) τις παρατηρούμενες προτεραιότητες των συναφών ερωτημάτων β) την τρέχουσα πυκνότητα αντικειμένων εντός του κελιού –Κανονικοποιημένο : αναλογικός υπολογισμός βάσει κατανομής προτεραιοτήτων μεταξύ κελιών –Μέση προτεραιότητα τοπικών ερωτημάτων –Πληθωριστικό : ερωτήματα υψηλής προτεραι- ότητας υπερτερούν στην βαθμολογία του κελιού •Μοντέλα επιρροής ερωτημάτων σε κελιά –Κυρίαρχο : η υψηλότερη προτεραιότητα μεταξύ επικαλυπτόμενων ερωτημάτων •Μέθοδοι βαθμολόγησης κελιών βάσει ερωτημάτων & αντικειμένων εντός τους – συνδυασμένη πυκνότητα– αρμονικός μέσος– σταθμισμένο άθροισμα

27 27 Αποτίμηση διαβαθμισμένων ερωτημάτων •Κύκλος εκτέλεσης –Κατά την διάρκεια μιας περιόδου T : 1. Ενημέρωση ευρετηρίου (grid) με τα τρέχοντα δεδομένα & ερωτήματα 2. Προσδιορισμός βαθμολογίας κελιών  σειρά επίσκεψης 3. Εξέταση συναφών ερωτημάτων ανά κελί  απαντήσεις –Με την εκπνοή κάθε περιόδου Τ, έναρξη νέου κύκλου •Ερωτήματα μπορεί να λάβουν ελλιπείς απαντήσεις ή και καθόλου ! •QoS : εκτίμηση ποιότητας απαντήσεων •Στρατηγικές αποτίμησης –Εξαντλητική εξέταση κελιών κατά φθίνοντα βαθμό •αποτίμηση όλων των ερωτημάτων εντός κελιού –Διαστρωματωμένη εξέταση κελιών εκ περιτροπής (k κατηγορίες) •σε κάθε κύκλο ευνοείται άλλη κατηγορία με διαφορετική συχνότητα –Βάσει δυναμικά αναπροσαρμοζόμενων κατωφλίων •εξυπηρέτηση μόνον υψηλής προτεραιότητας ερωτημάτων ανά κελί

28 28 Εποπτεία προσανατολισμού κινήσεων •Προσανατολισμοί αντικειμένων γύρω από σημειακές εστίες –Στάσιμα σημεία ενδιαφέροντος: •σταθμοί, στάδια, κόμβοι, κ.ά. –Συγχρονισμένα στίγματα  Ανίχνευση τάσεων online  Αποκλίνουσες/συγκλίνουσες κινήσεις •Ερωτήματα προσανατολισμού –Συνεχής απόκριση σχετικά με: •δεδομένη απόσταση από εστία •κατεύθυνση ενδιαφέροντος –… σαν μια συστοιχία RADAR  πολυσύχναστες διευθύνσεις κίνησης  βαθμιαία καλύτερη ευκρίνεια πλησιέστερα προς την εστία

29 29 Επεξεργασία προσανατολισμών •Συνέργεια αντικειμένων & κεντρικού εξυπηρετητή –Κάθε αντικείμενο διαθέτει στοιχειώδη επεξεργαστική ισχύ •τηρεί τα πρόσφατα στίγματά του •αναθεωρεί τον προσανατολισμό του •ενημερώνει όταν σημειωθεί απόκλιση στην ήδη γνωστή πορεία του –Ένα σύνολο εστιών επιτηρεί την περιοχή ενδιαφέροντος •ο εξυπηρετητής συντηρεί κατανομή των προσανατολισμών ανά εστία •Αποτίμηση ερωτημάτων προσανατολισμού –Χρήση νέου ευρετηρίου: PolarTree •Κατάτμηση εμβέλειας κάθε εστίας & οργάνωση σε ιεραρχία τομέων •Αναπροσαρμογή τομέων βάσει πυκνότητας –σε βαθμιαία λεπτομερέστερους τομείς πλησιέστερα προς την εστία •Τήρηση κινούμενων αντικειμένων κατά τομείς –Υποστήριξη πολλαπλών ερωτημάτων γύρω από κοινή εστία –Εξέταση τμημάτων τροχιάς κατά το πρόσφατο παρελθόν

30 30 Πολικός μετασχηματισμός αντικειμένων –Ορισμός κυκλικού δίσκου για την εστία f •Πόλος : σταθερή εστιακή θέση (κέντρο f ) •Εμβέλεια : κύκλος ακτίνας R •Δήλωση ερωτημάτων προσανατολισμού –Κάθε ερώτημα αφορά δεδομένη εστία f –Συνδυασμένα κριτήρια αναζήτησης: –Αντικείμενο o θεωρείται ως σημείο (d, θ) •Απόσταση d : εστιακή απόσταση d(f, o) •Γωνία θ : προσανατολισμός κίνησης •αντικείμενα εντός ανοίγματος [θ 1, θ 2 ) βάσει των προσανατολισμών τους •αντικείμενα εντός βεληνεκούς (d 1, d 2 ] βάσει εστιακών αποστάσεων από πόλο f •Αντικείμενα εντός εμβέλειας από εστία f

31 31 Δομή ευρετηρίου PolarTree •Δυαδικό δένδρο στην κύρια μνήμη –Δεικτοδοτεί αντικείμενα γύρω από συγκεκριμένη εστία f –Υποδιαιρεί την εμβέλεια σε μη επικαλυπτόμενους πολικούς τομείς –Κάθε κόμβος αντιπροσωπεύει πολικό τομέα με γνωρίσματα: •εστιακή απόσταση (ακτίνα r ) • εύρος προσανατολισμών (διχοτόμος φ)

32 32 Διαρκής εποπτεία προσανατολισμών •Μοντέλο λειτουργίας –Κάθε αντικείμενο στέλνει την κατάστασή του •περιοδικά, ανά τ 0 χρ. στιγμές ή κατόπιν αιτήματος του εξυπηρετητή •όταν συμβεί απόκλιση σε προσανατολισμό ( >dθ) ή ταχύτητα (>λ%) –Ο εξυπηρετητής καταχωρεί σύνολο F εστιακών σημείων •επιτηρεί κινήσεις αντικειμένων εντός εμβέλειας κάθε εστίας •συντηρεί χωριστό PolarTree για κάθε εστία •διατηρεί συγχρονισμένες καταστάσεις αντικειμένων •εκτιμά την κατάσταση όσων αντικειμένων δεν την έχουν στείλει •αποτιμά ερωτήματα προσανατολισμού (ανά εστία) •Κυλιόμενα παράθυρα για προσανατολισμό τροχιών  Ανά αντικείμενο: εξέταση πρόσφατου τμήματος της κίνησης •Κατάσταση βάσει καταγεγραμμένων στιγμάτων εντός παραθύρου ω  Ανά ερώτημα: τάσεις κίνησης αντικειμένων γύρω από εστίες •Εκτίμηση απάντησης βάσει ληφθέντων στιγμάτων εντός παραθύρου ω

33 33 Προοπτικές • Εξελιγμένα χωροχρονικά ερωτήματα διαρκείας – Παραλλαγές ερωτημάτων για ρεύματα θέσεων σε ειδικές περιπτώσεις: • αβεβαιότητα • κίνηση σε δίκτυα • σε εσωτερικό χώρο (indoors)... – Νεωτερικές προσεγγίσεις σε ρεύματα τροχιών : • πλοήγηση: επαναχάραξη πορείας βάσει τρέχουσας κυκλοφορίας • εξατομίκευση: προτιμήσεις βάσει δημοφιλίας & ιστορικού επιλογών • δυναμικά πρότυπα στην κίνηση : λ.χ. σμήνη (flock, convoy),... – Εγγύηση σφάλματος για προσεγγιστικές τεχνικές υπολογισμού • Εναλλακτικές μορφές ευρετηρίων για παρελθόν, παρόν & μέλλον – Ευελιξία σε μαζικές ανανεώσεις στοιχείων στην κύρια μνήμη – Ανομοιογενείς κατατμήσεις του χώρου βάσει στιγμάτων (data-driven) – Δεικτοδότηση δυναμικά μεταβαλλόμενων τροχιών • Κατανεμημένη επεξεργασία – Βελτιωμένη κλιμάκωση για μεγάλους φόρτους – αλλά με ανοχή σε απώλειες ή έλλειψη συγχρονισμού στιγμάτων

34 34 Παραπομπές • Ρεύματα δεδομένων [ACC+03] D.J. Abadi, D. Carney, U. Cetintemel, M. Cherniack, C. Convey, S. Lee, M. Stonebraker, N. Tatbul, and S. Zdonik. Aurora: a New Model and Architecture for Data Stream Management. VLDB Journal, 2003. [AAB+05] D.J. Abadi, Y. Ahmad, M. Balazinska, U. Cetintemel, M. Cherniack, J.-H. Hwang, W. Lindner, A.S. Maskey, A. Rasin, E. Ryvkina, N. Tatbul, Y. Xing, and S. Zdonik. The Design of the Borealis Stream Processing Engine. CIDR, January 2005. [AHWY03] C. Aggarwal, J. Han, J. Wang, and P.S. Yu. A Framework for Clustering Evolving Data Streams. VLDB, September 2003. [ABW06] A. Arasu, S. Babu, and J. Widom. The CQL Continuous Query Language: Semantic Foundations and Query Execution. VLDB Journal, 2006. [ACG+04] A. Arasu, M. Cherniack, E. Galvez, D. Maier, A. Maskey, E. Ryvkina, M. Stonebraker, and R. Tibbetts. Linear Road: A Stream Data Management Benchmark. VLDB, September 2004. [AW04] A. Arasu and J. Widom. Resource Sharing in Continuous Sliding-Window Aggregates. VLDB, September 2004. [BBD+02] B. Babcock, S. Babu, M. Datar, R. Motwani, and J. Widom. Models and Issues in Data Stream Systems. PODS, May 2002. [BAF+09] I. Botan, G. Alonso, P.M. Fischer, D. Kossmann, and N. Tatbul. Flexible and Scalable Storage Management for Data-intensive Stream Processing. EDBT, March 2009. [BS03] A. Bulut and A.K. Singh. SWAT: Hierarchical Stream Summarization in Large Networks. ICDE, March 2003. [CCD+03] S. Chandrasekaran, O. Cooper, A. Deshpande, M.J. Franklin, J.M. Hellerstein, W. Hong, S. Krishnamurthy, S.R. Madden, V. Raman, F. Reiss, and M.A. Shah. TelegraphCQ: Continuous Dataflow Processing for an Uncertain World. CIDR, January 2003. [CS03] E. Cohen and M. Strauss. Maintaining Time-Decaying Stream Aggregates. PODS, June 2003. [FM85] P. Flajolet and G.N. Martin. Probabilistic Counting Algorithms for Database Applications. Journal of Computer and Systems Sciences, 1985.

35 35 Παραπομπές • Ρεύματα δεδομένων (συνέχεια) [GO05] L. Golab and M. Tamer Ozsu. Update-Pattern-Aware Modeling and Processing of Continuous Queries. SIGMOD, June 2005. [JMS+08] N. Jain, S. Mishra, A. Srinivasan, J. Gehrke, J. Widom, H. Balakrishnan, U. Cetintemel, M. Cherniack, R. Tibbetts, and S. Zdonik. Towards a Streaming SQL Standard. VLDB, August 2008. [JMSS05] T. Johnson, S. Muthukrishnan, V. Shkapenyuk, O. Spatscheck. A Heartbeat Mechanism and its Application in Gigascope. VLDB, September 2005. [LMP+05] J. Li, D. Maier, K. Tufte, V. Papadimos, P. Tucker. Semantics and Evaluation Techniques for Window Aggregates in Data Streams. SIGMOD, June 2005. [MPN+09] L. Al Moakar, T. Pham, P. Neophytou, P. Chrysanthis, A. Labrinidis, and M. Sharaf. Class-based Continuous Query Scheduling for Data Streams. DMSN, August 2009. [PVK+04] T. Palpanas, M. Vlachos, E. Keogh, D. Gunopulos, and W. Truppel. Online Amnesic Approximation of Streaming Time Series. ICDE, March 2004. [PS06] K. Patroumpas and T. Sellis. Window Specification over Data Streams. ICSNW, March 2006. [PS09b] K. Patroumpas and T. Sellis. Window Update Patterns in Stream Operators. ADBIS, September 2009. [PS10a] K. Patroumpas and T. Sellis. Maintaining Consistent Results of Continuous Queries under Diverse Window Specifications. Information Systems Journal, 2010 (to appear). [PS10b] K. Patroumpas and T. Sellis. Multi-granular Time-based Sliding Windows over Data Streams. TIME, September 2010 (to appear). [SCZ05] M. Stonebraker, U. Cetintemel, and S. Zdonik. The 8 Requirements of Real-Time Stream Processing. SIGMOD Record, December 2005. [TMSS07] P. Tucker, D. Maier, T. Sheard, and P. Stephens. Using Punctuation Schemes to Characterize Strategies for Querying over Data Streams. TKDE, September 2007.

36 36 Παραπομπές • Συστήματα ρευμάτων δεδομένων StreamBase http://www.streambase.com/ Sybase CEP http://www.sybase.com/products/financialservicessolutions/sybasecep Oracle CEP http://www.oracle.com/us/technologies/soa/service-oriented-architecture-066455.html Microsoft StreamInsight http://msdn.microsoft.com/en-us/library/ee362541.aspx Truviso http://www.truviso.com/ IBM System S http://www-01.ibm.com/software/data/infosphere/streams/ SQLStream http://www.sqlstream.com/ Esper and NEsper http://esper.codehaus.org/

37 37 Παραπομπές • Κινούμενα αντικείμενα [BHT05] P. Bakalov, M. Hadjieleftheriou, and V. Tsotras. Time Relaxed Spatiotemporal Trajectory Joins. ACM GIS, November 2005. [DBG09] C. Düntgen, T. Behr, and R. H. Güting. BerlinMOD: a benchmark for moving object databases. VLDB Journal, 2009. [GL06] B. Gedik, L. Liu. Mobieyes: A Distributed Location Monitoring Service using Moving Location Queries. Transactions on Mobile Computing, 2006. [GLWY07] B. Gedik, L. Liu, K.L. Wu, and P.S. Yu. Lira: Lightweight, Region-aware Load Shedding in Mobile CQ Systems. ICDE, April 2007. [FGPT07] E. Frentzos, K. Gratsias, N. Pelekis, Y. Theodoridis. Algorithms for Nearest Neighbor Search on Moving Object Trajectories. GeoInformatica, 2007. [HXL05] H. Hu, J. Xu, and D. L. Lee. A Generic Framework for Monitoring Continuous Spatial Queries over Moving Objects. SIGMOD, June 2005. [JYZ+08] H. Jeung, M. Lung Yiu, X. Zhou, C.S. Jensen, and H. Tao Shen. Discovery of convoys in trajectory databases. PVLDB, August 2008. [MXA04] M. Mokbel, X. Xiong, and W.G. Aref. SINA: Scalable Incremental Processing of Continuous Queries in Spatiotemporal Databases. SIGMOD, June 2004. [MXHA05] M. Mokbel, X. Xiong, M. Hammad, and W.G. Aref. Continuous Query Processing of Spatio-Temporal Data Streams in PLACE. Geoinformatica, December 2005. [MHP05] K. Mouratidis, M. Hadjieleftheriou, and D. Papadias. Conceptual Partitioning: An Efficient Method for Continuous Nearest Neighbor Monitoring. SIGMOD, June 2005. [PS04] K. Patroumpas and T. Sellis. Managing Trajectories of Moving Objects as Data Streams. STDBM, August 2004. [PPS06] M. Potamias, K. Patroumpas, and T. Sellis. Sampling Trajectory Streams with Spatiotemporal Criteria. SSDBM, July 2006.

38 38 Παραπομπές • Κινούμενα αντικείμενα (συνέχεια) [PS07] K. Patroumpas and T. Sellis. Semantics of Spatially-aware Windows over Streaming Moving Objects. MDM, 2007. [PPS07] M. Potamias, K. Patroumpas, and T. Sellis. Online Amnesic Summarization of Streaming Locations. SSTD, 2007. [PMS07] K. Patroumpas, T. Minogiannis, and T. Sellis. Approximate Order-k Voronoi Cells over Positional Streams. ACM GIS, November 2007. [PS08] K. Patroumpas and T. Sellis. Prioritized Evaluation of Continuous Moving Queries over Streaming Locations. SSDBM, July 2008. [PKS08] K. Patroumpas, E. Kefallinou, and T. Sellis. Monitoring Continuous Queries over Streaming Locations (demo paper). ACM GIS, November 2008. [PS09a] K. Patroumpas and T. Sellis. Monitoring Orientation of Moving Objects around Focal Points. SSTD, July 2009. [PJT00] D. Pfoser, C. Jensen, and Y. Theodoridis. Novel Approaches in Query Processing for Moving Objects. VLDB, September 2000. [SG09] M. Attia Sakr and R. H. Güting. Spatiotemporal Pattern Queries in Secondo. SSTD, July 2009. [SS06] M. Sharifzadeh and C. Shahabi. Utilizing Voronoi Cells of Location Data Streams for Accurate Computation of Aggregate Functions in Sensor Networks. GeoInformatica, March 2006. [TKC+04] Y. Tao, G. Kollios, J. Considine, F. Li, and D. Papadias. Spatio-Temporal Aggregation Using Sketches. ICDE, March 2004. [VBT09] M. Vieira, P. Bakalov, and V. Tsotras. On-Line Discovery of Flock Patterns in Spatio-Temporal Data. ACM GIS, November 2009. [WGT07] W. Wu, W. Guo, and K.-L. Tan. Distributed Processing of Moving k-Nearest-Neighbor Query on Moving Objects. ICDE, April 2007. [XMA05] X. Xiong, M. Mokbel, and W. Aref. SEA-CNN: Scalable Processing of Continuous k-Nearest Neighbor Queries in Spatiotemporal Databases. ICDE, April 2005. [YPK05] X. Yu, K. Q. Pu, and N. Koudas. Monitoring k-Nearest Neighbor Queries Over Moving Objects. ICDE, April 2005.