Optimizing Web Search Using Social Annotations Παρουσίαση: Λάζος Άγγελος.

Παρουσίαση με θέμα: "Optimizing Web Search Using Social Annotations Παρουσίαση: Λάζος Άγγελος."— Μεταγράφημα παρουσίασης:

1 Optimizing Web Search Using Social Annotations Παρουσίαση: Λάζος Άγγελος

2 Εισαγωγή  Πολλοί χρήστες αφιερώνουν κοινωνικά σχόλια σε ιστοσελίδες  Π.χ στο www.del.icio.us για το Amazonwww.del.icio.us  αγορά, μουσική, βιβλία κατάστημα  Εκμετάλλευση από τους SSR και SPR  SSR: Ομοιότητα μεταξύ σχολίων (similarity ranking)  SPR: Μέτρηση δημοτικότητας μιας σελίδας (static ranking)  Προηγούμενοι αλγόριθμοι:  Έμφαση σε: Anchor text, link analysis, click-thought data

3

4 Σκοπός  Η χρήση των κοινωνικών σχολίων στο web search  SSR:  Ορίζει την ομοιότητα μεταξύ των σχολίων  Λύνει το πρόβλημα του ακριβούς ταιριάσματος  SPR  Υπολογισμός της ποιότητας μιας σελίδας από τα σχόλια  Διαφορετικά σχόλια έχουν διαφορετικό βάρος

5 Αναζήτηση με τη χρήση κοινωνικών σχολίων  3 ομάδες χρηστών στο web  Δημιουργοί σελίδων  Σχολιαστές ( annotators )  Απλοί χρήστες  Κάθε μία παρέχει διαφορετική πληροφορία  Ενδιαφερόμαστε για την άποψη των annotator

6 Social Similarity Ranking  Απλοϊκή προσέγγιση των κοινωνικών σχολίων σύνολο σχολίων Α(p)={α1,.αn} ερώτηση q={q1,q2,...,qn}  Πρόβλημα στα συνώνυμα  O SSR λύνει το πρόβλημα

7 Social Similarity Ranking (συνέχεια)  NANA Πλήθος σχολίων ΝPΝP Πλήθος σελίδων ΝUΝU Πλήθος χρηστών Μ AP N A x N P πίνακας συσχέτισης μεταξύ σχολίων και σελίδων Μ AP (α x, p y )Πλήθος χρηστών που αναθέτουν το σχόλιο α x στη σελίδα p y SASA N A x N A πίνακας τα στοιχεία του οποίου S A (αi, α j ) δηλώνουν το σκορ ομοιότητας μεταξύ των σχολίων α i και α j SPSP N P x N P πίνακας ομοιότητας μεταξύ δύο σελίδων C A, C P Damping παράγοντες της διάδοσης της ομοιότητας για τα σχόλια και τις σελίδες αντίστοιχα (C A, C P = 0.7 ) PAPA Σύνολο σελίδων που χαρακτηρίζονται από το σχόλιο α i A(p j )Σύνολο σχολίων που αναφέρονται στη σελίδα p j P m (α i )Η mth σελίδα στην οποία αναφέρεται το σχόλιο α i Am(pi)Am(pi)Το mth σχόλιο που αναφέρεται στη σελίδα p i

8 Social Similarity Ranking (συνέχεια)  Για παράδειγμα τη σελίδα b χαρακτηρίζουν τα σχόλια “ubuntu” και “linux” από τους Ua και Ub αντίστοιχα.  Έτσι υπάρχει ένας βαθμός ομοιότητας μεταξύ τους.

9 Social Similarity Ranking (συνέχεια)  Πολυπλοκότητα αλγορίθμου  Για κάθε βήμα του αλγορίθμου Ο(Ν Α 2 Ν P 2 )  Η συνολική πολυπλοκότητα του αλγορίθμου ανάλογη με τα βήματα ώστε ο SSR να συγκλίνει.  Ομοιότητα ερώτησης-σελίδας βασισμένη στον SSR σύνολο σχολίων Α(p)={α1,.αn} ερώτηση q={q1,q2,...,qn}

10 Social Page Rank  Eνημερωμένοι χρήστες προτιμούν δημοφιλείς σελίδες, οι οποίες αποκομίζουν θερμά σχόλια ΝΑΝΑ Πλήθος σχολίων ΝUΝU Πλήθος χρηστών Μ PU Ο Ν P x Ν U πίνακας συσχέτισης μεταξύ σελίδων και χρηστών Μ AP Ο Ν A x Ν P πίνακας συσχέτισης μεταξύ σχολίων και σελίδων ΜUΑΜUΑ Ο Ν U x Ν A πίνακας συσχέτισης μεταξύ χρηστών και σχολίων Μ PU (p i, u j )Περιέχει το πλήθος των σχολίων του χρήστη u i για τη σελίδα p j Μ AP (p i, u j ), M UA (p i, u j ) Όμοια με Μ PU (p i, u j ) P0P0 Το διάνυσμα που περιέχει τα τυχαία αρχικοποιημένα SPR σκορ PiPi Το διάνυσμα δημοτικότητας μιας σελίδας στην i-οστή επανάληψη U i, A i Όμοια με το P i P i ΄, U i ΄, A i ΄Μέση τιμή

11 Social Page Rank(συνέχεια)  (5.1) η δημοτικότητα των χρηστών αντλείται από τις σελίδες που σχολιάζουν.  (5.2) η δημοτικότητα των σχολίων από τη δημοτικότητα των χρηστών.  (5.3)των σελίδων από των σχολίων.  (5.4) των σχολίων από των σελίδων.  (5.5)των χρηστών από των σχολίων.  (5.6) ξανά των σελίδων από των χρηστών.  Πολυπλοκότητα  Σε κάθε επανάληψη Ο(Ν U N P + Ν A N P + Ν U N A ).

12 Πειραματικά αποτελέσματα  Σύνολο 1.736.628 σελίδων και 269.566 σχολίων από το del.icio.us από το Μάιο του 2006.  Λέξεις με μη έγκυρη για τους αλγορίθμους μορφή  χωρισμός τους σε στάνταρ όρους με τη βοήθεια του WordNet πριν την εκτέλεση των πειραμάτων.  (π.χ. java.programming ή java/programming)

13 Εκτίμηση της ομοιότητας σχολίων με τον SSR  Για τον αλγόριθμο SSR χρειάστηκαν 12 επαναλήψεις ώστε να συγκλίνει.

14 Εκτίμηση των SPR αποτελεσμάτων  7 επαναλήψεις μέχρι τη σύγκλιση.  Το PageRank κάθε σελίδας υπολογίστηκε επίσης από το API του Google toolbar. Στις περισσότερες περιπτώσεις, είναι πιθανόν πολλοί χρήστες να αφιερώνουν πολλά σχόλια σε σελίδες με υψηλότερο PageRank

15 Εκτίμηση των SPR αποτελεσμάτων (συνέχεια) Σελίδες με PageRank 0 έχουν περισσότερα σχόλια και χρήστες από σελίδες με PageRank 10.

16 Δυναμική διάταξη με τη χρήση κοινωνικών σχολίων  Αποτελέσματα από σύνολα ερωτήσεων  Manual ή automatic  “DocSimilarity” ως baseline  MAP:  NDCG:

17 Δυναμική διάταξη με τη χρήση κοινωνικών σχολίων(συνέχεια) MAP

18 Παράδειγμα  Ερώτηση “airfare” Στο www.excellent-romantic- vacations.com/best-airfare- search-engine.html το kayak έρχεται πρώτο σε προτιμήσειςwww.excellent-romantic- vacations.com/best-airfare- search-engine.html Top-4 από 318 Λόγω SSR ομοιότητα με “ticket”, ”flight”, ”hotel”, ”airline”. Επιπλέον σχετικές σελίδες

19 Πλεονεκτήματα-Μειονεκτήματα  Σημαντική βελτίωση των αποτελεσμάτων από την αναζήτηση  Οι δύο αλγόριθμοι συγκλίνουν γρήγορα  Λόγω των αραιών πινάκων  Πολυπλοκότητα πολύ μικρότερη από την εκτιμώμενη. ______________________________________________  Χρήστες και σχόλια έχουν εκθετικό ρυθμό ανάπτυξης  πιο αργή σύγκλιση των αλγορίθμων  Έλλειψη σχολίων για νέες σελίδες  Αδυναμία αποσαφήνισης σχολίων με δισημία

20 Επεκτάσεις  Βελτιστοποίηση του αλγορίθμου SSR για την αντιμετώπιση των εκθετικά αυξανόμενων σχολίων και χρηστών.  Για την αντιμετώπιση σχολίων spam θα μπορούσε πριν από την εκτέλεση των βασικών αλγορίθμων να γίνεται γλωσσολογική ανάλυση και αγνόηση τους.  Υλοποίηση αλγορίθμου για εύρεση ομοιότητας μεταξύ σχολίων και μεταδεδομένων από τον δημιουργό σελίδας.  π.χ. annotation – anchor text

21 Ερώτηση  Ποια η σημαντικότερη διαφορά των αλγορίθμων όπως ο PageRank με τον SPR;  Με ποιο τρόπο οι αλγόριθμοι SSR και SPR συνεισφέρουν στην αναζήτηση των σχετικών σελίδων για μία ερώτηση;