21 ΔΕΚΕΜΒΡΙΟΥ 2010 Game Theory for networks - OVERVIEW - Μενέλαος Γιαννόπουλος Χρήστος Μαρτίδης.

Παρουσίαση με θέμα: "21 ΔΕΚΕΜΒΡΙΟΥ 2010 Game Theory for networks - OVERVIEW - Μενέλαος Γιαννόπουλος Χρήστος Μαρτίδης."— Μεταγράφημα παρουσίασης:

1 21 ΔΕΚΕΜΒΡΙΟΥ 2010 Game Theory for networks - OVERVIEW - Μενέλαος Γιαννόπουλος Χρήστος Μαρτίδης

2 Non-cooperative games games

3 Nash Equilibrium n χρήστες a *Є Α Nash Equilibrium όταν κανείς παίκτης δεν ωφελείται αλλάζοντας την στρατηγική του μονομερώς u i (a i *, a -i * ) ≥ u i (a i, a -i * )  Constrained Nash Equilibria  Multi-criteria or Pareto-Nash Equilibrium

4 Nash Equilibrium Existence:θεώρημα Nash Uniqueness: Convergence:  κεντρικοποιημένες πολιτικές(round robin)  ασύγχρονοι μηχανισμοί best response (greedy algorithms) πρόβλεψη συμπεριφοράς δικτύου

5 Stackelberg Equilibrium ύπαρξη manager (network administrator, service provider) μεγιστοποίηση κερδών με καθαρά οικονομικά κριτήρια (όχι μόνο με την αποτελεσματική χρήση των πόρων) Στόχος manager : να ορίσει τις παραμέτρους x που μεγιστοποιούν το utility του R,δεδομένου ότι οι χρήστες αντιδρούν σε αυτές τις παραμέτρους R( u*(x*), x* ) = max x ЄX R ( u*(x), x) Cournot game

6 Potential Games περιλαμβάνει διάφορα είδη όπως τα congestion games Potential game όταν υπάρχει μια δυναμική συνάρτηση Φ Φ: μετράει την διαφορά του utility κάθε μοναδικού χρήστη που αποκλίνει Φ( a i, a -i ) - Φ( a’ i, a -i ) = u( a i, a -i ) - u( a’ i, a -i )

7 Wardrop Equilibrium Οι χρόνοι για όλα τα μονοπάτια που χρησιμοποιούνται είναι ίσοι ή μικρότεροι από τον χρόνο που θα συναντούσε ένα όχημα σε οποιοδήποτε μονοπάτι που δεν χρησιμοποιείται.  παρόμοιο με NE Άπειρος αριθμός χρηστών ύπαρξη και μοναδικότητα equilibrium Για πεπερασμένο αριθμό μπορεί να μην ισχύει!

8 Evolutionary games Συμπεριφορά ενός λογικού παίκτη για να προσεγγίσει μια καλύτερη στρατηγική  Παράδειγμα: 2 στρατηγικές u(p,q): αναμενόμενο κέρδος ατόμου που χρησιμοποιεί p απέναντι στον πληθυσμό που χρησιμοποιεί q Αν u(q,q) > u(p,q) τότε ο πληθυσμός με p τείνει να μειωθεί. q ESS(evolutionary stable strategy) ή αν u(q,q)=u(p,q) και u(q,p)>u(p,p)

9 Routing games Κάθε παίκτης έχει να μεταφέρει ένα συγκεκριμένο μέγεθος ροής από έναν κόμβο σε έναν άλλο. Όσο περισσότερο traffic σε ένα link, τόσο μεγαλύτερη καθυστέρηση 2 περιπτώσεις  Splittable (non atomic)  Unsplittable(atomic)

10 Braess Paradox Εγωιστική δρομολόγηση Μη αποδοτικό equilibrium πακέτων σε ένα δίκτυο H αναβάθμιση του δικτύου μπορεί να έχει καταστροφικές επιπτώσεις.

11 Βελτίωση του ΝΕ στα μή συνεργατικά games Pricing(τιμολόγηση )  Το κόστος των υπηρεσιών ή των πόρων των οποίων ένας χρήστης του δικτύου λαμβάνει.  Το κόστος της “ζημιάς” που προκαλεί ένας χρήστης στους υπόλοιπους χρήστες.  Utility= όφελος – κόστος  Ui(pi)=Ui(p) – C(pi)

12 Βελτίωση του ΝΕ στα μή συνεργατικά games Repeated games  Το game τώρα παίζεται σε πολλούς γύρους.  Κάθε γύρος είναι μία επανάληψη του ίδιου ακριβώς strategic-form game.  Ο αριθμός των γύρων μπορεί να είναι πεπερασμένος ή άπειρος αλλά συνήθως η δεύτερη περίπτωση είναι η πιο ενδιαφέρουσα.

13 Βελτίωση του ΝΕ στα μή συνεργατικά games Repeated games  Ορισμός : Έστω {N, (Ai), (ui)} ένα στρατηγικό game.Ένα δ-discounted repeated game (0<δ<1) με άπειρους γύρους είναι ένα extensive-form game με τέλεια πληροφόρηση και ταυτόχρονες κινήσεις όπου: 1) Το σύνολο των παικτών είναι Ν 2) Για κάθε τιμή του t η επιλεγόμενη κίνηση a μπορεί να εξαρτάται από το ιστορικό(a, a.... a ) 3) Το σύνολο των διαθέσιμων action για κάθε παίκτη i είναι Αi και είναι ανεξάρτητο από το ιστορικό.

14 Βελτίωση του ΝΕ στα μή συνεργατικά games Repeated games 4) Το payoff function για κάθε παίκτη i είναι ο μέσος όρος των payoff από κάθε γύρο του repeated game. Ui=(1-δ)∑(δ^(t-1) ui(a )). 5) Ο συντελεστής δ μας δείχνει το κατά πόσο ένας παίκτης εκτιμά το μελλοντικό του payoff σε σχέση με το τρέχων payoff. Όσο μεγαλύτερο είναι το δ τόσο πιο υπομονετικός είναι ένας παίκτης.

15 Βελτίωση του ΝΕ στα μή συνεργατικά games Repeated games ‘‘grim trigger”  Για να βελτιώσουμε το ΝΕ θα χρησιμοποιήσουμε την στρατηγική ‘‘grim trigger”. Στην αρχή του game όλοι οι παίκτες βρίσκονται σε συνεργασία και συνεχίζουν να συνεργάζονται μέχρι κάποιος να αποκλίνει από την συμφωνημένη στρατηγική. Τότε οι υπόλοιποι παίκτες τιμωρούν τον παίκτη αυτόν και το game πλέον μπαίνει σε σε μία φάση μή-συνεργασίας για πάντα.

16 Βελτίωση του ΝΕ στα μή συνεργατικά games Repeated games ‘‘punish-and-forgive”  Μία άλλη στρατηγική είναι η ‘‘punish-and-forgive” όπου η τιμωρία κρατάει για πεπερασμένο χρονικό διάστημα.  Επειδή η συνεργασία είναι συχνά πιο επωφελής η απειλή της τιμωρίας θα αποτρέψει τους παίκτες να αποκλίνουν από την συνεργασία.

17 Βελτίωση του ΝΕ στα μή συνεργατικά games Repeated games – Τιμωρίες 1. Το minmax payoff είναι το ελάχιστο payoff που μπορούν οι άλλοι παίκτες να επιβάλλουν στον παίκτη που τιμωρούν. 2. Το ΝΕ.  Το ΝΕ δίνει τουλάχιστον το minmax payoff σε κάθε παίκτη άρα είναι μικρότερη τιμωρία από το minmax payoff.

18 Βελτίωση του ΝΕ στα μή συνεργατικά games Correlated equilibrium  Το Correlated equilibrium είναι πιό γενικό σε σχέση με το ΝΕ. Κάποια αξιόπιστη πηγή προτείνει στους παίκτες να παίξουν μία στρατηγική. Όταν κανένας παίκτης δεν αποκλίνει από την συνιστώμενη στρατηγική τότε το αποτέλεσμα θα είναι correlated equilibrium.

19 Βελτίωση του ΝΕ στα μή συνεργατικά games Correlated equilibrium Battle of Sexes Τα (F,F) και (B,B) είναι pure NE με κέρδος (2,1) και (1,2) αντοίστιχα Football Basketball Football (2,1) (0,0) Basketball (0,0) (1,2)

20 Βελτίωση του ΝΕ στα μή συνεργατικά games Correlated equilibrium Battle of Sexes Έχουμε και ένα mixed NE. Ο παίκτης 1 επιλέγει F με πιθανότητα 2/3 και Β με πιθανότητα 1/3 και ο 2 επιλέγει F με 1/3 και B με 2/3. Το αναμενόμενο κέρδος σε αυτήν περίπτωση είναι (2/3, 2/3). Θεωρούμε ότι ένας έμπιστος τρίτος διαλέγει με πιθανότητα ½ να προτείνει (F,F) ή (B,B). Κανείς παίκτης δεν έχει κίνητρο να αποκλίνει από την προτηνόμενη στρατηγική και το κέρδος τώρα είναι (3/2, 3/2).

21 Βελτίωση του ΝΕ στα μή συνεργατικά games Correlated equilibrium game of Chicken. 2 pure NE (D,C) and (C,D) με κέρδος (7,2) και (2,7). 1 mixed NE με τους παίκτες 1 και 2 να επιλέγουν C και D με πιθανότητα 2/3 και ¼ αντοίστοιχα. Το αναμενόμενο κέρδος είναι 4*2/3 για κάθε παίκτη. C D C (6.6) (2,7) D (7.2) (0,0)

22 Βελτίωση του ΝΕ στα μή συνεργατικά games Correlated equilibrium game of Chicken.  Ο τρίτος επιλέγει (C,D) (D,C), (D,D) με πιθανότητα 1/3 και ανακοινώνει σε κάθε παίκτη μόνο της πρόταση του προς αυτόν.  Έαν ο παίκτης 2 έχει D δεν έχει λόγο να αποκλίνει. Έαν έχει C τότε ξέρει ότι το αποτέλεσμα θα είναι (D,C) or (C,C) με πιθανότητα ½. Το αναμενόμενο payoff του θα είναι ½ *6 + ½ *2 =4. Εάν παίξει ο παίκτης 2 D τότε θα έχει αναμενόμενο payoff ½ *7 + ½ *0 =3,5 <4. Έτσι θα επιλέξει C. Το ίδιο ακριβώς θα γίνει και για τον παίκτη 1 επειδή το game είναι συμμετρικό.

23 Βελτίωση του ΝΕ στα μή συνεργατικά games Correlated equilibrium game of Chicken.  Το κέρδος για κάθε παίκτη είναι 1/3 *7 +2/3 *4=5 Facts: 1. Όλα τα mixed nashes είναι correlated έτσι το correlated equilibria υπάρχει. 2. Όλα τα convex combinations του mixed nash είναι Correlated.

24 Auction games English auction Dutch auction Second-price (sealed-bid) First-price (sealed-bid) auction Θεώρημα: 1. Η Dutch auction είναι στρατηγικά ισοδύναμη με την first-price sealed-bid. 2. Η English auction είναι ισοδύναμη με την Second-price (sealed- bid) αν είναι γνωστές οι ιδιωτικές τιμές της δεύτερης. 3. Σε συμμετρικούς και risk-neutral bidders και κλειστές δημοπρασίες και οι 4 δημοπρασίες αποφέρουν τα ίδια έσοδα στον πωλητή. 4. Στην second-price sealed-bid είναι weakly dominant strategy να κάνει ειλικρινή προσφορά.

25 Cooperative games(Συνεργατικά games) Bargaining games(Διαπραγματεύσιμα games)  Οι παίκτες έχουν την δυνατότητα να καταλήξουν σε αμοιβαία επωφελή συμφωνία.  Οι παίκτες έχουν αντικρουόμενα συμφέροντα και δεν μπορεί να επιτευχθεί συμφωνία χωρίς την έγκριση όλων των παικτών.  Θεωρούμε το 2-players bargaining game N={1,2}. Για μία συγκεκριμένη συμφωνία ο παίκτης 1 λαμβάνει κέρδος u1 και ο παίκτης 2 u2.  Εάν οι παίκτες αποτύχουν να έρθουν σε συμφωνία τότε λαμβάνουν αυτόματα utilities u1 και u2 αντίστοιχα.  Το σύνολο όλων των εφικτών ζευγών utilities (όλες οι εφικτές συμφωνίες ) συμβολίζεται με U.

26 Cooperative games(Συνεργατικά games) Bargaining games(Διαπραγματεύσιμα games)  Θεώρημα : Ένα 2-player bargaining game είναι ένα ζεύγος {U,(u1,u2 )} όπου το U είναι υποσύνολο του R^2 και είναι compact και convex set, και υπάρχει τουλάχιστον ένα (u1,u2) ε U τέτιο ώστε u1> u1 και u2 > u2. H bargaining solution είναι μία συνάρτηση (u1*,u2*)=f(U,(u1,u2 )) η οποία αναθέτει σε ένα bargaining game ένα μοναδικό σημείο του U.

27 Cooperative games(Συνεργατικά games) Bargaining games(Διαπραγματεύσιμα games)  Τα αξιώματα που επιβάλλονται στην bargaining solution είναι τα εξής: 1. Ορθολογισμός: u1* > u1 και u2* > u2 2. Εφικτότητα: (u1*,u2*) ανήκει στο U 3. Συμμετρία 4. Ανεξαρτησία of irrelevant alternatives: Εάν (u1*,u2*) ε U’ που είναι υποσύνολο του U τότε f(U’,(u1,u2 )) = f(U,(u1,u2 )) = (u1*,u2*) 5. Ανεξαρτησία γραμμικών μετασχηματισμών

28 Cooperative games(Συνεργατικά games) Bargaining games(Διαπραγματεύσιμα games)  Θεώρημα : Αποδεικνύεται ότι υπάρχει μία μοναδική bargaining solution η οποία ικανοποιεί όλα τα παραπάνω αξιώματα η οποία είναι: (u1*,u2*) = arg max (u1- u1 )(u2-u2 ). Αυτό ονομάζεται Nash bargaining solution (NBS).

29 Cooperative games(Συνεργατικά games) Bargaining games(Διαπραγματεύσιμα games)

30 Cooperative games(Συνεργατικά games) Bargaining games(Διαπραγματεύσιμα games)  Η γενική έννοια του NBS είναι ότι αφού έχει ανατεθεί σε κάθε παίκτη ένα ελάχιστο utility το υπόλοιπο μοιράζεται κατα αναλογία και στους 2.  Παρατηρήσεις : 1. To NBS είναι καλώς ορισμένο καθώς η (u1-u1 )(u2-u2 ) είναι concave. 2. Αν αφαιρέσουμε κάποιο αξίωμα τότε η μοναδικότητα δεν θα είναι εγγυημένη. 3. Το θεώρημα επεκτείνεται για N>2 4. Το αξίωμα της συμμετρίας σημαίνει ότι όλοι οι παίκτες είναι ίση στο game. Στην πράξη αυτό δεν είναι πάντα δεδομένο για αυτό μπορούμε να συμπεριλάβουμε κάποια βάρη στην NBS για να εξισορροπήσουμε την ασυμμετρία. 5. Για να βρούμε την NBS θέλουμε global information.

31 Cooperative games(Συνεργατικά games) Coalitional games  Ένα σύνολο παικτών συνεργάζονται με άλλους παίκτες και δημιουργούν μία ομάδα βελτιώνοντας το payoff τους. 1. games with transferrable payoff 2. games without transferrable payoff

32 Stochastic games Στις τηλεπικοινωνίες το περιβάλλον συνήθως δεν είναι σταθερό και μεταβάλλεται στον χρόνο. Η θεωρία των στοχαστικών games είναι καταλληλότερη για να μελετηθεί η συνεργασία και ο ανταγωνισμός σε δυναμικό περιβάλλον. Τα στοχαστικά games είναι μία επέκταση του Markov Decision Process. Υπάρχει ένα σύνολο καταστάσεων και μία συλλογή από actions. To game παίζεται σε μία αλληλουχία καταστάσεων η σειρά της οποίας είναι random.

33 Game Theory for networks

34 ΠΗΓΕΣ: Game theory for cognitive radio networks: An Overview Beibei Wang, Yongle Wu, K.J Ray Liu, 2010 A survey in networking games in telecommunications E.Altman,T.Boulogne, R. El-Azouzi, T.Limenez and L.Wynter, 2005 Σημειώσεις από διαλέξεις Διαδίκτυο

35 Σας ευχαριστούμε πολύ!!