Αλληλεπιδράσεις πρακτόρων Πώς σχεδιάζουμε κοινωνίες πρακτόρων;

2 Δεν υπάρχει σύστημα ενός πράκτορα!

3 Κάθε σύστημα περιέχει ένα πλήθος πρακτόρων που αλληλεπιδρούν είτε άμεσα επικοινωνώντας, είτε έμμεσα με τις ενέργειές τους στο περιβάλλον. Κάθε πράκτορας αλληλεπιδρά με το περιβάλλον, δηλαδή μπορεί με τις ενέργειές του να το αλλάζει. Άρα κάθε πράκτορας έχει μια σφαίρα επιρροής στο περιβάλλον, δηλαδή το τμήμα εκείνο του περιβάλλοντος το οποίο μπορεί να αλλάζει. Όπου δύο ή περισσότεροι πράκτορες έχουν κοινή σφαίρα επιρροής, τότε έχουν και κάποια σχέση αλληλοεξάρτησης (π.χ. Δύο πράκτορες ελέγχουν αν μια πόρτα είναι κλειστή/ανοιχτή, αλλά επειδή η πόρτα μπορεί να είναι μόνο σε μια κατάσταση κάθε φορά, πρέπει να ρυθμιστεί η συμπεριφορά τους έτσι ώστε να μην έρχονται σε σύγκρουση, ή όποτε έρχονται σε σύγκρουση αυτή να επιλύεται με κάποιο τρόπο). Οι πράκτορες μπορεί να είναι οργανωμένοι με διάφορους τρόπους οπότε υπάρχουν μεταξύ τους διάφορες οργανωσιακές σχέσεις, π.χ. Ανήκουν στην ίδια ομάδα, κάποιος είναι αρχηγός ομάδας κλπ.

4 Το ζητούμενο σε MAS Αυτό που μας ενδιαφέρει να χαρακτηρίσουμε, όταν έχουμε συστήματα πολλών πρακτόρων, είναι η συμπεριφορά κάθε πράκτορα λαμβάνοντας υπόψη την συνύπαρξή του με άλλους, δηλαδή... Όταν ένας πράκτορας πρέπει να επιλέξει ποια ενέργεια να εκτελέσει στο περιβάλλον του έτσι ώστε να πετύχει το στόχο του, και όταν οι στόχοι των άλλων πρακτόρων που συνυπάρχουν είναι διαφορετικοί (και πολύ πιθανό αντικρουόμενοι), πώς επιλέγει τελικά ο πράκτορας τι να κάνει; Μια απάντηση είναι μέσω συναρτήσεων χρησιμότητας. Αλλά επειδή το περιβάλλον είναι ανοιχτό, η χρησιμότητα κάθε κατάστασης μπορεί να μην είναι εκ των προτέρων γνωστή. Πρέπει λοιπόν ο πράκτορας να υπολογίζει δυναμικά τι «συμφέρει» να κάνει σε κάθε χρονική στιγμή που καλείται να αποφασίσει ποια ενέργεια να εκτελέσει.

5 Οι προτιμήσεις ενός πράκτορα

6 Προτιμήσεις και χρησιμότητα Υπάρχει μία τάση να αντιλαμβανόμαστε τη χρησιμότητα με οικονομικούς όρους, δηλαδή όσο περισσότερα «χρήματα» αξίζει μία κατάσταση τόσο πιο χρήσιμη είναι. Αλλά αυτό δεν ισχύει πάντα. Παράδειγμα: ο πράκτορας Α έχει $500 εκατομμύρια και ο πράκτορας Β δεν έχει τίποτα. Ένας γενναιόδωρος πράκτορας Γ έχει $1 εκατομμύριο να δωρίσει. –Αν το δωρίσει στον Α θα προκύψει μία κατάσταση στην οποία ο Α έχει $501 εκατομμύρια και ο Β τίποτα. Υπάρχει μια μικρή αύξηση στη χρησιμότητα για τον Α (αλλά είναι μικρή γιατί ό,τι μπορείς να κάνεις με $501 εκατομμύρια μπορείς να το κάνεις λίγο-πολύ και με $500 εκατομμύρια). –Αν το δωρίσει στον Β θα προκύψει μια κατάσταση στην οποία ο Α έχει $500 εκατομμύρια και ο Β $1 εκατομμύριο. Αυτή η κατάσταση παρουσιάζει πολύ μεγάλη αύξηση της χρησιμότητας από τη σκοπιά του Β. Οι συναρτήσεις χρησιμότητας είναι απλά ένας τρόπος για να αναπαρίστανται οι προτιμήσεις ενός πράκτορα. Δεν μεταφράζονται κατ’ανάγκη σε οικονομικούς όρους.

7 Πολυπρακτορικές συναναστροφές (1)

8 Πολυπρακτορικές συναναστροφές (2)

9 Πολυπρακτορικές συναναστροφές (3)

10 Κυριαρχία

11 Ισορροπίες Νash

12 Ανταγωνιστικές και μηδενικού αθροίσματος αλληλεπιδράσεις

13 Το δίλημμα του φυλακισμένου (1) (Prisoner’s Dilemma)

14 Το δίλημμα του φυλακισμένου (2)

15 Δεν είμαστε όλοι Machiavelli Μια προσπάθεια απάντησης στο δίλημμα του φυλακισμένου. Δεν είμαστε όλοι εγωιστές, δεν μας ενδιαφέρει μόνο η μεγιστοποίηση του κέρδους μας, υπάρχουν παραδείγματα πραγματικής αλτρουιστικής συμπεριφοράς στον κόσμο και παραδείγματα αυθόρμητης συνεργασίας. Αλλά... –Πολλές φορές στα πραγματικά παραδείγματα υπάρχει μηχανισμός που καθιστά προτιμότερο να συνεργαστούμε παρά όχι (π.χ. Άμεση ή έμμεση τιμωρία αν δεν συνεργαστώ). –Πραγματικά παραδείγματα συνεργατικής συμπεριφοράς είναι ευάλωτα σε καταχρήσεις από εκείνους που επιλέγουν D και μεγιστοποιούν το κέρδος τους. Π.χ. Ένα σύστημα μαζικής μεταφοράς στο οποίο καθένας πληρώνει αυθόρμητα το κόμιστρο που πρέπει.

16 Ο άλλος φυλακισμένος είναι ο δίδυμος αδελφός μου Μια ακόμα προσπάθεια απάντησης στο δίλημμα του φυλακισμένου. Οι δύο φυλακισμένοι θα σκεφτούν με τον ίδιο τρόπο και έτσι και οι δύο θα καταλήξουν στο συμπέρασμα ότι η συνεργασία συμφέρει. Αλλά... –Τότε δεν έχω το σενάριο του διλήμματος του φυλακισμένου, δεν έχω δύο παίκτες με διαφορετικά συμφέροντα.

17 Οι άνθρωποι δεν συμπεριφέρονται λογικά Οι άνθρωποι επιλέγουμε συνεργατική συμπεριφορά όταν δεν πειράζει πολύ το κόστος, π.χ. το να πληρώνουμε το εισιτήριο του λεωφορείου έντιμα, ακόμα κι αν άλλοι καταχρώνται το σύστημα. Αλλά τότε παραδεχόμαστε ότι επιλέγουμε ορθολογικά, δηλαδή δεν συνεργαζόμαστε, όταν το κόστος είναι υψηλό.

18 Η απειλή του μέλλοντος Τι θα άλλαζε στο αποτέλεσμα του διλήμματος του φυλακισμένου αν: –παιζόταν το παιχνίδι όχι μια φορά, αλλά επαναλαμβανόμενα για έναν αριθμό γύρων; –Και κάθε πράκτορας μπορεί να δει τι έκανε ο άλλος στον προηγούμενο γύρο; Τι είναι ορθολογικό να πράξει κάθε πράκτορας υπό αυτές τις συνθήκες; Αν γνωρίζει ένας πράκτορας ότι θα «ξανασυναντήσει» τον αντίπαλο πράκτορα στο μέλλον, τότε το κίνητρό του να κάνει D μειώνεται γιατί: –Αν κάνει D στον τρέχοντα γύρο, τότε ο αντίπαλος θα τον τιμωρήσει στον επόμενο γύρο κάνοντας D κι αυτός. –Αν κάνει C στον τρέχοντα γύρο, κι ο αντίπαλος δεν ανταποκριθεί το ίδιο, τότε στον επόμενο γύρο θα τιμωρήσει τον αντίπαλο (και θα ανακάμψει την όποια απώλεια κέρδους του τρέχοντος γύρου). Υπό αυτές τις συνθήκες, δηλαδή με την υπόθεση ότι η αλληλεπίδραση των πρακτόρων έχει διάρκεια στο χρόνο, η συνεργασία (να κάνει κανείς C) είναι πλέον προτιμότερη (ορθολογική) επιλογή.

19...αλλά υπάρχει ένα «αλλά»... Έστω ότι οι πράκτορες συμφώνησαν να παίξουν το επαναληπτικό δίλημμα του φυλακισμένου για έναν προκαθορισμένο πεπερασμένο αριθμό γύρων, π.χ Πρέπει καθένας να αποφασίσει από την αρχή τι στρατηγική θα ακολουθήσει. Στον τελευταίο γύρο (τον 100ό) και οι δύο γνωρίζουν ότι δεν θα αλληλεπιδράσουν ξανά στο μέλλον. Με άλλα λόγια, ο τελευταίος γύρος είναι σαν να παίζουν οι πράκτορες μία φορά μόνο το δίλημμα του φυλακισμένου (όπου είδαμε νωρίτερα ότι η ορθολογική επιλογή είναι D). Έτσι, στον 100ό γύρο και οι δύο πράκτορες (ορθολογικά) θα κάνουν D. Οπότε ο πραγματικός τελικός γύρος του επαναληπτικού παιχνιδιού είναι ο 99ός. Με την ίδια λογική, κι αυτός μπορεί να θεωρηθεί σαν μοναδικός γύρος. Το ίδιο και ο 98ος γύρος, ο 97ος, κλπ. Επαγωγικά συμπεραίνουμε ότι η επαναληπτική εκδοχή του παιχνιδιού, όταν ο αριθμός των γύρων είναι προκαθορισμένος και γνωστός στους δύο πράκτορες, οδηγεί σε κυρίαρχη στρατηγική D, όπως και στην εκδοχή του ενός γύρου. Συμπέρασμα: για να είναι η συνεργασία ορθολογική επιλογή, απαιτείται άπειρος αριθμός γύρων ή πεπερασμένος αριθμός με το ενδεχόμενο οι πράκτορες να ξανασυναντηθούν στο μέλλον (απειλή του μέλλοντος). Ακόμα κι αν ένας συνεργάσιμος πράκτορας, που υποφέρει παίζοντας με έναν μη συνεργάσιμο αντίπαλο, συνολικά θα κερδίσει αν έχει τη δυνατότητα να αλληλεπιδράσει με άλλους συνεργάσιμους πράκτορες: Το δίλημμα του φυλακισμένου σε τουρνουά (Axelrod).

20 Το τουρνουά του Axelrod Ο Axelrod είναι πολιτικός επιστήμονας που τον ενδιαφέρει να μελετήσει πώς προκύπτει συνεργασία σε κοινωνίες εγωιστικών πρακτόρων. Το 1980 οργάνωσε τουρνουά στο οποίο πολιτικοί επιστήμονες, ψυχολόγοι, οικονομολόγοι και θεωρητικοί παιγνίων υπέβαλαν ένα πρόγραμμα που έπαιζε το επαναληπτικό δίλημμα του φυλακισμένου. Τα προγράμματα που υποβλήθηκαν κυμαίνονταν από 5 έως 152 γραμμές κώδικα. Κάθε πρόγραμμα γνώριζε την προηγούμενη επιλογή (C ή D) του αντιπάλου του και αποφάσιζε τι να κάνει βασισμένο σε αυτή την πληροφορία. Κάθε πρόγραμμα έπαιζε ενάντια σε κάθε άλλο για 5 παιχνίδια, με 200 γύρους το κάθε παιχνίδι. Νικητής ήταν το πρόγραμμα που κέρδιζε στο σύνολο των παιχνιδιών με όλα τα άλλα προγράμματα. Κάθε πρόγραμμα είχε τη δική του στρατηγική.

21 Παραδείγματα στρατηγικής στο τουρνουά του Axelrod ALL-D: η στρατηγική του «γερακιού», πάντα κάνε D ό,τι κι αν κάνει ο αντίπαλος (αυτή είναι η ορθολογική επιλογή στο επαναληπτικό παιχνίδι με σταθερό, προκαθορισμένο αριθμό γύρων). RANDOM: αγνόησε ό,τι κι αν έκανε ο αντίπαλος στον προηγούμενο γύρο, επέλεξε C ή D τυχαία, με ίση πιθανότητα. TIT-for-TAT: στον πρώτο γύρο κάνε C. Στον γύρο t > 1 κάνε ό,τι έκανε ο αντίπαλος στο γύρο t-1 (αυτή ήταν και η απλούστερη απαιτώντας 5 γραμμές FORTRAN). TESTER: στον πρώτο γύρο δοκίμασε τον αντίπαλο κάνοντας D. Αν ο αντίπαλος σε τιμωρήσει κάνοντας επίσης D, συνέχισε παίζοντας τη στρατηγική TIT-for-TAT. Αν ο αντίπαλος δεν σε τιμωρήσει, τότε να παίζεις C για δύο γύρους και μετά D, επαναληπτικά. JOSS: όπως η TESTER, αυτή η στρατηγική είναι σχεδιασμένη για να εκμεταλλεύεται «ασθενείς» αντιπάλους. Ουσιαστικά είναι ίδια με την TIT-for-TAT, αλλά 10% του χρόνου αντί να κάνει C, κάνει D. Ποια στρατηγική πιστεύετε ότι απέδωσε καλύτερα; Ποια θα επιλέγατε, με βάση όσα γνωρίζετε μέχρι τώρα από τη θεωρία παιγνίων;

22 Αποτελέσματα του τουρνουά του Axelrod Ο νικητής ήταν ο πράκτορας που έπαιζε τη στρατηγική TIT-for-TAT. Αλλά προσοχή πώς ερμηνεύουμε το αποτέλεσμα! Η TIT-for-TAT κέρδισε γιατί λάβαμε υπόψη όλες τις άλλες στρατηγικές που συμμετείχαν. Αν η TIT-for-TAT παιζόταν εναντίον μόνο της ALL-D, τότε θα κέρδιζε η ALL-D. Η TIT-for-TAT κέρδισε γιατί είχε την ευκαιρία να παίξει εναντίον αντιπάλων που είχαν επίσης την τάση να συνεργαστούν. Γι’αυτό και το συμπέρασμα ότι η συνεργασία είναι καλή στρατηγική για έναν πράκτορα όταν συνυπάρχει με άλλους που κι εκείνοι έχουν την τάση να συνεργαστούν. Προσπαθώντας να εξηγήσει τους λόγους της επιτυχίας της TIT-for-TAT ο Axelrod κατέληξε σε τέσσερις κανόνες για επιτυχία στο επαναληπτικό δίλημμα του φυλακισμένου.

23 Οι κανόνες του Axelrod για το επαναληπτικό παιχνίδι Μη ζηλεύεις: δεν είναι απαραίτητο να «νικήσεις» τον αντίπαλο για να επιτύχεις. Μην είσαι ο πρώτος που δεν συνεργάζεται: στον πρώτο γύρο ξεκίνα με συνεργασία. Όση χρησιμότητα κι αν χάσεις στιγμιαία από αυτή την επιλογή, θα την ανακτήσεις σε επόμενους γύρους μέσω της συνεργασίας με άλλες «καλές» (=συνεργάσιμες) στρατηγικές. Να ανταποδίδεις τη συνεργασία και τη μη-συνεργασία: η TIT-for-TAT αντιπροσωπεύει καλή ισορροπία μεταξύ ανταμοιβής και τιμωρίας. Ακόμα κι αν οι πράκτορες ξεκινήσουν άσχημα υπάρχει περιθώριο να εδραιωθεί συνεργασία μεταξύ τους. Μην είσαι εξυπνάκιας: η TIT-for-TAT ήταν η απλούστερη στρατηγική από όλες όσες υποβλήθηκαν, μερικές από τις οποίες έκαναν χρήση προηγμένων τεχνικών για να αποφασίσουν τι να κάνουν. Οι τελευταίες είτε προσπαθούσαν να φτιάξουν μοντέλο της συμπεριφοράς του αντιπάλου αγνοώντας ότι κι εκείνος το ίδιο κάνει, είτε ήταν τόσο πολύπλοκες, που στον αντίπαλο εμφανίζονταν ως RANDOM.

24 Άλλες συμμετρικές 2x2 αλληλεπιδράσεις

25 The stag hunt Ένα ακόμα παράδειγμα κοινωνικού διλήμματος. Προέκυψε από τον Rousseau (1775 Discourse on Inequality). Η σύγχρονη εκδοχή του οφείλεται στον Poundstone (1992): Εσύ κι ένας φίλος σου αποφασίζετε ότι θα ήταν καλό αστείο να εμφανιζόσασταν την τελευταία μέρα της σχολικής χρονιάς με ένα γελοίο κούρεμα. Οι συμμαθητές σας σας προτρέπουν και τελικά ορκίζεστε ότι θα κάνετε το γελοίο κούρεμα. Μια νύχτα αναποφασιστικότητας ακολουθεί. Καθώς σκέφτεσαι τις αντιδράσεις των γονιών και των δασκάλων σου αρχίζεις να αναρωτιέσαι αν ο φίλος σου πραγματικά θα τηρήσει τη συμφωνία. Φυσικά και θέλεις να πετύχει η συμφωνία σας: το καλύτερο αποτέλεσμα θα ήταν και οι δύο να κάνετε το γελοίο κούρεμα. Αλλά...θα ήταν απαίσια να εμφανιστείς μόνο εσύ με το γελοίο κούρεμα, αυτό θα ήταν ό,τι χειρότερο. Τώρα, δεν θα σε πείραζε να φέρεις το φίλο σου σε δύσκολη θέση. Αν εσύ δεν έκανες το κούρεμα, αλλά ο φίλος σου το έκανε, τότε αυτός θα φαινόταν πραγματικά γελοίος και αυτό θα ήταν σχεδόν τόσο καλό όσο αν κάνατε και οι δύο το γελοίο κούρεμα.

26 Πίνακας κέρδους για το stag hunt Υπάρχουν δύο ισορροπίες Nash: αμοιβαία συνεργασία ή αμοιβαία μη- συνεργασία. Αν εμπιστεύεσαι τον αντίπαλο και πιστεύεις ότι θα συνεργαστεί τότε το καλύτερο είναι να συνεργαστείς (και αντιστρόφως, αυτό ισχύει και για τον αντίπαλο). Αντίθετα, αν πιστεύεις ότι ο αντίπαλος δε θα συνεργαστεί τότε το καλύτερο είναι να μη συνεργαστείς (και αντιστρόφως, αυτό ισχύει και για τον αντίπαλο). Ο Poundstone πιστεύει ότι τα σενάρια ανταρσίας είναι παραδείγματα του stag hunt («θα ήταν καλύτερα αν απαλλασσόμασταν από τον καπετάνιο, αλλά θα μας κρεμάσουν αν δεν το επιχειρήσουμε αρκετοί»)

27 The game of chicken

28 Πίνακας κέρδους για το game of chicken Πώς πρέπει να παίξει ο i; Εξαρτάται από το πόσο ανόητος (ή γενναίος) πιστεύει ότι είναι ο j. Αν πιστεύει ότι ο j είναι πιο γενναίος από τον ίδιο, τότε καλύτερα να αλλάξει πορεία (C). Αντίθετα αν πιστεύει ότι εκείνος είναι πιο γενναίος τότε καλύτερα να συνεχίσει την πορεία του (D) γιατί θα αλλάξει πορεία ο j. Το πρόβλημα προκύπτει όταν και οι δύο πράκτορες εσφαλμένα πιστεύουν ότι ο άλλος είναι λιγότερο γενναίος, γιατί τότε το χειρότερο συμβαίνει: πεθαίνουν και οι δύο. Υπάρχουν δύο ισορροπίες Nash, πάνω δεξιά και κάτω αριστερά. Αν πιστεύεις ότι ο αντίπαλος θα συνεχίσει να οδηγεί προς το βράχο (D), τότε το καλύτερο είναι να αλλάξεις πορεία (και αντιστρόφως το ίδιο ισχύει για τον αντίπαλο). Αντίθετα αν πιστεύεις ότι ο αντίπαλος θα αλλάξει πορεία, τότε το καλύτερο είναι να συνεχίσεις να οδηγείς ευθεία προς το βράχο.

29 Βιβλιογραφία Κεφάλαιο 6 ο από το βιβλίο του Wooldridge. Οργανωσιακές σχέσεις πρακτόρων Horling, B. and Lesser, V A survey of multi-agent organizational paradigms. Knowledge Engineering Review, 19(4), Θεωρία παιγνίων K. Binmore, Fun and Games: A Text on Game Theory, Heath and Company, K. Leyton-Brown and Y. Shoham, Essentials of Game Theory: A Concise Multi- Disciplinary Introduction, Morgan Claypool Publishers, Y. Shoham and K. Leyton-Brown, MultiAgent Systems: Algorithmic, Game- Theoretic and Logical Foundations, Cambridge University Press, Τουρνουά Axelrod R. Axelrod, The Evolution of Cooperation, Basic Books, Δίλημμα του φυλακισμένου Y. Mor and J. Rosenchain, Time and the Prisoner’s Dilemma, Proceedings of ICMAS, 276—282, 1995.