ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ II Καθ. Πέτρος Π. Γρουμπός Διάλεξη 8η Στοχαστικά Σήματα - 1

Τυχαίες Μεταβλητές και Συναρτήσεις Κατανομής τους Στις εφαρμογές, τυχαία μεταβλητή είναι μια αριθμητική ποσότητα που ορίζεται με βάση το αποτέλεσμα ενός τυχαίου πειράματος. Από μαθηματική όμως άποψη, τυχαία μεταβλητή Χ είναι μια πραγματική συνάρτηση που ορίζεται σε έναν χώρο πιθανότητας. Φυσικά θέλουμε η P (X ≤ x) να είναι καλά ορισμένη για κάθε πραγματικό αριθμό x. Με άλλα λόγια αν (Ω, Α, Ρ) είναι ο χώρος πιθανότητας στον οποίο ορίζεται η Χ, θέλουμε το Οδηγούμαστε έτσι στους παρακάτω ορισμούς: να είναι ενδεχόμενο (δηλαδή, στοιχείο της Α). Ορισμός 1. να είναι ενδεχόμενο Τυχαία μεταβλητή Χ σε έναν χώρο πιθανότητας (Ω, Α, Ρ) είναι μια πραγματική συνάρτηση Χ(ω), ω є Ω, τέτοια ώστε για κάθε - ∞ < x < ∞, το

Τυχαίες Μεταβλητές και Συναρτήσεις Κατανομής τους Η συνάρτηση κατανομής F μιας τυχαίας μεταβλητής Χ είναι η συνάρτηση Η συνάρτηση κατανομής είναι χρήσιμη για τον υπολογισμό διαφόρων πιθανοτήτων που σχετίζονται με την τυχαία μεταβλητή Χ. Ορισμός 2. Ένα παράδειγμα δίνεται από τον τύπο

Ιδιότητες των Συναρτήσεων Κατανομής Οι συναρτήσεις κατανομής ικανοποιούν κάποιες συνθήκες (δεν μπορούν όλες οι συναρτήσεις να παίξουν τον ρόλο της συνάρτησης κατανομής). Η ιδιότητα (i) έπεται άμεσα από τον ορισμό: F(x) = P(X ≤ x). Έστω Χ μία τυχαία μεταβλητή και F η συνάρτηση κατανομής της. Τότε: Για να δούμε ότι ισχύει η (ii) αρκεί να παρατηρήσουμε ότι αν x<y, τότε Συνθήκες

Ιδιότητες των Συναρτήσεων Κατανομής Μία συνάρτηση έχει όριο L από δεξιά (ή από αριστερά) στο x αν f (x+h) → L, καθώς, h→0, όπου το h περιορίζεται να παίρνει μόνο θετικές (αντίστοιχα, αρνητικές) τιμές. Τα όρια από δεξιά ή αριστερά, όταν υπάρχουν, συμβολίζονται με f (x+) και f (x-) αντίστοιχα. Δεν είναι δύσκολο να δείτε ότι αν η f είναι φραγμένη και είτε αύξουσα ή φθίνουσα, τότε τα f (x+) και f (x-) υπάρχουν για κάθε x. Με τις ίδιες υποθέσεις, η f έχει όρια f (-∞) καθώς x→ -∞ και f (+∞) καθώς x→ +∞. Έπεται λοιπόν ότι η συνάρτηση κατανομής F έχει όρια F (x+) και F (x-) για κάθε x, καθώς και τα όρια F (-∞) και F (+ ∞) Συνθήκες

Ιδιότητες των Συναρτήσεων Κατανομής Μία τυχαία μεταβλητή Χ λέγεται συνεχής τυχαία μεταβλητή αν Αν η Χ είναι συνεχής τυχαία μεταβλητή, τότε εκτός από την Έχουμε ότι Οπότε τα σύμβολα < και ≤ χρησιμοποιούνται χωρίς διάκριση σε αυτό το πλαίσιο. Ορισμός 3. Ορισμός 4. Συνάρτηση κατανομής είναι κάθε συνάρτηση F που έχει τις ιδιότητες

Πυκνότητες Συνεχών Τυχαίων Μεταβλητών Ορισμός 5. Συνάρτηση πυκνότητας (συνεχούς τύπου) είναι μία μη αρνητική συνάρτηση f που ικανοποιεί την Αν η f είναι συνάρτηση πυκνότητας, τότε η συνάρτηση F που ορίζεται από την.. είναι συνεχής και ικανοποιεί της προαναφερόμενες ιδιότητες.

Πυκνότητες Συνεχών Τυχαίων Μεταβλητών Από την Και την Έπεται ότι αν Χ είναι μία συνεχής τυχαία μεταβλητή με πυκνότητα f, τότε ή πιο γενικά ότι, αν το Α είναι μία πεπερασμένη ή άπειρη αριθμήσιμη ένωση ξένων διαστημάτων Στις περισσότερες εφαρμογές, ο ευκολότερος τρόπος για να υπολογίσουμε την πυκνότητα μίας συνεχούς τυχαίας μεταβλητής είναι να παραγωγίσουμε την Οπότε παίρνουμε, ισχύει για κάθε σημείο x στο οποίο η f είναι συνεχής.

Τύποι Αλλαγής Μεταβλητής Έστω Χ μία συνεχής τυχαία μεταβλητή με πυκνότητα f. Παράδειγμα. Έστω Χ συνεχής τυχαία μεταβλητή με πυκνότητα f. Ζητείται η πυκνότητα της τυχαίας μεταβλητής Y = X 2. Συμβολίζουμε με F και G τις αντίστοιχες συναρτήσεις κατανομής των Χ και Υ. Παραγωγίζοντας βλέπουμε ότι Θα συζητήσουμε μεθόδους για την εύρευση της πυκνότητας μιας τυχαίας μεταβλητής Υ που είναι συνάρτηση της Χ. Τότε G(y) = 0, αν y ≤0. Αν y >0,

Τύποι Αλλαγής Μεταβλητής Επομένως η Υ = Χ 2 έχει πυκνότητα g που δίνεται από την Έστω φ μία παραγωγίσιμη, γνησίως αύξουσα ή γνησίως φθίνουσα συνάρτηση σε ένα διάστημα Ι, και έστω φ(Ι) το σύνολο τιμών της φ και φ -1 η αντίστροφη συνάρτηση της φ. Έστω Χ μία συνεχής τυχαία μεταβλητή με πυκνότητα f ώστε f(x) = 0 αν x Ι. Τότε η Υ = φ(Χ) έχει πυκνότητα g που δίνεται από την g(y) = 0 αν y φ(Ι) και Θεώρημα

Τύποι Αλλαγής Μεταβλητής Είναι συχνά προτιμότερο να γράφουμε την παραπάνω σχέση στην ισοδύναμη μορφή

Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Έστω Χ και Υ δύο τυχαίες μεταβλητές που ορίζονται στον ίδιο χώρο πιθανότητας. Η από κοινού συνάρτηση κατανομής τους F ορίζεται από την Για να δούμε ότι η F είναι καλά ορισμένη παρατηρούμε ότι αφού οι Χ και Υ είναι τυχαίες μεταβλητές, τα σύνολα {ω Ι Χ(ω) ≤ x } και {ω Ι Υ(ω) ≤ y } είναι ενδεχόμενα. Η τομή τους {ω Ι Χ(ω) ≤ x, Υ(ω) ≤ y } είναι επίσης ενδεχόμενο, άρα η πιθανότητα του είναι καλά ορισμένη. Η από κοινού συνάρτηση κατανομής είναι χρήσιμη αν θέλουμε να υπολογίσουμε την πιθανότητα το ζεύγος (Χ, Υ) να ανήκει σε ένα ορθογώνιο στο επίπεδο. Θεωρούμε το ορθογώνιο Όπου a < b, c < d. Τότε,

Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Για να επαληθεύσουμε την παραπάνω σχέση, παρατηρούμε ότι όμοια Άρα Και η (1) ισχύει !!

Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Aν υπάρxει μία μη αρνητική συνάρτηση f ώστε: Οι μονοδιάστατες συναρτήσεις κατανομής F x και F y που ορίζονται από τις Λέγονται περιθώριες συναρτήσεις κατανομής των Χ και Υ. Η σχέση τους με την από κοινού συνάρτηση κατανομής F δίνεται από τις τότε η f λέγεται από κoινoύ συνάρτηση πυκνότητας (συνεχούς τύπου) για τη συνάρτηση κατανομής F ή το ζεύγος των τυχαίων μεταβλητών Χ, Υ. Αν δεν αναφέρουμε ρητά κάτι άλλο, με τον όρο συναρτήσεις πυκνότητας, εννοούμε συναρτήσεις πυκνότητας συνεχούς τύπου και όχι διακριτές συναρτήσεις πυκνότητας.

Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Χρησιμοποιώντας τις ιδιότητες του ολοκληρώματος και τον ορισμό του χώρου πιθανότητας μπορούμε να δείξουμε ότι η σχέση Παράδειγμα. Έστω ότι οι Χ και Υ έχουν από κοινού συνάρτηση πυκνότητας την Όπου c είναι μία θετική σταθερά την οποία θα προσδιορίσουμε στην πορεία. Ξαναγράφουμε την f στην μορφή: Aν η F έχει πυκνότητα την f, τότε μπορούμε με την βοήθεια της f να ξαναγράψουμε την (1) στην μορφή

Πολυδιάστατες Κατανομές – Ιδιότητες διδιάστατων Κατανομών Και παρατηρούμε ότι Κάνοντας την αλλαγή μεταβλητής u = y – x/2, βλέπουμε ότι Επομένως, Είναι τώρα σαφές ότι η fx είναι η κανονική πυκνότητα n (0, σ 2 ) με σ 2 = 4/3, οπότε Δηλαδή Επομένως:

Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων & Πηλίκων Έστω Χ και Υ τυχαίες μεταβλητές με από κοινού πυκνότητα την f. Πολύ συχνά έχουμε μια τυχαία μεταβλητή Ζ που ορίζεται με βάση τις Χ και Υ και θέλουμε να υπολογίσουμε την πυκνότητα της Ζ. Ας υποθέσουμε ότι η Ζ δίνεται από την Ζ = φ(Χ, Υ) όπου φ είναι μια πραγματική συνάρτηση που το πεδίο ορισμού της περιέχει το πεδίο τιμών του (Χ, Υ). Για σταθερό z το ενδεχόμενο { Ζ ≤ z} συμπίπτει με το ενδεχόμενο {(Χ, Υ) є Α z }, όπου Α z είναι το υποσύνολο του R 2 που ορίζεται από την Άρα

Αν μπορέσουμε να βρούμε μία μη αρνητική συνάρτηση g με την ιδιότητα Τότε η g είναι υποχρεωτικά πυκνότητα για την Z. Θα χρησιμοποιήσουμε αυτή τη μέθοδο για να υπολογίσουμε πυκνότητες για τις Χ + Υ και Υ/Χ. Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων & Πηλίκων

Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων Θέτουμε Ζ = Χ + Υ. Τότε το είναι το ημιεπίπεδο αριστερά της ευθείας x + y = z. Επομένως, Κάνουμε την αλλαγή μεταβλητής y = u – x στο εσωτερικό ολοκλήρωμα. Τότε Αν αλλάξουμε τη σειρά της ολοκλήρωσης. Επομένως η πυκνότητα Ζ = Χ+Υ δίνεται από την

Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων & Πηλίκων Στις βασικές εφαρμογές της προηγούμενης σχέσης οι Χ και Υ είναι ανεξάρτητες μεταβλητές οπότε η σχέση αυτή παίρνει την μορφή Αν Χ και Υ είναι μη αρνητικές ανεξάρτητες τυχαίες μεταβλητές, τότε f x+y(z) =0, αν z ≤ 0, και Το δεξιό μέλος μας προτείνει μία μέθοδο για να παίρνουμε νέες πυκνότητες. Αν μας δώσουν 2 μονοδιάστατες πυκνότητες f και g, η συνάρτηση h που ορίζεται από την Είναι μία μονοδιάστατη συνάρτηση πυκνότητας που λέγεται συνέλιξη των f και g. Δηλαδή, η πυκνότητα του αθροίσματος των 2 ανεξάρτητων τυχαίων μεταβλητών είναι η συνέλιξη των πυκνοτήτων τους.

Πολυδιάστατες Κατανομές – Κατανομή Αθροισμάτων & Πηλίκων Έστω Χ και Υ ανεξάρτητες τυχαίες μεταβλητές με κανονικές πυκνότητες τις n(μ 1, σ 1 2 ) και n(μ 2, σ 2 ) αντίστοιχα. Τότε η Χ + Υ έχει την κανονική πυκνότητα: Θεώρημα Υποθέτουμε ότι μ 1 = μ 2 = 0. Τότε,

Πολυδιάστατες Κατανομές – Ο τύπος του Bayes Μπορούμε να αναστρέψουμε τους ρόλους των Χ και Υ και να ορίσουμε τη δεσμευμένη πυκνότητα της Χ δεδομένου ότι Υ = y μέσω του τύπου Μπορούμε να ξαναγράψουμε την προηγούμενη σχέση στην μορφή: Αφού, και

Μέση Τιμή Συνεχών Τυχαίων Μεταβλητών Έστω Χ συνεχής τυχαία μεταβλητή με πυκνότητα f. Λέμε ότι η Χ έχει πεπερασμένη μέση τιμή αν Και στην περίπτωση αυτή ορίζουμε τη μέση τιμή της Χ θέτοντας: Ορισμός Υποθέτουμε ότι η Χ είναι ομοιόμορφα κατανεμημένη στο (a, b). Τότε, Παράδειγμα

Μέση Τιμή Συνεχών Τυχαίων Μεταβλητών Υποθέτουμε ότι η Χ έχει την πυκνότητα γάμμα Γ (α, λ). Τότε Παράδειγμα

Μέση Τιμή Συνεχών Τυχαίων Μεταβλητών Έστω Χ 1, …, Χ n συνεχείς τυχαίες μεταβλητές με από κοινού πυκνότητα την f, και έστω Ζ τυχαία μεταβλητή που ορίζεται με την βοήθεια των Χ 1, …, Χ n από την Ζ = φ(Χ 1, …, Χ n ). Θεώρημα Και τότε: Συντελεστής συσχέτισης των Χ και Υ Τότε η Ζ έχει την πεπερασμένη μέση τιμή αν και μόνο αν

Δεσμευμένη Μέση Τιμή Έστω Χ και Υ συνεχείς τυχαίες μεταβλητές με από κοινού πυκνότητα την f, και ας υποθέσουμε ότι η Υ έχει πεπερασμένη μέση τιμή. Η δεσμευμένη πυκνότητα της Υ, δεδομένου ότι Χ = x ορίζεται μέσω της Για κάθε x που ικανοποιεί την 0 < fx (x) < ∞ η συνάρτηση f YIX (y/x), -∞ < y < ∞ είναι συνάρτηση πυκνότητας. Επόμενος μιλάμε για διαφορετικές ροπές αυτής της πυκνότητας. Ο μέσος της λέγεται δεσμευμένη μέση τιμή της Υ, δεδομένου ότι Χ = x και συμβολίζεται με ή xI Άρα, Όταν 0 < fx (x) < ∞

Δεσμευμένη Μέση Τιμή Ορίζουμε=0 αλλιώς. Στην στατιστική η συνάρτηση m που ορίζεται από την m(x) = λέγεται συνάρτηση παλινδρόμησης της Υ επί της Χ.