Uvod u teoriju informacija

Slides:



Advertisements
Παρόμοιες παρουσιάσεις
KRUŽNICA I KRUG VJEŽBA ZA ISPIT ZNANJA.
Advertisements

Pritisak vazduha Vazduh je smeša gasova koja sadrži 80% azota, 18% kiseonika i 2% ugljen dioksida, drugih gasova i vodene pare. vazdušni (atmosferski)
7 SILA TRENJA.
FILOZOFSKE OSNOVE VEŠTAČKE INTELIGENCIJE
Ogledni čas iz matematike
MATEMATIKA NA ŠKOLSKOM IGRALIŠTU
UZGON Ana Gregorina.
PTP – Vježba za 2. kolokvij Odabir vrste i redoslijeda operacija
INDINŽ Z – Vježba 2 Odabir vrste i redoslijeda operacija
Skladištenje toplotne energije
Van der Valsova jednačina
BROJ π Izradio: Tomislav Svalina, 7. razred, šk. god /2016.
NASLOV TEME: OPTICKE OSOBINE KRIVIH DRUGOG REDA
Digitalna logika i minimizacija logičkih funkcija
Čvrstih tela i tečnosti
18.Основне одлике синхроних машина. Начини рада синхроног генератора
Merenja u hidrotehnici
RAD I SNAGA ELEKTRIČNE STRUJE
POLINOMI :-) III℠, X Силвија Мијатовић.
VREMENSKI ODZIVI SISTEMA
Direktna kontrola momenta DTC (Direct Torque Control)
Aminokiseline, peptidi, proteini
Kontrola devijacije astronomskim opažanjima
Kako određujemo gustoću
SPECIJALNE ELEKTRIČNE INSTALACIJE
PRIJENOS TOPLINE Izv. prof. dr. sc. Rajka Jurdana Šepić FIZIKA 1.
Vijetove formule. Rastavljanje kvadratnog trinoma na linearne činioce
TROUGΔO.
Vijetove formule. Rastavljanje kvadratnog trinoma na linearne činioce
JEDNAČINA PRAVE Begzada Kišić.
Podsetnik.
Rezultati vežbe VII Test sa patuljastim mutantima graška
jedan zanimljiv zadatak
II. MEĐUDJELOVANJE TIJELA
KRETANJE TELA U SREDINI SA PRIGUŠENJEM – PROBLEM KIŠNE KAPI
PONAVLJANJE.
KALIBRACIJA SONDE ZA PRITISAK VEŽBA 2.1
MATEMATIČKI MODELI EFIKASNOSTI
Dimenziona analiza i teorija sličnosti
Normalna raspodela.
Strujanje i zakon održanja energije
Električni otpor Električna struja.
Izradila: Ana-Felicia Barbarić
Polifazna kola Polifazna kola – skup električnih kola napajanih iz jednog izvora i vezanih pomoću više od dva čvora, kod kojih je svako kolo pod dejstvom.
Hemijska termodinamika
Ivana Rangelov, Svetlana Nestorović, Desimir Marković
Analiza deponovane energije kosmičkih miona u NaI(Tl) detektoru
Primjena Pitagorina poučka na kvadrat i pravokutnik
SREDIŠNJI I OBODNI KUT.
ARHIMEDOVA PRIČA O KRUNI
4. Direktno i inverzno polarisani PN spoja
10. PLAN POMAKA I METODA SUPERPOZICIJE
U Kristovoj pouci o rasipnom sinu (Lk 15,11-32)
Dan broja pi Ena Kuliš 1.e.
POUZDANOST TEHNIČKIH SUSTAVA
ANALIZA GREŠAKAU MJERENJU UPOREDNA ANALIZA REZULTATA Ana Đačić 62/07
DISPERZIJA ( raspršenje, rasap )
Unutarnja energija Matej Vugrinec 7.d.
N. Zorić1*, A. Šantić1, V. Ličina1, D. Gracin1
Pirotehnika MOLIMO oprez
Knjiga Ljetopisa דברי הימים dibre hajjamîm
Ustroj i poruka novozavjetnih tekstova
Vjera u Bibliji i svećenik danas
Balanced scorecard slide 1
Kako izmjeriti opseg kruga?
DAN BROJA π.
-je elektromagnetsko zračenje koje je vidljivo ljudskom oku
Tehnička kultura 8, M.Cvijetinović i S. Ljubović
PONOVIMO Što su svjetlosni izvori? Kako ih dijelimo?
Petrov nov početak u Galileji
Μεταγράφημα παρουσίασης:

Uvod u teoriju informacija Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

Def Informacija je saznanje preneto kroz prostor-vreme. Signal Signal Informacija je saznanje preneto kroz prostor-vreme. Signal je fizički nosilac informacije. Informacija - Signal Def Uvod u teoriju unformacija

Def Druge definicije informacije: Detaljnije... Druge definicije informacije: Poruka koju je primalac prihvatio i razumeo Podatak: činjenica na osnovu koje je moguće doneti zaključak; "statistički podatak" Znanje prikupljeno studiranjem, iskustvom ili podučavanjem Mentalni stimulans Značenje Znanje Uvid Definicije informacije Def Uvod u teoriju unformacija

Def ... Denuncijacija Vest Detaljnije... ... Denuncijacija Vest Saopštenje vrha partije koje se ima pročitati na svim partijskim sastancima (obično o “bezbedonosnim pitanjima”) Predanje Prezentacija Ono što auditor prikupi o organizaciji (dovoljno, kompetentno, relevantno i korisno) Definicije informacije Def Uvod u teoriju unformacija

Def ... Rezultat procesiranja i organizacije činjenica čime Detaljnije... ... Rezultat procesiranja i organizacije činjenica čime se povećava količina znanja onoga ko ih prima Mogućnost zaključivanja o uzroku posmatranjem posledice (vatra, dim) Definicije informacije Def Uvod u teoriju unformacija

Šta je informacija? “Bilo kakva komunikacija ili predstava znanja u formi činjenica, podataka, mišljenja na bilo kom medijumu i u bilo kom obliku, uključujući tekstualni, numerički, grafički, kartografski, narativni ili audiovizualni” Numerička mera smanjenja neizvesnosti nakon prelaska nekog sistema iz jednog stanja u drugo Najkraći zapis koji treba dati Turingovoj mašini nakon čega bi ona mogla da reprodukuje datu sekvencu simbola Definicije informacije Def Uvod u teoriju unformacija

Def Informacija je saznanje preneto kroz prostor-vreme. Informacija Uvod u teoriju unformacija

Šta je saznanje? Pod rečju “saznanje” možemo smatrati postupak uklanjanja nedoumice o stvarnom stanju nekog sistema Drugim rečima, ono što saznajemo jeste istina koja nam je pre saznanja bila nedostupna Saznanje se, u vidu informacije, može dalje preneti, tako da korisnik informacije može postati njen novi izvor Saznanje Def Uvod u teoriju unformacija

Uvod u teoriju informacija Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

Def Teorija informacija bavi se: Definicijom mere količine informacija Proučavanjem izvora informacija Proučavanjem prenosnog kanala Analizom granica koje optimalni sistem može dostići Konstrukcijom prenosnog sistema što boljih performansi Predmet proučavanja Def Uvod u teoriju unformacija

Def Pored toga, teorija informacija bavi se i: Analizom mogućnosti zaštite tajnosti informacija Analizom mogućnosti skladištenja informacija Analizom sistema sa više korisnika koji međusobno sarađuju ili ne sarađuju Predmet proučavanja Def Uvod u teoriju unformacija

Claude Elwood Shannon (1916 – 2001) Communication Engineering & Signal Processing Poznate ličnosti Claude Elwood Shannon (1916 – 2001) Američki elektroinženjer i matematičar, poznat kao “otac teorije informacija”, ali i teorije projektivanja digitalnih elektronskih kola Mala digresija o Šenonu

Bavio se on i drugim stvarima... Communication Engineering & Signal Processing Poznate ličnosti Bavio se on i drugim stvarima... Mala digresija o Šenonu

Početak teorije informacija Sve tehničke komunikacije u suštini su diskretne – teorema o uzorkovanju Izvor informacija generiše stohastički proces, pa se prenos informacija mora analizirati alatima teorije verovatnoće Postoji mogućnost da se prenos informacija značajno ubrza bez oštećenja, bez obzira na kanal Postoji mogućnost da se kroz dati kanal prenos informacija obavi sa proizvoljno malom verovatnoćom greške – kapacitet kanala Početak... Def Uvod u teoriju unformacija

Šenonov model komunikacionog sistema Smetnje IZVOR KODER IZVORA ZAŠTITNI KODER ZAŠTITNI DEKODER DEKODER IZVORA KORISNIK + Ekvivalentni izvor Ekvivalentni korisnik Kanal bez smetnji Prenosni medijum Grb teoretičara informacija... Def Uvod u teoriju unformacija

Uvod u teoriju informacija Na današnjem času… Šta je zapravo informacija? Čime se bavi teorija informacija? Kako meriti količinu informacija? Teorija informacija

Primer Manje verovatni događaj nosi veću količinu informacija. Mera količine informacija 27. januara zagrmelo je nad Beogradom 28. juna zagrmelo je nad Beogradom Manje verovatni događaj nosi veću količinu informacija. PRIMER Primer Uvod u teoriju unformacija

Primer Informacija koju pružaju dva nezavisna događaja jednaka je Mera količine informacija Prvi test je sledeće nedelje. Na FTN je zabranjeno pušenje. Informacija koju pružaju dva nezavisna događaja jednaka je sumi informacija koju pruža svaki od njih pojedinačno. PRIMER Primer Uvod u teoriju unformacija

Smanjivanjem P[a], I(a) raste. Verovatnoća dva nezavisna događaja Aksiome 1 I 2 zadovoljava sledeća definicija: I(a) = -log(P[a]) Smanjivanjem P[a], I(a) raste. Verovatnoća dva nezavisna događaja je P[a,b]=P[a]*P[b]. Matematička definicija Formula Uvod u teoriju unformacija

Baza logaritama u definiciji I(a) samo menja skalu Hartley 10 Natural Unit - NAT e Binary Digit - BIT 2 Matematička definicija Formula Uvod u teoriju unformacija

Primer: 1 ДИНАР Primer: Ishod eksperimenta sa jednim novčićem nosi 1 bit informacije. Matematička definicija Primer Uvod u teoriju unformacija

Objašnjenje... Usvojena definicija ne vodi računa o značenju koje neka informacija ima za korisnika usled njegovih predznanja (informacija koje je uskladištio pre prijema informacije o događaju a). S druge strane, ona je osnovni koncept digitalnih komunikacija. Definicije informacije Def Uvod u teoriju unformacija

Def Postoje i druge definicije, na primer: Fišerova informacija KOMENTAR Postoje i druge definicije, na primer: Fišerova informacija Varijansa nezavisnih događaja ima osobinu da se sabira. f(X,θ) predstavlja gustinu raspodele slučajne promenljive X sa nepoznatim parametrom θ koji se procenjuje. Definicije informacije Def Uvod u teoriju unformacija

Uvod u teoriju informacija Pauza! Predavanja: Prof. dr Vojin Šenk Animacija Branislav Popović Teorija informacija