Šenono formulė entropijai skaičiuoti
Gal kas žinote Šenono (C. Shannon) formulę entropijai skaičiuoti?
1.3. Informacijos kiekis Gerai žinoma, kad informacija perduodama signalais. Tačiau kiek jos perduodama? Norint atsakyti į šį klausimą, reikia apibūdinti pačią informacijos kiekio sąvoką. Šiuolaikinės informacijos teorijos pradininkas Klodas Šenonas (K. Shannon) pasiūlė informacijos kiekį apibūdinti pašalinto neapi-brėžtumo kiekiu. Jeigu prieš kokį nors sąlyginį eksperimentą pradinis neapibrėžtumas yra H1, o po eksperimento liekamasis neapibrėžtumas yra H2, tai eksperimento metu gautas informacijos kiekis yra I = H1 - H2 . (1.7) Neapibrėžtumas, kurio tarptautinis sinonimas yra entropija, kaip sąvoka būdinga tik netiksliai apibūdintai situacijai. Pavyzdžiui, jeigu kažkoks įvykis gali įvykti, bet gali ir neįvykti, tai tiesiogiai abu išsakyti teiginiai vertinami tikimybėmis. Tikimybę, kad įvykis įvyks pažymėjus p, o tikimybę kad jis neįvyks – 1-p, vidutinė entropija užrašoma taip: H= - p log p - (1-p) log (1-p). (1.8) Bendriau, kai kalbama apie atsitiktinį dydį, kurio galimos reikšmės charakterizuojamos tikimybių pasiskirstymo dėsniu p1, p2,…, pn, tai vidutinė entropija yra lygi H = - pi log pi. (1.9) Nesunku įsitikinti, kad didžiausia entropija yra tada, kai visos tikimybės vienodos – pi = 1/n. Tokiu atveju entropija lygi Hmax = log n. Perduodant informaciją be klaidų arba kai eksperimento metu neapibrėžtumas visiškai pašalinamas (H2 = 0), tai pagal (1.7) formulę informacijos kiekis išreiškiamas taip pat kaip entropija: I = - pi log pi. (1.10) Kai perduodant informaciją įsivelia klaidų, H2 0 ir pradinis neapibrėžtumas tik sumažinamas, bet iki galo nepašalinamas. Todėl perduodant signalus kanalais su triukšmais, perduodama mažiau informacijos negu kanalais be triukšmų. Informacijos kiekio, apibūdinto (1.7), (1.10) formulėmis, vienetas priklauso nuo pasirinkto logaritmo pagrindo. Kai logaritmo pagrindas yra 2, informacijos vienetas yra bitas. Jeigu logaritmo pagrindas 8, tai informacijos vienetas yra baitas. Aštuoni bitai atitinka vieną infor-macijos baitą. Tarkime, kad iš informacijos šaltinio gaunami pranešimai perteikiami simboliais c1, c2,…,cn (kaip rašytinis tekstas – raidėmis). Jeigu tų simbolių pasikartojimo dažniai arba, kitaip tariant, jų tikimybės yra p1, p2,…, pn, tai kiekvienas simbolis vidutiniškai perneša (1.10) formule išreikštą informacijos kiekį. Didžiausią informacijos kiekį kiekvienas simbolis perneša, kai visų jų tikimybės yra vienodos – pi = 1/n.Tada vienas simbolis perneša Imax= log n informacijos. Informacijos kiekis, kuris tenka pranešimo simboliams, yra siejamas su šaltinio kodavimu. Kai tikimybės p1, p2,…, pn viena nuo kitos labai skiriasi, galima teigti, kad toks šaltinis užkoduotas neracionaliai. Kodavimo racionalumui įvertinti naudojamas rodiklis, vadinamas perteklumu: r = 1 – H/Hmax = 1– log(1/n) : pi log pi. (1.11) Kai šaltinio perteklumas yra didelis, tai jį galima sumažinti perkoduojant pranešimą taip, kad visi simboliai pasikartotų bent apytikriai vienodai dažnai. Pavyzdžiui, įrašant informaciją į kom-piuterių kaupiklius dažnai pradiniai duomenys, tekstai ar dokumentai specialiai suspaudžiami specialiomis archyvavimo programomis. Tarkime, kad šaltinis per laiko vienetą sukuria v simbolių, o kiekvienam simboliui tenkantis informacijos kiekis išreiškiamas (1.10) formule. Tai reiškia, kad šaltinis per laiko vienetą sukuria informacijos kiekį I’= -v pi log pi, (1.12) kuris vadinamas informacijos šaltinio našumu. Įvestos charakteristikos taikomos ir tolydinių procesų s( t ) infor-macinėms savybėms nusakyti. Tolydinio signalo šaltinio entropija išreiškiama formule h = - log [w(x)] w(x) dx, (1.13) čia w(x) – signalo s 
reikšmių pasiskirstymo tikimybių tankio funkcija. Informacijos, gautos perduodant vieną signalo s atskaitą, kiekis išreiškiamas formule, analogiška (1.7) I = h1 - h2 . (1.14) Skirtingai nuo diskrečių signalų, tolydinius signalus perduoti neiškraipytus neįmanoma, nes triukšmai, nors ir labai maži, visada yra, o ir signalų atkūrimo įtaisų paklaidos gali būti inter-pretuojamos kaip triukšmai. Tarkime, kad signalas s ir trukdis n yra normalieji procesai. Jų tikimybių tankio funkcijos yra Gauso funkcija, o dispersijos atitinkamai s2= S ir n2=N. Apskaičiavus pagal (1.13) formulę gaunama: h1 = log , h2 = log . (1.15) Toliau pagal (1.14) formulę apskaičiuojamas informacijos kiekis I = log . (1.16) Kaip matyti tolydinio signalo pernešamas informacijos kiekis priklauso tik nuo signalo ir trukdžio dispersijų santykio. Ši išvada svarbi tuo, kad ji teoriškai pagrindžia signalo ir triukšmo santykio reikšmę. Literaturos šaltinis: A. KAJACKAS “RYŠIŲ TEORIJOS PAGRINDAI”
iskraipe formules ir raides… 
jei ka mestelk e-mail’a atsiusiu visa knyga
tpfuj atmenu dar sitas nesamones 
kaip pernay metays nusirasinejau, bet jauciu netrukus vel biskuty reykes prisimint bo arteja galas