Informācijas entropijas jēdziens ietver vērtības varbūtības masas funkcijas negatīvo logaritmu. Tādējādi, ja datu avotam ir vērtība ar mazāku varbūtību (t.i., kad notiek notikums ar zemu varbūtību), notikums nes vairāk "informācijas" ("pārsteigums") nekā tad, ja avota datiem ir vērtība ar lielāku varbūtību..
Informācijas apjoms, ko pārraida katrs notikums, kas definēts šādā veidā, kļūst par nejaušu lielumu, kura paredzamā vērtība ir informācijas entropija. Parasti entropija attiecas uz traucējumiem vai nenoteiktību, un tās definīcija, ko izmanto informācijas teorijā, ir tieši līdzīga tai, ko izmanto statistikas termodinamikā. IE jēdzienu ieviesa Klods Šenons savā 1948. gada rakstā "Komunikācijas matemātiskā teorija". Šeit cēlies termins "Šenona informatīvā entropija".
Definīcija un sistēma
Datu pārraides sistēmas pamatmodelis sastāv no trim elementiem: datu avota, sakaru kanāla un uztvērēja,un, kā saka Šenons, "sakaru pamatproblēma" ir tāda, ka uztvērējs var noteikt, kādus datus ģenerēja avots, pamatojoties uz signālu, ko tas saņem pa kanālu. Entropija nodrošina absolūtu ierobežojumu saspiesto avota datu iespējami īsākam vidējam bezzudumu kodēšanas garumam. Ja avota entropija ir mazāka par sakaru kanāla joslas platumu, tā ģenerētos datus var droši pārsūtīt uz uztvērēju (vismaz teorētiski, iespējams, neņemot vērā dažus praktiskus apsvērumus, piemēram, datu pārsūtīšanai nepieciešamās sistēmas sarežģītību un laiks, kas var būt nepieciešams datu pārsūtīšanai).
Informācijas entropiju parasti mēra bitos (alternatīvi saukti par "shannons") vai dažreiz "dabiskajās vienībās" (nats) vai decimāldaļās (sauktas par "dits", "bans" vai "hartleys"). Mērvienība ir atkarīga no logaritma bāzes, ko izmanto entropijas noteikšanai.
Īpašības un logaritms
Logacionārais varbūtības sadalījums ir noderīgs kā entropijas mērs, jo tas ir aditīvs neatkarīgiem avotiem. Piemēram, monētas godīgas likmes entropija ir 1 bits, bet m tilpumu entropija ir m biti. Vienkāršā attēlojumā log2(n) biti ir nepieciešami, lai attēlotu mainīgo, kas var iegūt vienu no n vērtībām, ja n ir 2 pakāpiens. Ja šīs vērtības ir vienādas, entropija (bitos) ir vienāds ar šo skaitli. Ja viena no vērtībām ir ticamāka nekā pārējās, novērojums, ka tā irnozīme, ir mazāk informatīvs nekā tad, ja rastos kāds mazāk vispārīgs rezultāts. Un otrādi, retāki notikumi sniedz papildu izsekošanas informāciju.
Tā kā mazāk ticamu notikumu novērošana notiek retāk, nav nekā kopīga, ka entropija (tiek uzskatīta par vidējo informāciju), kas iegūta no nevienmērīgi sadalītiem datiem, vienmēr ir mazāka vai vienāda ar log2(n). Entropija ir nulle, ja ir definēts viens rezultāts.
Šenona informācijas entropija kvantificē šos apsvērumus, ja ir zināms pamatā esošo datu varbūtības sadalījums. Novēroto notikumu nozīmei (ziņu nozīmei) entropijas definīcijā nav nozīmes. Pēdējā ņem vērā tikai iespējamību redzēt konkrētu notikumu, tāpēc tajā ietvertā informācija ir dati par pamatā esošo iespēju sadalījumu, nevis par pašu notikumu nozīmi. Informācijas entropijas īpašības paliek tādas pašas, kā aprakstīts iepriekš.
Informācijas teorija
Informācijas teorijas pamatideja ir tāda, ka jo vairāk cilvēks zina par tēmu, jo mazāk informācijas par to var iegūt. Ja notikums ir ļoti iespējams, tas nav pārsteidzoši, kad tas notiek, un tāpēc tas sniedz maz jaunas informācijas. Un otrādi, ja notikums bija maz ticams, tas bija daudz informatīvāks, ka notikums notika. Tāpēc lietderīgā slodze ir notikuma apgrieztās varbūtības (1/p) pieaugoša funkcija.
Tagad, ja notiek vairāk notikumu, entropijamēra vidējo informācijas saturu, ko varat sagaidīt, ja notiek kāds no notikumiem. Tas nozīmē, ka kauliņa mešanai ir lielāka entropija nekā monētas mešanai, jo katra kristāla iznākuma iespējamība ir mazāka nekā katras monētas iznākuma iespējamība.
Funkcijas
Tādējādi entropija ir stāvokļa neparedzamības mērs vai, kas ir tas pats, tā vidējā informācijas satura rādītājs. Lai iegūtu intuitīvu izpratni par šiem terminiem, apsveriet politiskās aptaujas piemēru. Parasti šādas aptaujas notiek tāpēc, ka, piemēram, vēlēšanu rezultāti vēl nav zināmi.
Proti, aptaujas rezultāti ir salīdzinoši neprognozējami, un faktiski tās veikšana un datu pārbaude sniedz kādu jaunu informāciju; tie ir tikai dažādi veidi, kā pateikt, ka aptaujas rezultātu iepriekšējā entropija ir liela.
Tagad apsveriet gadījumu, kad tā pati aptauja tiek veikta otro reizi neilgi pēc pirmās. Tā kā pirmās aptaujas rezultāts jau ir zināms, tad otrās aptaujas rezultātus var labi prognozēt un rezultātos nevajadzētu saturēt daudz jaunas informācijas; šajā gadījumā otrās aptaujas rezultāta a priori entropija ir maza salīdzinājumā ar pirmo.
Monētu mešana
Tagad apsveriet piemēru par monētas mešanu. Pieņemot, ka astes varbūtība ir tāda pati kā galvas varbūtība, monētas mešanas entropija ir ļoti augsta, jo tas ir savdabīgs sistēmas informatīvās entropijas piemērs.
Tas ir tāpēc, kaka nav iespējams paredzēt, ka monētas iznākums tiks izmests pirms laika: ja mums ir jāizvēlas, vislabāk, ko varam darīt, ir paredzēt, ka monēta nolaidīsies uz astēm, un šis pareģojums būs pareizs ar varbūtību 1/2. Šādai monētas mešanai ir viena bita entropija, jo ir divi iespējamie iznākumi, kas notiek ar vienādu varbūtību, un faktiskā iznākuma izpēte satur vienu informācijas bitu.
Gluži pretēji, monētas mešanai, izmantojot abas puses ar astēm un bez galvām, entropija ir nulle, jo monēta vienmēr piezemēsies uz šīs zīmes un iznākumu var lieliski paredzēt.
Secinājums
Ja saspiešanas shēma ir bezzudumu, tas nozīmē, ka vienmēr varat atgūt visu sākotnējo ziņojumu, to atspiežot, tad saspiestajam ziņojumam ir tāds pats informācijas apjoms kā oriģinālam, taču tas tiek pārsūtīts ar mazāku rakstzīmju skaitu. Tas nozīmē, ka tajā ir vairāk informācijas vai lielāka entropija uz vienu rakstzīmi. Tas nozīmē, ka saspiestajam ziņojumam ir mazāka dublēšanās.
Rupji runājot, Šenona avota koda kodēšanas teorēma nosaka, ka bezzudumu saspiešanas shēma nevar samazināt ziņojumus vidēji tā, lai katrā ziņojuma bitā būtu vairāk par vienu informācijas bitu, taču var sasniegt jebkuru vērtību, kas ir mazāka par vienu informācijas bitu bitā.. ziņojumus, izmantojot atbilstošu kodēšanas shēmu. Ziņojuma entropija bitos, kas reizināti ar tā garumu, nosaka, cik daudz vispārīgas informācijas tajā ir.
