Misura dell’informazione

In una comunicazione, che avviene attraverso un dato alfabeto di simboli, l’informazione viene associata a ciascun simbolo trasmesso: essa è la riduzione di incertezza che si poteva avere a priori sul simbolo trasmesso. In particolare, l’informazione collegata ad un simbolo è definita come
-log(2)Pi,
dove Pi è la probabilità di trasmissione di quel simbolo. La quantità di informazione associata ad un simbolo è misurata in bit. La quantità di informazione così definita è una variabile aleatoria discreta, il cui valor medio, tipicamente riferito alla sorgente di simboli, è detto entropia della sorgente, misurata in bit/simbolo. La velocità di informazione di una sorgente, che non coincide con la frequenza di emissione dei simboli, dato che non è detto che ogni simbolo trasporti un bit di informazione utile, è il prodotto dell’entropia dei simboli emessi dalla sorgente per la frequenza di emissione di tali simboli (velocità di segnalazione).
Nella seconda metà degli anni ’40, Claude E. Shannon e Warren Weaver, due tecnici della Bell Instruments, elaborano e pubblicano una teoria matematica della comunicazione per far fronte all’esigenza di descrivere, ottimizzare e costruire sistemi di trasmissione di messaggi sempre più veloci e affidabili. Il termine informazione, in questa teoria, viene usato in un’accezione speciale, da non doversi confondere con quella corrente o, molto volgarmente, con il termine significato. Nella teoria delle comunicazioni, il termine informazione non riguarda tanto ciò che si dice effettivamente, quanto ciò che si potrebbe dire; si tratta di una misura della libertà di scelta che si ha quando si sceglie un messaggio. Se ci si trova di fronte ad una situazione molto elementare, nella quale si deve optare per uno fra due messaggi alternativi, allora arbitrariamente si dice che l’informazione, in relazione a questa situazione, equivale ad una unità. Si noti che è ingannevole, anche se spesso conveniente, dire che l’uno o l’altro messaggio trasferisce una unità di informazione. Il concetto di informazione non si applica ai messaggi particolari, come vorrebbe il concetto di significato, ma piuttosto all’informazione intesa come un tutto, l’unità di informazione, stando ad indicare che in questa situazione si ha una quantità di libertà nella scelta del messaggio che è conveniente considerare come una quantità standard o unitaria. Per maggior chiarezza, la quantità di informazione è determinata, nei casi più semplici, dal logaritmo del numero di scelte possibili. Essendo conveniente usare logaritmi in base 2, piuttosto che il logaritmo comune o di Brigg in base 10, quando vi sono solo due alternative, è proporzionale al logaritmo di 2 in base 2. Ma questo equivale ad un’unità; cosicché, una situazione a due alternative è caratterizzata da un’unità di informazione, come si è precedentemente affermato. Questa unità di informazione è detta bit, termine proposto da John W. Tukey, in luogo dell’espressione completa binary digit, cifra binaria. Quando i numeri sono espressi nel sistema binario, vi sono solamente due cifre, precisamente 0 e 1, proprio come dieci cifre, da 0 a 9, vengono usate nel sistema decimale che impiega 10 come base. Zero e uno possono venir presi simbolicamente per rappresentare due qualsiasi alternative, come si è notato prima; è naturale, pertanto, associare la cifra binaria, o bit, con la situazione a due alternative che possiede informazione unitaria. Se si hanno a disposizione, poniamo, sedici messaggi alternativi tra i quali si è completamente liberi di scegliere, allora, dato che 16 = 24, cosicché log216 = 4, si dice che questa situazione è caratterizzata da 4 bit di informazione.

Ritorna a La teoria dell´informazione
Ritorna a Capitolo 1 La comunicazione: fondamenti