Entropia condizionale

Questa pagina sull'argomento Matematica sembra trattare argomenti unificabili alla pagina Entropia (teoria dell'informazione).

Nella teoria dell'informazione l'entropia condizionale è una misura della quantità di informazione necessaria per descrivere il valore di una variabile aleatoria ${\displaystyle \mathrm {X} }$ noto il valore di un'altra variabile aleatoria ${\displaystyle Y}$. Nella trasmissione attraverso un canale di comunicazione rappresenta la quantità rimanente di incertezza del valore all'ingresso al canale dopo che è stato osservato il valore di uscita. L'entropia di ${\displaystyle X}$ condizionata da ${\displaystyle Y}$ si definisce come ${\displaystyle H(X|Y)}$.

Se ${\displaystyle H(X|Y=y_{k})}$ è l'entropia della variabile ${\displaystyle X}$ condizionata dalla variabile ${\displaystyle Y}$ che assume un certo valore ${\displaystyle y_{k}}$, allora ${\displaystyle H(X|Y)}$ è il risultato della media pesata di ${\displaystyle H(X|Y=y_{k})}$ su tutti i possibili valori ${\displaystyle y_{k}}$ che la ${\displaystyle Y}$ può assumere.

Dato un alfabeto di simboli in ingresso ${\displaystyle X={\{x_{0},x_{1},...,x_{J-1}}\}}$, un alfabeto di simboli in uscita ${\displaystyle Y={\{y_{0},y_{1},...y_{K-1}}\}}$ con probabilità ${\displaystyle p(y_{0}),...,p(y_{K-1})}$ l'entropia condizionale si definisce come:

${\displaystyle H(X|Y)}$ ${\displaystyle \equiv }$ ${\displaystyle \sum _{k=0}^{K-1}H(X|Y=y_{k})p(y_{k})}$

${\displaystyle =\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_{j}|y_{k})p(y_{k})log_{2}\left[{\frac {1}{p(x_{j}|y_{k})}}\right]}$

${\displaystyle =\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_{j},y_{k})log_{2}\left[{\frac {1}{p(x_{j}|y_{k})}}\right]}$

dove nell'ultima espressione si è utilizzata la relazione tra probabilità congiunta e condizionata: ${\displaystyle p(x_{j},y_{k})=p(x_{j}|y_{k})p(y_{k})}$.

• Simon Haykin, Michael Moher, Communication Systems, 2001, ISBN 0-471-17869-1.