Info Mutua - Ejercicio 2.23

Info Mutua - Ejercicio 2.23

de Diego Martin Celery Lopez -
Número de respuestas: 3

Hola.  Me pueden dar una idea de como resolver el ejercicio? 

"Consider a sequence of n binary random variables

X1,X2, . . . ,Xn . Each sequence with an even number of 1’s has probability
2−(n−1) and each sequence with an odd number of 1’s has probability 0. Find the
mutual informations
I(X1;X2), I(X2;X3|X1), . . . , I(Xn−1;Xn|X1, . . . ,Xn−2)."


Vi algo donde dice que considere las secuencias de v.a. X1,X2,...,Xn. Cada secuencia de largo n con un cantidad par de 1's y misma probabilidad 1/[2 elevado (n-1)], n-1 o menos de esas variables son independientes. Esto por que sería?

Luego:
Para k <= n-1,

I(Xk-1;Xk | X1,X2,....,Xk-2) = 0 

Luego dice:
I(Xn−1;Xn|X1,X2, . . . ,Xn−2) = H(Xn|X1,X2, . . . ,Xn−2) − H(Xn|X1,X2, . . . ,Xn−1)= 1 − 0 = 1 bit.

Por que uno de los términos da 1? ( H(Xn|X1,X2, . . . ,Xn−2) )




En respuesta a Diego Martin Celery Lopez

Re: Info Mutua - Ejercicio 2.23

de Alvaro Martin -
Hola.
Dados n-2 símbolos cualquiera,  x_1 \ldots x_{n-2} , hay 4 secuencias de largo n que tienen  X_1 \ldots X_{n-2} = x_1 \ldots x_{n-2} :

0: x_1 \ldots x_{n-2} 0 0

1: x_1 \ldots x_{n-2} 0 1

2: x_1 \ldots x_{n-2} 1 0

3: x_1 \ldots x_{n-2} 1 1


De estas 4 secuencias, dos de ellas tienen probabilidad 2^{-(n-1)} cada una, y las otras dos tienen probabilidad 0. Por lo tanto, P(X_1 \ldots X_{n-2} = x_1 \ldots x_{n-2}) = 2^{-(n-2)} para toda secuencia de largo n-2,  x_1 \ldots x_{n-2} .

Dependiendo de la paridad de x_1 \ldots x_{n-2}, las dos secuencias con probabilidad positiva pueden ser la 0 y la 4, o la 1 y la 2. En cualquier caso, una de las secuencias tiene x_n=0 y la otra tiene x_n=1, de modo que P(X_1 \ldots X_{n-2} = x_1 \ldots x_{n-2}, X_n=0) = P(X_1 \ldots X_{n-2} = x_1 \ldots x_{n-2}, X_n=1)= 2^{-(n-1)}. Por lo tanto,  P(X_n=0 | X_1 \ldots X_{n-2} = x_1 \ldots x_{n-2}) = 2^{-(n-1)}/ 2^{-(n-2)} = 1/2 .
De ahí se concluye que  H(X_n| X_1 \ldots X_{n-2} = x_1 \ldots x_{n-2}) = 1 para toda secuencia de largo n-2,  x_1 \ldots x_{n-2} y por lo tanto  H(X_n| X_1 \ldots X_{n-2}) = 1 .

Lo otros casos se manejan de forma parecida.
Saludos,
Álvaro
En respuesta a Alvaro Martin

Re: Info Mutua - Ejercicio 2.23

de Diego Martin Celery Lopez -
Perdón la pregunta, pero no estoy captando por que P(Xn=0|X1…Xn−2=x1…xn−2)=2−(n−1) / 2−(n−2) ?