Práctico 2 - Ejercicio 4, parte a)

Práctico 2 - Ejercicio 4, parte a)

de Santiago Agustín Silveira Pérez -
Número de respuestas: 4

Hola. No se me ocurre cómo encontrar la entropía de la parte a)

foto ejercicio 4

Lo que hice fue hallar la entropía H(X_1) dado que dice que es uniforme en {0,1}. Luego, pensé en relacionar esa entropía con la de H(X_n) teniendo en cuenta que el proceso es estacionario (se ve en la matriz), pero no encuentro la forma. Si me pueden dar una pista de cómo encontrarla lo agradecería.

Salduos.

Santiago.

En respuesta a Santiago Agustín Silveira Pérez

Re: Práctico 2 - Ejercicio 4, parte a)

de Maximo Pirri -
Buenas,
El camino que tomaste es bueno y la idea del ejercicio va por ahí. Como bien dijiste, el proceso es estacionario. ¿Qué implica eso en la distribución de X_n? Tal vez para responder esta pregunta te ayude ver que la distribución de X_2 es la de X_1 multiplicada por la matriz. De la misma forma, la distribución de X_3 es la de X_1 multiplicada por la matriz y este comportamiento se repite también con X_n y X_{n-1}. Una vez conocida la distribución de X_n podes calcular su entropía.
Sin hacer más operaciones de las que ya hiciste podrías también ver qué implica que el proceso sea estacionario para H(X_2), H(X_3), .... y H(X_n).
Espero haber sido de ayuda.

Saludos.
En respuesta a Maximo Pirri

Re: Práctico 2 - Ejercicio 4, parte a)

de Nicolas Aguilera Leal -
Hola,
No estoy logrando calcular la tasa de entropía (Parte b). Estoy intentando usar la definición H(X) = \lim_{n\rightarrow \infty} H(X_1,...,X_n) pero no sé cómo calcular H(X_1,...,X_n).

Por la parte (a) tengo que el proceso es estacionario y entonces la distribución de X_n es igual a la de X_1, que es \pi_1=(1/2,1/2). También sé que P(X_1=x_1,...,X_n=x_n) = P(X_1=x_1)P(X_2=x_2 | X_1 = x_1)...P(X_n=x_n | X_{n-1} = x_{n-1}) = P(X_1=x_1)P(X_2=x_2|X_1=x_1)^{n-1} porque el proceso es de Markov e invariante en el tiempo.
Lo que no entiendo es cómo hacer la cuenta H(X_1,...,X_n).
En respuesta a Nicolas Aguilera Leal

Re: Práctico 2 - Ejercicio 4, parte a)

de Nicolas Aguilera Leal -
La duda que me queda sobre la cuenta es, que como tengo n variables X_i, tendría que hacer variar cada una en su dominio, y no tengo bien claro cómo hacer eso.

Haciendo algunas cuentas más llego a que H(X_1,...,X_n) = -\sum_{x_1 \in \mathcal{X}} ... \sum_{x_n \in \mathcal{X}} P(X_1=x_1 ... X_n=x_n) log\left(P(X_1=x_1 ... X_n=x_n)\right) = -\sum_{i \in \mathcal{X}}\sum_{j \in \mathcal{X}} P(X_1=i)P(X_2=j | X_1=i)^{n-1} log\left(P(X_1=i)P(X_2=j | X_1=i)^{n-1}\right) = -\sum_{i \in \mathcal{X}}\sum_{j \in \mathcal{X}} \pi_i P_{ij}^{n-1} log\left(\pi_i P_{ij}^{n-1}\right)

Por otra parte, ahora veo que hay un resultado del teórico que dice lo siguiente: Para un proceso de Markov estacionario con distribución estacionaria \pi, se cumple que H(\mathcal{X}) = H'(\mathcal{X}) = -\sum_{i \in \mathcal{X}}\sum_{j \in \mathcal{X}} \pi_i P_{ij} log\left(P_{ij}\right)

Entiendo por qué H'(\mathcal{X}) = \lim_{n \rightarrow \infty} H(X_n|X_{n-1}...X_1) = \lim_{n \rightarrow \infty} H(X_n|X_{n-1}) = \lim_{n \rightarrow \infty} H(X_2|X_{1}) = -\sum_{i \in \mathcal{X}}\sum_{j \in \mathcal{X}} \pi_i P_{ij} log\left(P_{ij}\right), pero no entiendo por qué lo anterior está mal.
En respuesta a Nicolas Aguilera Leal

Re: Práctico 2 - Ejercicio 4, parte a)

de Maximo Pirri -
Buenas,
A simple vista no encuentro un error en las cuentas que hiciste. En dicho caso, una vez que desarrolles la sumatoria y hagas el límite te debería dar lo mismo que usando el resultado de teórico que mencionas más abajo. Este camino es más trabajoso que utilizar la fórmula pero si no hay errores deberías llegar al mismo resultado.

Saludos.