Pr.1 Ej.9

Pr.1 Ej.9

de Nicolas Grosso San Roman -
Número de respuestas: 1

Hola! Estaba tratando de calcular la parte b) y llegué al resultado pero no me quedó muy claro.

Entiendo que H(X|Y) = \frac{1}{3}H(X|Y=0) + \frac{2}{3}H(X|Y=1) , pero no termino de entender cómo calcular esas entropías condicionadas. Para el caso de Y=0 entiendo que esa entropía de 0 porque no hay incertidumbre al respecto de X, ya que solo puede tomar un valor. Pero para el caso Y=1 no me queda del todo claro por qué da 1. 

De todas formas me gustaría entender cómo calcular dichas entropías matemáticamente, más allá de su "solución intuitiva".

Gracias!
En respuesta a Nicolas Grosso San Roman

Re: Pr.1 Ej.9

de Maria Simon -

Hola.

"Matemáticamente" significa aplicar las definiciones.

La matriz de la letra del ejercicio da las probabilidades conjuntas, P(X=x_i, Y=y_j).

Para obtener las condicionales hay que usar la regla de la cadena, y para eso necesitarás P(X=X_i) o P(Y=y_j). Esas probabilidades son las llamadas marginales, que se obtienen sumando la matriz por filas o por columnas. Pensá un poco cuál corresponde a X y cuál a Y y por qué. 

Una vez que tengas las marginales y calcules las condicionales, podes calcular H(X|Y) o H(Y|X) según la definición dada en el teórico.

También se dio en el teórico que H(Y|X) se puede obtener mediante la suma ponderada de las entropías H(Y|X=x_i).  Es decir, para un valor de X dado y fijo. Cuando se dice "ponderada", cómo se debe ponderar?

Todo eso, una vez obtenido, se puede contrastar con lo que uno intuye. 

Todo lo que escribo vale también cambiando X por Y, por supuesto.