Buenas,
Hoy estuvimos en la clase de consulta, preguntando por como se maximiza la entropía de Y_k (VA de "bloques devueltos").
La consigna dice:
argumente por que nuestra elección de x_k deberıa buscar maximizar la entropía de Y.
Nosotros entendemos que de la ecuación de la Información, debería ser máxima para tener mas probabilidad de encontrar la palabra.
I{X;Y}= H{Y} - H{Y|X} = H{X} - H{X|Y}
Para maximizar la info. habría que minimizar H{X|Y} ya que H{X} esta dada porque la "bolsa de palabras" es fija.
En la consulta se discutió sobre la ecuación de la entropía mutua:
H{X;Y}= H{X} + H{Y|X} = H{Y} + H{X|Y}
En esta ecuación si minimizamos H{X|Y} y H{X;Y} debería estar fija para que H{Y} sea máxima.
Pero no entendemos que representa H{X;Y} en el problema y H{Y} tampoco. Sí entendemos H{X|Y} esta dependencia, es dado el patrón cual es la incertidumbre que hay sobre la palabra.
(en la notación faltan los k, pero refiere a los Y_k)
Esperemos haya quedado plasmada la duda.
Gracias!
Saludos.