Buenas,
No me queda claro qué se pide en el ejercicio 7. Solamente hay que dar un ejemplo de código con largo medio "cerca" de H(X)+1 o hay que buscar un código que lo cumpla para todo epsilon que uno elija?
Buenas,
La idea del ejercicio es ver que para cualquier epsilon (mayor a 0, dado) se puede encontrar una distribución que cumple que el largo medio es mayor a H + 1 - epsilon.
Saludos.
La idea del ejercicio es ver que para cualquier epsilon (mayor a 0, dado) se puede encontrar una distribución que cumple que el largo medio es mayor a H + 1 - epsilon.
Saludos.
Hola, me queda la misma duda. Usando el recíproco del teorema de codificación de fuente puedo dar un ejemplo de una distribución de probabilidad tal que 
exactamente. Con eso cumplo lo que pide el ejercicio?
exactamente. Con eso cumplo lo que pide el ejercicio?Hola,
Es cierto que existen casos en los que el largo medio alcanza la entropía, pero eso no es lo que pide el ejercicio. Lo que se pide mostrar es un ejemplo de una variable aleatoria X en donde el largo medio este muy cerca de la entropía +1. Piensa en una variable aleatoria X que solo puede tomar 2 valores y está muy desbalanceada (toma un valor con una probabilidad muy alta y el otro con probabilidad muy baja). ¿Cómo es su entropía? ¿Y su largo medio? Si el valor de epsilon varía, puedes hacer que la distribución de X sea aún más desbalanceada o puedes balancearla.
Saludos.
Es cierto que existen casos en los que el largo medio alcanza la entropía, pero eso no es lo que pide el ejercicio. Lo que se pide mostrar es un ejemplo de una variable aleatoria X en donde el largo medio este muy cerca de la entropía +1. Piensa en una variable aleatoria X que solo puede tomar 2 valores y está muy desbalanceada (toma un valor con una probabilidad muy alta y el otro con probabilidad muy baja). ¿Cómo es su entropía? ¿Y su largo medio? Si el valor de epsilon varía, puedes hacer que la distribución de X sea aún más desbalanceada o puedes balancearla.
Saludos.