Codificación universal y doblemente universal
Veremos cómo codificar datos generados de acuerdo a una distribución de probabilidad desconocida a priori. Asumiendo que esta distribución pertenece a una familia paramétrica de distribuciones conocida (por ejemplo la familia de todos los procesos de Markov de orden k), estudiaremos una cota inferior para la mínima esperanza de largo de código que podemos aspirar a lograr. Mostraremos ejemplos donde podemos alcanzar esa cota, logrando, asintóticamente, un largo de código promedio por símbolo tan bueno como el que lograríamos si supiéramos la distribución que gobierna los datos de entrada.
Estos resultados se pueden generalizar a familias de modelos más amplias, obtenidas como unión de familias paramétricas, como por ejemplo la familia de todos los procesos de Markov de cualquier orden, dando lugar a códigos doblemente universales.
