Introducción a la Teoría de la Información
Diagrama de temas
-
Este curso presenta al estudiante los conceptos y fundamentos matemáticos de la Teoría de la Información, en particular los límites teóricos de compresión y codificación de datos en la comunicación de señales. Es uno de los cursos ofrecidos por el Núcleo de Teoría de la Información de la Facultad de Ingeniería.
Este video de divulgación explica brevemente de qué se trata la Teoría de la Información. Fue realizado por docentes del curso y otros colegas, en el marco del Proyecto ¿Qué es? desarrollado por el PEDECIBA.
Objetivos de la asignatura
Al finalizar el estudiante conocerá los conceptos y fundamentos matemáticos de la Teoría de la Información, en particular los límites teóricos de compresión y codificación de datos en la comunicación de señales. Asimismo manejará las herramientas y resultados matemáticos básicos en el área para su aplicación en modelado y diseño de sistemas de comunicación de señales.
Metodología de enseñanza
La presentación de temas se realizará en clases presenciales, de dos horas cada una, a razón de dos clases por semana. Las clases alternaran entre presentaciones teóricas y clases prácticas conforme se vaya avanzando en el temario. Durante las clases prácticas se presentarán ejemplos o se resolverán ejercicios del práctico, y habrá espacio para consulta de dudas. Como apoyo adicional hay videos de clases disponibles en OpenFing.
Modalidad de evaluación
La modalidad de evaluación será a través de pruebas escritas, que serán realizadas de forma presencial en horario de clase en fechas preestablecidas (ver cronograma). Para estudiantes de posgrado se realiza además una monografía y presentación oral presencial.
Temario
- Introducción a la Teoría de la Información
- Definiciones y conceptos básicos
- Asymptotic Equipartition Property
- Tasa de entropía de un proceso estocástico
- Codificación de fuentes
- Codificación canal
- Teorema de separabilidad fuente/canal
- Canal con realimentación
- El canal Gaussiano
- Rate Distortion Theory
Programa
Los programas de grado y de posgrado son los siguientes.
Cupo
El curso no tiene cupo.
Horario
Lunes y Miércoles de 10:00 a 12:00
Salón de clase
703-Rojo
Fecha de inicio
Lunes 4 de marzo de 2024.
- Introducción a la Teoría de la Información
-
Presentación
Clases introductorias.
Se discutirá la organización del curso y se hará un resumen del temario, vinculando los distintos temas a las distintas áreas de la ingeniería en telecomunicaciones y otras aplicaciones.Qué es la Teoría de la Información? Ver video.
-
Cantidad de clases teóricas: 3
Se estudiarán las herramientas y conceptos básicos que hacen a la Teoría de la Información de Shannon. Los contenidos aquí desarrollados son fundamentales para la comprensión del resto del curso. -
Cantidad de clases teóricas: 1
Se darán las bases del modelado probabilístico de secuencias de datos, los llamados "Procesos Estocásticos".
Se verán los modelos probabilísticos clásicos utilizados para describir estos procesos y se definirán medidas de Entropía en base a ellos. -
Cantidad de clases teóricas: 3
Se estudiará el problema de obtener una codificación eficiente para los símbolos emitidos por una fuente probabilística en términos de la longitud del código obtenido, lo que mundanamente se conoce como "compresión". Se verá además el Primer Teorema de Shannon, el cual establece una cota inferior para la longitud media alcanzable por un código dada la distribución de la fuente. Se estudiarán esquemas de codificación existentes para asignar códigos a fuentes según sus propiedades probabilísticas. -
Cantidad de clases teóricas: 1
Se demostrará esta propiedad de fundamental importancia para desarrollar gran parte de los resultados más importantes de la Teoría de la Información, tratados posteriormente en este curso. -
Cantidad de clases teóricas: 4
Se estudiará a fondo el Segundo Teorema de Shannon, que provee una cota superior para la cantidad de información que puede ser enviada en forma cuasi perfecta por un canal de transmisión imperfecto. El temario incluye la definición formal de capacidad de un canal de transmisión, las demostraciones del directo y recíproco del Segundo Teorema de Shannon, y ejemplos de algunos códigos usados en la práctica. -
Breve introducción a la Transformada de Fourier y al análisis espectral.
-
Clases 19 y 20
-
Cantidad de clases teóricas: 4
Se estudiará el concepto de Entropía diferencial, que es la definición de Entropía que se ajusta a variables aleatorias contínuas. Esta entropía es necesaria para el modelado de uno de los canales más importantes en telecomunicaciones: el Canal Gaussiano, utilizado para analizar innumerables fenómenos físicos de degradación de las señales en diversos canales de transmisión existentes (radio, cable).-
Proyecciones con cálculos y explicaciones auxiliares.
-
-
Cantidad de clases teóricas: 1
Se tratará el caso de la codificación y transmisión de señales cuando cierta degradación (distorsión) de éstas es admisible en pro de obtener tasas de transmisión más altas que las permitidas por el canal. Aplicación directa de esta teoría son los algoritmos de compresión con pérdidas (JPEG, MP3, MP4), ubícuos en el área de transmisión y almacenamiento de multimedia.