Introducción a la Teoría de la Información
Diagrama de temas
-
Este curso presenta al estudiante los conceptos y fundamentos matemáticos de la Teoría de la Información, en particular los límites teóricos de compresión y codificación de datos en la comunicación de señales. Es uno de los cursos ofrecidos por el Núcleo de Teoría de la Información de la Facultad de Ingeniería.
Este video de divulgación explica brevemente de qué se trata la Teoría de la Información. Fue realizado por docentes del curso y otros colegas, en el marco del Proyecto ¿Qué es? desarrollado por el PEDECIBA.
Objetivos de la asignatura
Al finalizar el estudiante conocerá los conceptos y fundamentos matemáticos de la Teoría de la Información, en particular los límites teóricos de compresión y codificación de datos en la comunicación de señales. Asimismo manejará las herramientas y resultados matemáticos básicos en el área para su aplicación en modelado y diseño de sistemas de comunicación de señales.
Metodología de enseñanza
La presentación de temas teóricos estará basada en videos de clases disponibles en OpenFing. Realizaremos encuentros por zoom en horario de clase en los cuales repasaremos brevemente los temas presentados en los video. A través de EVA iremos informando sobre los videos que esperamos que hayan visto antes de cada clase. Adicionalmente realizaremos clases prácticas presenciales; en el cronograma se detallan con (*) las instancias que serán presenciales. Tanto en las clases por zoom como en las presenciales se podrán realizar consultas teóricas o prácticas, y en general se presentarán ejemplos o se resolverán ejercicios.
Modalidad de evaluación
La modalidad de evaluación será a través de pruebas escritas, que serán realizadas de forma presencial. Para estudiantes de posgrado se realiza además una monografía y presentación oral presencial.
Temario
- Introducción a la Teoría de la Información
- Definiciones y conceptos básicos
- Asymptotic Equipartition Property
- Tasa de entropía de un proceso estocástico
- Codificación de fuentes
- Codificación canal
- Teorema de separabilidad fuente/canal
- Canal con realimentación
- El canal Gaussiano
- Rate Distortion Theory
Programa
Los programas de grado y de posgrado son los siguientes.
Cupo
El curso no tiene cupo.
Horario
Lunes y Miércoles de 10:00 a 12:00
Salón de clase
Salón 727 - Gris (7mo. piso)
Fecha de inicio
Miércoles 1 de marzo de 2023, 10:00, presencial.
Calendario tentativo
Las clases y pruebas que restan del semestre son las siguiente:
- Clase Rate-Distortion: miércoles 21 de junio, 10:00 (Vía ZOOM)
- Prueba 4: miércoles 28 de junio a las 10:00
- Prueba final: miércoles 12 de julio a las 10:00
Debido que Federico estará en el exterior la clase de Rate-Distortion del miércoles 21 de junio a las 10:00 será por Zoom en el enlace que está a continuación.
-
Enlace zoom para clases URL
- Introducción a la Teoría de la Información
-
Presentación
Clases introductorias.
Se discutirá la organización del curso y se hará un resumen del temario, vinculando los distintos temas a las distintas áreas de la ingeniería en telecomunicaciones y otras aplicaciones.Qué es la Teoría de la Información? Ver video.
-
Cantidad de clases teóricas: 3
Se estudiarán las herramientas y conceptos básicos que hacen a la Teoría de la Información de Shannon. Los contenidos aquí desarrollados son fundamentales para la comprensión del resto del curso. -
Cantidad de clases teóricas: 1
Se darán las bases del modelado probabilístico de secuencias de datos, los llamados "Procesos Estocásticos".
Se verán los modelos probabilísticos clásicos utilizados para describir estos procesos y se definirán medidas de Entropía en base a ellos. -
Cantidad de clases teóricas: 3
Se estudiará el problema de obtener una codificación eficiente para los símbolos emitidos por una fuente probabilística en términos de la longitud del código obtenido, lo que mundanamente se conoce como "compresión". Se verá además el Primer Teorema de Shannon, el cual establece una cota inferior para la longitud media alcanzable por un código dada la distribución de la fuente. Se estudiarán esquemas de codificación existentes para asignar códigos a fuentes según sus propiedades probabilísticas. -
Cantidad de clases teóricas: 1
Se demostrará esta propiedad de fundamental importancia para desarrollar gran parte de los resultados más importantes de la Teoría de la Información, tratados posteriormente en este curso. -
Cantidad de clases teóricas: 4
Se estudiará a fondo el Segundo Teorema de Shannon, que provee una cota superior para la cantidad de información que puede ser enviada en forma cuasi perfecta por un canal de transmisión imperfecto. El temario incluye la definición formal de capacidad de un canal de transmisión, las demostraciones del directo y recíproco del Segundo Teorema de Shannon, y ejemplos de algunos códigos usados en la práctica. -
Breve introducción a la Transformada de Fourier y al análisis espectral.
-
Clases 19 y 20
-
Cantidad de clases teóricas: 2
Se estudiará el concepto de Entropía diferencial, que es la definición de Entropía que se ajusta a variables aleatorias contínuas. Esta entropía es necesaria para el modelado de uno de los canales más importantes en telecomunicaciones: el Canal Gaussiano, utilizado para analizar innumerables fenómenos físicos de degradación de las señales en diversos canales de transmisión existentes (radio, cable).-
archivo pdf
-
-
Cantidad de clases teóricas: 1
Se tratará el caso de la codificación y transmisión de señales cuando cierta degradación (distorsión) de éstas es admisible en pro de obtener tasas de transmisión más altas que las permitidas por el canal. Aplicación directa de esta teoría son los algoritmos de compresión con pérdidas (JPEG, MP3, MP4), ubícuos en el área de transmisión y almacenamiento de multimedia. -
-
Letra prueba 2, 2023 Archivo
-
Entrega Prueba 2, 2023 Tarea
-
Entrega prueba 3 Tarea
-
Letra prueba 3 Archivo
-
Letra prueba 4 Archivo
-
Entrega prueba 4 Tarea