Procesamiento digital de señales de audio
Diagrama semanal
-
Edición 2024: El curso se dictará en el segundo semestre de 2024.
Procesamiento digital de señales de audio
Descripción y objetivos
El curso busca profundizar la formación de los estudiantes en procesamiento de señales. Al finalizar la unidad curricular el estudiante comprenderá los fundamentos del procesamiento digital de señales de audio, tales como el análisis de tiempo corto, el compromiso tiempo-frecuencia, el modelo fuente-filtro, o la deconvolución. También tendrá experiencia en técnicas clásicas del área, como la Codificación por Predicción Lineal (LPC) ó el análisis Cepstral. Será capaz de programar algoritmos para implementar las técnicas estudiadas y resolver problemas recurrentes, como la detección de frecuencia fundamental y la estimación de envolvente espectral. Esta formación le permitirá abordar proyectos en los que intervengan señales de audio (como la voz hablada, la música o los sonidos del entorno), con aplicaciones en telecomunicaciones, producción audiovisual, o bioacústica, entre otras.
Metodología
El dictado del curso está organizado en dos clases semanales de dos horas, alternando clases teóricas y clases prácticas. En las clases teóricas se presentarán los temas de forma expositiva, conectando los contenidos con ejemplos prácticos y problemas reales, así como habilitando espacios activos para la reflexión e intercambio. En las clases prácticas los estudiantes desarrollarán habilidades prácticas relativas a la programación y aplicarán técnicas de procesamiento de audio sobre señales reales. Durante las tres últimas semanas de clase los estudiantes trabajarán en grupos de a dos, resolviendo un problema de aplicación, que integre los conocimientos adquiridos durante el curso.
Evaluación
El proceso de evaluación incluye la realización de trabajo individual de resolución de ejercicios, distribuidos en 4 entregables a lo largo del curso. Además se deberá realizar un proyecto final de curso en grupos de dos estudiantes. Los ejercicios entregables corresponden al 50% del puntaje total de la unidad curricular, mientras que el proyecto final corresponde al restante 50%. Para aprobar la unidad curricular el estudiante deberá cumplir con la entrega de todos los entregables y deberá alcanzar un 60% del puntaje total del curso.
Temario
- Introducción al procesamiento de audio: objetivos, aplicaciones, conceptos básicos de señales de audio (e.g. digitalización, densidad espectral de potencia, autocorrelación, dithering, etc).
- Señales de voz y audio: aparato fonador, modelo de producción de voz, modelo fuente filtros, modelos tonal+transitorio+ruido.
- Percepción auditiva: fisiología del sistema auditivo, sonoridad, bandas críticas, enmascaramiento, percepción de altura, modelos del sistema auditivo.
- Filtros digitales con aplicaciones en audio: resonadores, notch, peine, pasa-todo, interpoladores y aplicaciones en efectos de audio y síntesis de sondio.
- Síntesis de sonido: síntesis aditiva, AM, anillo, FM, modelado físico, aplicaciones.
- Análisis de tiempo corto de señales de audio: enventanado, STFT, espectrograma, variantes mutiresolución, transformada Q constante (CQT).
- Análisis Homomórfico: cepstrum y cepstrum complejo, estimación de envolvente, detección de pitch, deconvolución, MFCC, codificación de voz.
- Análisis por Predicción Lineal: modelo todo polo, cálculo de LPC, orden, inestabilidad, aplicaciones: estimación de formantes.
- Procesamiento tiempo-frecuencia: Overlap-add, convolución rápida, phase vocoder, aplicaciones y efectos.
- Análisis por modelado espectral: modelado espectral, componentes tonal transitorio y ruido, estimación de altura, seguimiento de parciales, aplicaciones.
- Codificación de voz y audio: cuantización, codificación con y sin pérdidas, modelos perceptivos, codificación de voz, codificación de audio.
- Extracción de información musical: separación en fuentes, reconocimiento de instrumentos, sincronismo temporal, detección de acordes, seguimiento de pulso, análisis de estructura, transcripción automática.
Horarios y salones
Martes y jueves de 10:00 a 12:00 hs.
Salón: Laboratorio de Software
Las clases en 2024 se dictarán en forma presencial
Fecha de inicio: Martes 6 de Agosto de 2024
Docentes
Pablo Cancela, Emilio MartínezRecursos
Notebooks: https://github.com/emidan19/audio-dsp/tree/main/notebooks
-
Horarios de consulta:
- A determinar proximamente
Las clases de consulta serán por zoom.
El link de zoom para acceder es este:
-
Clases:
- Clase 1: Teórico - Introducción al procesamiento de audio
- Contenidos: Presentación del curso, digitalización, cuantización, dithering, noise shaping, etc.
- Bibliografía de referencia:
- Ken C. Pohlmann, (2000). Principles of Digital Audio. Chapter 2 - Fundamentals of digital audio
- Rabiner, L.R. & Schafer, R.W. (2011). Theory and Applications of Digital Speech Processing. Chapter 1 - Introduction to digital speech processing
- Clase 2: Teórico - Procesamiento de señales de voz
- Contenidos: Mecanismo de producción de voz y modelo de procesamiento de señales de voz
- Bibliografía de referencia: Rabiner, L.R. & Schafer, R.W. (2011). Theory and Applications of Digital Speech Processing.
- Chapter 3 - Fundamentals of human speech production
- Chapter 5 - Sec. 5.3 Digital models for sampled speech signals
- Chapter 3 - Fundamentals of human speech production
-
Video de la clase 1 (martes 8 de marzo 2022) URL
-
Video de la clase 2 (jueves 10 de marzo 2022) URL
- Clase 1: Teórico - Introducción al procesamiento de audio
-
Clases:
- Clase 3: Teórico - Procesamiento en el dominio del tiempo
- Contenidos: Medidas de tiempo corto, energía, tasa de cruces por cero, autocorrelación, estimación de frecuencia fundamental.
- Bibliografía de referencia: Rabiner, L.R. & Schafer, R.W. (2011). Theory and Applications of Digital Speech Processing. Chapter 6 - Time-domain methods for speech processing
- Clase 4: Teórico - Percepción auditiva
- Contenidos: Fisiología del sistema auditivo, psicoacústica, modelos del sistema auditivo.
- Bibliografía de referencia: Rabiner, L.R. & Schafer, R.W. (2011). Theory and Applications of Digital Speech Processing. Chapter 4 - Hearing, auditory models, and speech perception
-
Video clase 3 (martes 15 de marzo 2022) URL
-
Video clase 4 (jueves 17 de marzo 2022) URL
-
Paradoja perceptiva: glissando de Shepard-Risset Archivo
- Clase 3: Teórico - Procesamiento en el dominio del tiempo
-
Clases:
- Clase 5: Práctico - Práctico 1
- Contenidos: Muestreo, cuantización y dithering en señales de audio. Procesamiento de audio en el dominio del tiempo.
- Clase 6: Teórico - Introducción a filtros digitales
- Contenidos: Conceptos básicos, caracterización de filtros, filtro de media móvil, filtros de Chebyshev
- Bibliografía de referencia: Thomas Steiglitz, K. (1996). Digital Signal Processing Primer: With Applications to Digital Audio and Computer Music. Prentice Hall
-
Video clase 6 (jueves 24 de marzo 2022) URL
- Clase 5: Práctico - Práctico 1
-
Clases:
- Clase 7: Teórico - Filtros digitales en audio
- Contenidos: Diseño de filtros, filtros peine, filtros pasa-todo
- Bibliografía de referencia: Thomas Steiglitz, K. (1996). Digital Signal Processing Primer: With Applications to Digital Audio and Computer Music. Prentice Hall
- Clase 8: Teórico - Aplicaciones en síntesis de sonido y efectos de audio
- Contenidos: Reverberadores y síntesis por modelado físico.
- Bibliografía de referencia: Thomas Steiglitz, K. (1996). Digital Signal Processing Primer: With Applications to Digital Audio and Computer Music. Prentice Hall
-
Video clase 7 (martes 29 de marzo 2022) URL
-
Video clase 8 (jueves 31 de marzo 2022) URL
- Clase 7: Teórico - Filtros digitales en audio