Ideas para el proyecto

Ideas para el proyecto

de Daniel Marcelo Soria Roa -
Número de respuestas: 1

Estuve viendo diferenctes codecs de audio y video y de las cosas que me parecieron más interesantes de erstudiar y presentar algo sobre ellas son:

* NNVC (Neural Network-based Video Coding): Es básicamente redes neuronales aplicado a la codificación de video. Encontré algunos papers del 2023 y 2024 que hablan sobre distintas implementaciones de esto. Hay también algún repositorio sobre el tema donde hay software para probar, pero tengo que ver bien si los papers y los repos son compatibles o son otras implementaciones.

* NNC (Neural Network Coding): Es Redes neuronales aplicado a la codificación en general. Es un paper que habla sobre eso y luego hay un repositorio que lo implementa.

* MPEG-H 3D Audio: Codificación para el audio 3D. Es uno de los standard del audio 3D. Encontré bastante info sobre el tema. Hay varios papers. Encontré alguna implementación del decoder en un Github y también alguna variante.


Me gustaría que me den alguna recomendación de que es más apropiado y si saben de donde puedo sacar más info o implementaciones sobre los temas. El martes podemos igual hablarlo un poco en la clase.


Saludos

En respuesta a Daniel Marcelo Soria Roa

Re: Ideas para el proyecto

de Pablo Flores -
Hola, Daniel:
Antes que nada, disculpas por la demora en la respuesta.
Si bien todos los temas pueden ser interesantes, personalmente me pareció de especial interés el tema Neural Network-based Video Coding. Aunque no conozco nada del tema, luego de revisar rápidamente papers como por ejemplo este: https://ieeexplore.ieee.org/document/8305033 (anterior a los que viste vos, ¿verdad? quizás sería bueno revisar juntos los que vos viste este jueves), me dio la impresión de que el diagrama de bloques fundamental propuesto sigue siendo del tipo (motion estimation & compensation) -> (transformation) -> (entropy coder), pero utilizando redes neuronales en cada caso.
Me surgen varias consultas al respecto: (a) ¿esto es efectivamente así? y si la respuesta es que sí en este paper (b) ¿lo es en todos los demás casos? También sería interesante (c) ver si existe algún repositorio o información suficiente como para hacer alguna prueba. Finalmente, en este tema que está tan efervescente sí puede llegar a ser interesante (d) hacer un resumen de los distintos enfoques que hay por la vuelta.  
Si es cierto que la arquitectura sigue siendo la tradicional, este proyecto se tocaría en parte con el de Diego. En ese caso, o bien pueden trabajar juntos, agregando esta parte de eventuales implementaciones utilizando redes neuronales, o al menos estar en contacto porque podrían generar sinergia entre ambos.
En cualquier caso, la seguimos el jueves. Pero parece haber cosas interesantes para hacer.

Un abrazo,
Pablo FG