Tema: Semana 5 - Clases 8 y 9 | Aprendizaje Profundo para Visión Artificial | FING

Página Principal

Diagrama de temas

- Clase 8
  Descenso por Gradiente Estocástico (SGD)
  SGD+Momentum / SGD Nesterov
  AdaGrad / RMSProp / ADAM
  Learning rate decay
  Optimización por métodos de segundo orden
- Clase 8 - Slides URL
- "Deep learning" Goodfellow, Bengio, Courville, 2016. MIT press. (Capítulo 8) URL
- "Large-scale machine learning with stochastic gradient descent." Bottou, L., 2010. URL
- Gradient Descent Converges to Minimizers, J. D. Lee, M, Simchowitz, M. Jordan, B. Recht, 2016 URL
- Visualizing the Loss Landscape of neural nets, H. Li, Z. Xu , G. Taylor, C. Studer , T. Goldstein URL
- Escaping Saddles with Stochastic Gradients, H. Daneshmand, J. Kohler, A. Lucchi, T. Hofmann, 2018 URL
- Clase 9
  Funciones de Activación: Entrenamiento
  Preprocesamiento de datos
  Inicialización de parámetros de red (pesos)
  Batch Normalization y variantes
  Hiperparámetros: ¿cómo fijarlos?
  Monitoreo del proceso de aprendizaje
- Clase 9 - Slides URL
- Notas Redes Neuronales 2 (cs231n Stanford) URL
- "Deep learning" Goodfellow, Bengio, Courville, 2016. MIT press. (Capítulo 11) URL
- Ioffe, S. and Szegedy, C., Batch normalization: Accelerating deep network training by reducing internal covariate shift. ICML 2015 URL
- Yuxin Wu, Kaiming He - Group Normalization Archivo
- Santurkar et al., How Does Batch Normalization Help Optimization? Archivo
- A Recipe for Training Neural Networks (A. Karpathy) URL