Curso 2017 - Temario

1. Fundamentos de Probabilidad.

Referencias: "Review of Probability" (del curso CS229 de Stanford); Capítulo 2 ("Foundations") del libro "Probabilistic Graphical Models" (Daphne Koller, Nir Friedman)

Distribuciones de probabilidad. Axiomas. Interpretación frecuentista y bayesiana. Probabilidad condicional. Regla de la cadena. Regla de Bayes. Variables aleatorias. Distribución multinomial. Distribución marginal. Distribución conjunta. Distribución condicional. Independencia. Funciones de densidad de probabilidad. Distribución cumulativa. Distribución uniforme. Distribución normal. Esperanza. Varianza y desviación estándar. Distribuciones multivariadas. Esperanzas y covarianzas.  Distribución gaussiana multivariada.

2. Fundamentos de Álgebra Lineal y Cálculo de Matrices

Referencias: "Linear Algebra" (libro de la UC Davis). Linear Algebra Review and Reference (del curso CS229 de Stanford), Matrices for Data Scientists (IPython notebook - GM)

Notación y conceptos básicos. Producto de vectores y matrices. Trasposición. Matrices como transformaciones lineales. Matriz inversa. Rango. Independencia lineal. Traza. Determinante. Matrices positivas semidefinidas. Matriz Gram. Valores y vectores propios. Diagonalización de matrices simétricas. Regla de la Cadena. Gradiente. Hessiano. Gradiente y Hessiano de funciones lineales. Mínimos cuadrados. Gradiente del Determinante.

3. Redes neuronales artificiales y Backpropagation

Referencias: Capítulo 4 ("Artificial Neural Networks") del libro "Machine Learning" de Tom Mitchell.  Capítulo 1 del libro "Neural Networks and Deep Learning" de Michael Nielsen.

Motivación. Perceptrón. Descenso por gradiente y la Regla Delta. Descenso por Gradiente Estocástico. Redes multicapa. Sigmoide. Backpropagation. Poder expresivo de las ANN. Clasificación supervisada con redes feedforward.

4. Deep Feedforward networks.

Referencias: Capítulo 3 y Capítulo 5 del libro "Neural Networks and Deep Learning" de Michael Nielsen, Capítulo 6 ("Deep Feedforward Networks") del libro "Deep Learning" de Goodfellow, Bengio and Courville.

Función de costo de entropía cruzada. Sobreajuste y Métodos de regularización. Elección de hiperparámetros. Variaciones al descenso por gradiente. Función tanh y rectified linear unit. Softmax. The vanishing gradient problem.