Seminario - Aprendizaje profundo aplicado al Procesamiento de Lenguaje Natural

Diagrama de temas

• General

  Colapsar todo Expandir todo
  • 

    Novedades Foro
  • 

    Referencias Wiki
  • 

    Intercambios Foro

• Curso 2017 - Temario

  1. Fundamentos de Probabilidad.

  Referencias: "Review of Probability" (del curso CS229 de Stanford); Capítulo 2 ("Foundations") del libro "Probabilistic Graphical Models" (Daphne Koller, Nir Friedman)

  Distribuciones de probabilidad. Axiomas. Interpretación frecuentista y bayesiana. Probabilidad condicional. Regla de la cadena. Regla de Bayes. Variables aleatorias. Distribución multinomial. Distribución marginal. Distribución conjunta. Distribución condicional. Independencia. Funciones de densidad de probabilidad. Distribución cumulativa. Distribución uniforme. Distribución normal. Esperanza. Varianza y desviación estándar. Distribuciones multivariadas. Esperanzas y covarianzas.  Distribución gaussiana multivariada.
  

  2. Fundamentos de Álgebra Lineal y Cálculo de Matrices
  

  Referencias: "Linear Algebra" (libro de la UC Davis). Linear Algebra Review and Reference (del curso CS229 de Stanford), Matrices for Data Scientists (IPython notebook - GM)

  Notación y conceptos básicos. Producto de vectores y matrices. Trasposición. Matrices como transformaciones lineales. Matriz inversa. Rango. Independencia lineal. Traza. Determinante. Matrices positivas semidefinidas. Matriz Gram. Valores y vectores propios. Diagonalización de matrices simétricas. Regla de la Cadena. Gradiente. Hessiano. Gradiente y Hessiano de funciones lineales. Mínimos cuadrados. Gradiente del Determinante.

  3. Redes neuronales artificiales y Backpropagation

  Referencias: Capítulo 4 ("Artificial Neural Networks") del libro "Machine Learning" de Tom Mitchell.  Capítulo 1 del libro "Neural Networks and Deep Learning" de Michael Nielsen.
  

  Motivación. Perceptrón. Descenso por gradiente y la Regla Delta. Descenso por Gradiente Estocástico. Redes multicapa. Sigmoide. Backpropagation. Poder expresivo de las ANN. Clasificación supervisada con redes feedforward.
  

  4. Deep Feedforward networks.

  Referencias: Capítulo 3 y Capítulo 5 del libro "Neural Networks and Deep Learning" de Michael Nielsen, Capítulo 6 ("Deep Feedforward Networks") del libro "Deep Learning" de Goodfellow, Bengio and Courville.
  

  Función de costo de entropía cruzada. Sobreajuste y Métodos de regularización. Elección de hiperparámetros. Variaciones al descenso por gradiente. Función tanh y rectified linear unit. Softmax. The vanishing gradient problem.
  

• ¿Qué es Deep Learning?
  • Qué es Deep Learning
  • Historia
  • Aplicación al PLN
    

  
  

  Presentaciones

  • Introducción a Deep Learning - Rodrigo Stecanella
  • Redes neuronales artificiales para el PLN - Mathías Etcheverry
    

  Material:
  

  • Notas del curso de Socher (lecture 1)

  • Deep Learning - Goodfellow, Bengio, Courville (en preparación) - Introducción

  • Deep Learning, NLP, and Representations

  • Computational Linguistics and Deep Learning - Chris Manning

  • Deep Learning in Neural Networks: A Survey
    

  
  Sesión 1: Rodrigo Stecanella (Introducción al Deep Learning)
  Sesión 2: Mathías Etcheverry (RNNs para PLN)
  

• Fundamentos

  Sesión 1: Guillermo Moncecchi (Repaso de álgebra lineal)
  Sesión 2: Jairo Bonanata (Regresión lineal, regresión logística, gradient descent)
  Sesión 3: Raúl Garreta (Redes Neuronales y Backpropagation)
  
  
  

  • Repaso de álgebra lineal (Matrices con Python y Numpy)
    

  • Repaso de regresión lineal, regresión logística. Gradient descent.

  • Redes neuronales y backpropagation (Artificial Neural Networks and Backpropagation)
    

  
  

  Material

  • Matrices con Python y Numpy
    

  • Linear Algebra Review and Reference

  • A Beginner’s Guide to Eigenvectors, PCA, Covariance and Entropy

  • A tutorial on PCA (Lindsay Smiths)
  • PCA Step by step in Python (Sebastian Raschka)
  • Machine Learning - Ng (Stanford) - II, III, IV, VI, VII
  • Logistic Regression  - del libro Advanced Data Analysis from an Elementary Point of View (Cosma Rohilla - Carnegie Mellon)
  • Gradient Descent Example
    
  • An overview of gradient descent optimization algorithms - Sebastian Ruder
  • Fitting a model via closed-form equations vs. Gradient Descent etc. - Sebastian Raschka
  • (Physio)logical circuits: the intellectural origins of the McCulloch - Pitts Neural Networks - Tara Abraham
  • Calculus on computational graphs: backpropagation - Crhis Olah
  • Neural Networks and Deep Learning - Chapter 2 - Michael Nielsen
  • Neural Networks and Deep Learning - Chapter 1 - Michael Nielsen
  • Notas del curso de Socher (parte III)
    
    

  
  
  

• Tutorial Theano/Keras

  Sesión 1: Theano (Diego Kiedanski)

  Sesión 2: Keras (Santiago Castro)

  
  

  - Jupyter Notebook Tutorial Theano
  

  - Jupyter Notebook Tutorial Keras
  

• Word vector representations

  Sesión 1: Word vector representations  - Federico Orihuela
  Sesión 2: Aplicación de word embeddings al PLN - Gabriel Mordecki
  
  Material
  
  Una visión global de word embeddings
  
  

  • A brief history of word embeddings

  • http://sebastianruder.com/

  • Deep Learning, NLP, and Representations
  • The amazing power or Word Vectors
    

  
  El curso de Hugo Larochelle (Universidad de Sherbrooke)  - este no incluye word2vec pero si lo de antes
  

  • https://www.youtube.com/watch?v=OzZIOiMVUyM&index=79&list=PL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH

  
  

  Curso de Universidad de waterloo
  

  • https://uwaterloo.ca/data-science/deep-learning (los 2 videos de word2vec)

  
  Papers
  - A Neural Probabilistic Language Model  - Bengio et al. (el primer Neural Network Language Model)
  

  - Efficient Estimation of Word Representations in Vector Space - Mikolov et al.
  - Distributed Representations of Words and Phrases and their Compositionality - Mikolov et al.
  - Distributed Representations of Sentences and Documents - Le et al.
  - Linguistic Regularities in Continuous Space Word Representations - Mikolov et al.
  - GloVe: Global Vectors for Word Representation - Pennington et al.
  
  

  Aplicaciones
  

  - Exploiting Similarities among Languages for Machine Translation - Mikolov et al.
  

  - Zero-Shot Learning Through Cross-Modal Transfer - Socher et al.
  - Show and Tell: A Neural Image Caption Generator - Vinyals et al.
  

  
  
  

  Entendiendo word2vec (https://code.google.com/archive/p/word2vec/)
  - Words as vectors (blog post)
  - word2vec Parameter Learning Explained - Xin Rong
  - word2vec Explained:  Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method - Goldberg et al.
  - Neural Word Embedding as Implicit Matrix Factorization
  
  

  GloVe (http://nlp.stanford.edu/projects/glove/)
  

  - GloVe: Global Vectors for Word Representation - Pennington et al.
  - GloVe (blog post)
  

  
  
  

  wevi (Demo)
  https://ronxin.github.io/wevi/
  

  
  
  Materiales sesión 2 (en las ppts aparece el contexto):
  
  

  Agustín Azzinari, Alejandro Martínez; "Representación de Palabras en Espacios de Vectores" Tutores: Dina Wonsever, Mathías Etcheverry
  

  Linguistic regularities in continuous space word representations, Tomas Mikolov, Wen-tau Yih y Geoffrey Zweig

  word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method, by Yoav Goldberg and Omer Levy

  Tensor Flow: Vector Representations of Words
  

  Neural Word Embedding as Implicit Matrix Factorization, Omer Levy and Yoav Goldberg
  

  Improving Distributional Similarity with Lessons Learned from Word Embeddings, Omer Levy, Yoav Goldberg y Ido Dagan

  Bilingual Word Embeddings for Phrase-Based Machine Translation

  Will Y. Zou, Richard Socher, Daniel Cer and Christopher D. Manning

  Reconsidering Cross-lingual Word Embeddings, Omer Levy, Anders Søgaard, Yoav Goldberg

  A unified architecture for natural language processing: deep neural networks with multitask learning, Ronan Collobert and Jason Weston (2008)

  Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (2011). Richard Socher, Jeffrey Pennington, Eric H. Huang, Andrew Y. Ng, Christopher D. Manning

  Distributed Representations of Sentences and Documents. Quoc V. Le y Tomas Mikolov (2014)

  Unsupervised Word Polarity Tagging by Exploiting Continuous Word Representations. Aitor García Pablos, Montse Cuadros, German Rigau

  
  
  

  
  
  

• Convolutional Neural Networks

  Sesión: Redes Neuronales Convolutivas - Diego Garat
  
  
  

  • Elements of Statical Learning, Hastie et al. (01) 
    
  • Pattern Recognition and Machine Learning, Bishop (06)
    

  • Convolution, https://en.wikipedia.org/wiki/Convolution, Ult.Acc.:3/10/16

  • Convolution Matrix GIMP Help, https://docs.gimp.org/en/plug-in-convmatrix.html, Ult.Acc.:3/10/16
    

  • ​​Generalization and Network Design Strategies, Le Cun (89)

  • Gradient-based learning applied to document recognition, Le Cun et al. (98)
    
  • ImageNet Classification with Deep Convolutional Neural Networks, Krizhevsky et al. (12)
    
  • Going deeper with convolutions, Szegedy et al. (14)
    
  • Deep Residual Learning for Image Recognition, He et al. (15)
    
  • ImageNet Large Scale Visual Recognition Challenge, Russakovsky et al (15)
    
  • Convolutional Neural Networks for Sentence Classification,  Yoon Kim (14)
    
  • A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification,  Zhang &  Wallace (16)
    
  • Natural Language Processing (Almost) from Scratch, Collobert et al. (11)

  
  

  • Notas del curso Socher(clase 13)

  • Must know Tips/Tricks in Deep Neural Networks (Xiu-Shen Wei)
    

  
  
  

• Recursive Neural Networks

  Sesión: Recursive Neural Networks - Luis Chiruzzo
  
  Referencias:
  - Socher, R., Manning, C. D., & Ng, A. Y. (2010, December). Learning continuous phrase representations and syntactic parsing with recursive neural networks. In Proceedings of the NIPS-2010 Deep Learning and Unsupervised Feature Learning Workshop (pp. 1-9).

  
  

  - Socher, R., Bauer, J., Manning, C. D., & Ng, A. Y. (2013, August). Parsing with Compositional Vector Grammars. In ACL (1) (pp. 455-465).

  
  

  - Socher, R., Huval, B., Manning, C. D., & Ng, A. Y. (2012, July). Semantic compositionality through recursive matrix-vector spaces. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (pp. 1201-1211). Association for Computational Linguistics.

  
  

  - Socher, R., Perelygin, A., Wu, J. Y., Chuang, J., Manning, C. D., Ng, A. Y., & Potts, C. (2013, October). Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the conference on empirical methods in natural language processing (EMNLP) (Vol. 1631, p. 1642).

  
  

  - Notas del curso (clase 9 y 10)    

  
  

  
  
  

• Modelos de Lenguajes y Recurrent Neural Networks

  • Notas del curso de Socher (parte IV)

  • The Unreasonable Effectiveness of Recurrent Neural Networks (Karpathy)

  • Visualizing and understanding Recurrent Neural Networks (Karpathy et al.)
    

  
  Sesiones estimadas: 2