Buenas,
por interés personal quería preguntar si me pueden dirigir a algún material sobre descenso por gradiente normal y estocástico que sea algo amistoso con el nivel de este curso.
Gracias.
En respuesta a Ezequiel Gadea Lucas
Re: Descenso por gradiente normal y estocástico
Hola Ezequiel,
La optimización es una ramificación muy natural de lo que venimos tratando en el curso en estas semanas (hallar raíces de funciones) y, de hecho, varios métodos de optimización se basan en buscar puntos críticos (si uno puede argumentar que los puntos críticos de la función con la que está trabajando son mínimos). Un ejemplo fundamental de esto son los métodos de Newton y variantes en optimización.
Después, hay técnicas de optimización más intrínsecas al problema de optimizar en sí, como los métodos de descenso. El de descenso por gradiente escolástico está muy "de moda" gracias a las aplicaciones en machine learning, pero creo que el paso grande para entenderlo está en entender la versión clásica. Para eso, y entre el material que recomendamos para este curso, te diría que mires el capítulo 6 del libro de Heath, y en particular la sección 6.3. Ahí no se habla de la variante estocástica: una lectura amigable para eso es el libro Deep Learning, de Goodfellow, Bengio y Courville. Ese libro también habla de descenso por gradiente clásico y tiene pocos prerrequisitos matemáticos.
La optimización es una ramificación muy natural de lo que venimos tratando en el curso en estas semanas (hallar raíces de funciones) y, de hecho, varios métodos de optimización se basan en buscar puntos críticos (si uno puede argumentar que los puntos críticos de la función con la que está trabajando son mínimos). Un ejemplo fundamental de esto son los métodos de Newton y variantes en optimización.
Después, hay técnicas de optimización más intrínsecas al problema de optimizar en sí, como los métodos de descenso. El de descenso por gradiente escolástico está muy "de moda" gracias a las aplicaciones en machine learning, pero creo que el paso grande para entenderlo está en entender la versión clásica. Para eso, y entre el material que recomendamos para este curso, te diría que mires el capítulo 6 del libro de Heath, y en particular la sección 6.3. Ahí no se habla de la variante estocástica: una lectura amigable para eso es el libro Deep Learning, de Goodfellow, Bengio y Courville. Ese libro también habla de descenso por gradiente clásico y tiene pocos prerrequisitos matemáticos.
Por otra parte, aprovecho a hacerle publicidad al módulo de Fundamentos de optimización que damos desde el IMERL en el semestre impar. Ahí se cubren los métodos de descenso y (creo) se toca la versión estocástica.