Estimados,
Las slides de la clase de hoy están subidas al eva. El video de la edición 2020 de la clase 3 está acá:
https://www.youtube.com/watch?v=zxoyX7JHnMM&list=PL14lt-uB-gQD1MCfr-n7l9fIaCALftkjT&index=3
Mi idea para la clase de hoy era cubrir otros aspectos interesantes que no están en la edición 2020, sobre el vínculo entre el perceptrón y SVM.
Más precisamente:
- Se puede ver que el algoritmo del perceptrón tal como lo propuso Rosenblatt (lo que vimos en clase) es un SVM con penalización L2, optimizado por un descenso por gradiente estocástico (SGD). Esto es interesante, y se los puedo contar más adelante cuando veamos más en detalle SGD.
- Quería hacerles un esbozo de la demostración que, si los datos son linealmente separables, el perceptrón converge en una cantidad finita de pasos. Esto no lo vamos a ver, pero a los interesados les puedo pasar alguna referencia.
- Quería mostrarles formalmente que los clasificadores lineales generalizan bien, a partir de la estimación del error de clasificación para una muestra de test que sigue la misma distribución que las muestras de entrenamiento. Esto se hace fácil usando la cota de Vapnik-Chervonenkis. Podemos ver esto cuando veamos el tema de la generalización.
Dicho esto: como contenido de la Clase 3 (que terminaré el martes antes de arrancar con la Clase 4) vamos a repetir el mismo contenido que el de la edición 2020, así pueden ver el video y avanzar con el obligatorio. Es importante que miren el video así puedo cubrir el atraso (SVM, regresión logística y una intro básica a optimización) sin detenerme en detalles, a menos que vengan con dudas.
El plan para la Clase 4 (esperando ponernos al día) es presentarles:
- Generalización de los modelos lineales
- Redes neuronales (perceptrón multicapa) como clasificadores no lineales
- Redes neuronales como aproximadores universales
- Desafíos del aprendizaje profundo: Aproximación, Generalización y Optimización
Saludos,
Pablo