Consulta sobre entrenamiento de redes neuronales

Consulta sobre entrenamiento de redes neuronales

de Santiago Cuadrado Vilar -
Número de respuestas: 2
Buenas,

Tengo una duda que me quedó del teórico de la semana pasada. En esta parte se explica cómo se entrena la red teniendo una función que representa la diferencia de la entrada esperada con la que devuelve la red.


Mi duda es, cómo se arma esa primera red en la primera iteración? Es decír, cómo consigo esa red para poder darle un valor y que me devuelva esa salida y(techo) para compararla con y(i) en la primera instancia de la red?
Mi pregunta va más por el lado en, qué criterio se usa para elegir la cantidad de capas y las funciones sigma.

Muchas gracias.
En respuesta a Santiago Cuadrado Vilar

Re: Consulta sobre entrenamiento de redes neuronales

de Luis Chiruzzo -
Hola,

En realidad no hay una respuesta definitiva a esto. Si estamos hablando de redes tipo perceptrón multicapa, que son las de ese ejemplo, se empieza probando con una o dos capas ocultas, y se puede ir variando la cantidad de unidades por capa. Sobre las funciones de activación, puede depender del problema, pero en general se prueba con relu, logística, y puede que alguna otra en problemas particulares, la última capa de un problema de clasificación casi siempre sería softmax. Hay técnicas para ir probando con diferentes configuraciones de forma automática (como pueden ser grid search, ejemplo https://keras.io/api/keras_tuner/tuners/grid/ o random search, ejemplo https://keras.io/api/keras_tuner/tuners/random/) para tratar de obtener una mejor red.

Al final todo se reduce a probar varias configuraciones y ver a cuál le va mejor, porque no hay un único criterio de cómo elegir la cantidad de capas y de neuronas. Por eso también ocurre con las redes, más que con otros métodos de aprendizaje automático, que podemos sobreajustarnos mucho al corpus de entrenamiento. Así que es esencial ir evaluando todas las redes construidas contra un conjunto de desarrollo, y una vez que tenemos la mejor red que pudimos conseguir, la evaluamos contra el conjunto de test.

Saludos,
Luis