Experimento two_layer_net

Experimento two_layer_net

de Alejandro Silva -
Número de respuestas: 1

Buenas tardes, tengo una consulta sobre el entregable en el notebook de "two_layer_net".

En la última parte donde se pide que tuneemos los parámetros para obtener un acc por encima del 48%, Con eso no tuve problemas pero luego de eso se plantea un experimento (copio abajo) 

**Experiment**: You goal in this exercise is to get as good of a result on CIFAR-10 as you can (52% could serve as a reference), with a fully-connected Neural Network. Feel free implement your own techniques (e.g. PCA to reduce dimensionality, or adding dropout, or adding features to the solver, etc.).

En esta parte he implementado tomar los PCA de las imágenes (variando la cantidad de componentes que se tienen en cuenta) y estoy teniendo resultados muy malos, en validación no supera el 30%. Quería consultar si tienen algún comentario respecto a eso. 

En respuesta a Alejandro Silva

Re: Experimento two_layer_net

de Gaston Garcia Gonzalez -
Buenas Alejandro,

que bueno que te animaste a implementar otras cosas.
PCA para pre-procesar las entradas de una red neuronal lo he visto para reducir el tiempo de entrenamiento, pero nada indica que vaya a mejorar la performance, ya que estás reduciendo la información de las entradas, quitando redundancia que quizás es importante.
Por otro lado, algo que se me ocurre es que si implementaste PCA vos mismo puede ser que te hayas olvidado de centrar los datos en el origen. Si utilizas Scikit-learn, la función ya te centra los datos en cero.

Saludos