Pr3 ej3

Pr3 ej3

de Valentina Chagas Bas -
Número de respuestas: 2

Hola, estoy teniendo problemas para hacer este ejercicio.

Primero que nada implementé regresión logistica usando descenso por gradiente con este algoritmo:



Despues para calcular el error, nunca estoy segura de que error se refieren, si al error de clasificacion o que error en particular. 

En este caso como yo encontre el w que maximiza la probabilidad de que y=yn dado xn y w, para calcular el error de clasificación tendría que definir los valores de mi y para compararlo con el y de etiquetas que nos dan. No estoy segura como hacer esto. Alguna ayuda?

Suponiendo que todo anda despues quise hacer el ej de las flores y me encontre que con la sugerencia:
 ATENCIÓN: La clase Iris-setosa es linealmente separable de las demás utilizando una sola característica por lo que puede ser útil para verificar el correcto funcionamiento del método regresión logística

No entiendo bien, las graficas que dan mas arriba son los datos de las flores graficados segun 2 caracteristicas, donde se ve que en general "Iris-versicolor" e "Iris-virginica" las rojas y azules no son linealmente separables entre si mientras que iris-setosa en general si lo es respecto a las otras dos. Lo que no entiendo es eso de usar una sola caracteristica para separarlas, cómo hace preprocesar_iris para separarlas segun una sola caracteristica?

Siguiendo la sugerencia intente separar iris-setosa usando esta data y esas labels:


y elegi una sola caracteristica, por ejemplo la 1


en umbral la verdad no se que poner, puse 0.5 porque son dos clases pero al ver lo que grafica despues parece que nada que ver porque va hasta 5, o sea el umbral no es una probabilidad.


Se que la pregunta es larga, pero por favor me podrían contestar aunque sea algo? Asi no me tranco demasiado y puedo avanzar y entender los conceptos. 

Saludos y gracias.

En respuesta a Valentina Chagas Bas

Re: Pr3 ej3

de Federico Lecumberry -

El error que se debe calcular en la iteración es el E_in, que es el que se quiere minimizar con el procedimiento de descenso por gradiente; fijate las partes (c) y (d).

El comentario que hacemos es que la clase de Iris-setosa (la verde en los puntos graficados) es linealmente separable de las otras dos clases, por lo tanto sugerimos que sea la clase positiva en una primera verificación.


La gráfica muestra la distribución de los puntos de las clases para las cuatro características (features) del problema. Ahí vemos que con petal length Iris-setosa se separa con un umbral (lineal). 

Cuando hacemos la Iris-virginica (azul) como clase positiva no hay una característica que la separe de las otras dos (clase negativa). ¿Hay alguna en que sea mejor que las otras? Se debería encontrar que en este caso el error al que se llega es mayor que con el caso de Iris-setosa.

El umbral va a ser el valor de la característica que se determina para separar las clases con el w_text{iris} que se obtiene de la regresión logística. Este umbral debería estar en el rango que se selecciona «a ojo» de las gráficas (ver que los rangos de petal_length y petal_witdth en la figura anterior no son los mismo y por lo tanto el umbral tampoco). Verificar esto en el caso de Iris-setosa. El umbral se debe calcular a partir de w_text{iris}.

Espero que ayude.