sobre parte a) trabajo final

sobre parte a) trabajo final

de Jhonnatan Uzuriaga Ospina -
Número de respuestas: 13

Hola, ¿que tal?

Mientras hacía el filtrado de datos de la parte a) del trabajo final, me surge una duda. Si se grafica la serie temporal se ve que hay una "sobre-estimación" de algunos datos de irradiación, donde el valor va hasta un par de órdenes de magnitud más, lo que noté es que si dichos valores estuvieran dentro del orden de magnitud de los datos considerados normales, se ajustarían bien. Entonces, ¿estos datos tendrán un error del instrumento a la hora de exportar las medidas?, o ¿estos datos simplemente se filtran?.


Gracias y saludos

En respuesta a Jhonnatan Uzuriaga Ospina

Re: sobre parte a) trabajo final

de Rodrigo Alonso -

Hola Jhonnatan,

Si encontras alguna forma "explicable" y simple para entender los datos que se van fuera de rango, uno podría intentar corregirlos invirtiendo el proceso que uno detecto. Este sería un procedimiento bien delicado, y sólo estaría correcto hacerlo si uno está muy seguro de lo que afectó a los datos. En cualquier otro caso, es más razonable utilizar el dato satelital para completar la serie.

Saludos, Rodrigo

En respuesta a Rodrigo Alonso

Re: sobre parte a) trabajo final

de Fuad Jorge Haffar Nemnom -

Buen día, acabo de ver que la parte c) del trabajo pide completar la serie de DHI con un modelo de fracción difusa, yo hice esto para la parte a). 

Entonces, para la parte a) solo descarto los datos faltantes (NA) de DHI o continúo con los datos completados???

Gracias.

En respuesta a Fuad Jorge Haffar Nemnom

Re: sobre parte a) trabajo final

de Rodrigo Alonso -

Hola Fuad,

En efecto, son dos procesos que están muy relacionados, pero son distintos.

En la parte (a) se pide sólo realizar el filtrado y quedarse con las muestras buenas (de GHI y DHI), elaborando una Tabla que muestre el porcentaje de eliminación de cada filtro sucesivo. Sería buena cosa agregar diagramas que muestren que el filtrado fue efectivo. Debo decir que yo tuve que hacer un filtrado relativamente exhaustivo de este dataset, para llegar a algo utilizable (en conjunto con los datos satelitales).

En la parte (c) es donde se pide el proceso de completado, junto con algunos gráficos de diagnóstico luego de este proceso. No es casualidad que el completado se pida luego de la parte (b), que pide site-adaptar los datos satelitales.

Creo que es natural abordar los procesos de filtrado, adaptación y completado medio que en paralelo, por lo que si lo hiciste así, solo tenes que desglosar el trabajo en cada parte. Como comenté en otro post, en mi experiencia, cada minuto dedicado a generar un buen set de datos final y con importante completitud (apuntar al 100%), ahorra muchos dolores de cabeza posteriores, y es una buena inversión. Mi recomendación es que no salgan de este proceso sin que los datos completados tengan buen aspecto en todos los diagramas, sin considerar un filtro de altura solar. Cada uno gradúa este proceso en función del tiempo que pueda destinar, claro.

Como referencia, cuando resolví el Trabajo Final logré llegar a una completitud del 100% con diagramas razonables, sin usar interpolación horario, por ejemplo, que sería la última opción en un proceso de completado (y hasta 2 horas consecutivas, máximo). Lograr un set con completitud de 100%, también, ahorra dolores de cabeza.

Saludos, Rodrigo

En respuesta a Rodrigo Alonso

Re: sobre parte a) trabajo final

de Daniel Alejandro Perez Mendez -

Hola buenas noches,


Durante el proceso de filtrado de la parte a), tomé como referencia GHI para el proceso de filtrado, y descarté las mismas posiciones en el vector de DHI. Al finalizar, me di cuenta que hay valores de DHI sobre estimados aún, mi duda es si al realizar un proceso de filtrado de los datos de DHI que están sobre estimados, debo a su vez descartar esos datos del vector de GHI, para que queden de la misma magnitud, porque en caso contrario me quedan de diferentes dimensiones.


Espero poder haber trasladado mi consulta de forma correcta.


Saludos y gracias.

En respuesta a Daniel Alejandro Perez Mendez

Re: sobre parte a) trabajo final

de Jhonnatan Uzuriaga Ospina -

Me adhiero a esta consulta preguntando también algo. La cantidad de datos filtrados que se piden tabular se calculan sobre un total de horas de GHI+DHI?. 

La duda de Daniel también me surgió ya que hay un par de fitros que usan un modelo de cielo claro, uno para GHI y otro para DHI.


En respuesta a Jhonnatan Uzuriaga Ospina

Re: sobre parte a) trabajo final

de Juan Manuel Romero -

Yo lo que estoy considerando es que si el filtro evalúa la calidad el la medida de DHI o el valor de fd, elimino solo la medida de DHI y eventualmente un filtro que evalúe la calidad de GHI dirá si es buena o no. Sin embargo si un dato de GHI no pasa un control de calidad que evalúa algún parámetro relacionado con GHI elimino las dos.

¿Es correcto este procedimiento?

Saludos

Juan  

En respuesta a Juan Manuel Romero

Re: sobre parte a) trabajo final

de Daniel Alejandro Perez Mendez -

Buenas tardes,


En otra línea de consultas, se hace referencia al procedimiento indicado en las últimas diapositivas de la siguiente clase:

http://les.edu.uy/FRS/clases/FRS2020_clase06_calidad2.pdf

Lo usé como guía y utilizando algún criterio ajustado a los datos que disponemos, logré llegar a un filtrado más coherente.

El gráfico fd vs kt, ofrece visualmente un gran apoyo para irse orientando.


Saludos,


Daniel P.

En respuesta a Daniel Alejandro Perez Mendez

Re: sobre parte a) trabajo final

de Jhonnatan Uzuriaga Ospina -

Re bien Daniel,

Yo también me ayudé de los filtros de esa clase y al final obtuve la gráfica adjunta, que me da algo de desconfianza en la parte encerrada en el círculo. También tengo una duda en cuanto al conteo de horas que se filtran. Dicho conteo se hace sobre la totalidad de horas usables GHI y DHI?.

Gracias y saludos,


En respuesta a Jhonnatan Uzuriaga Ospina

Re: sobre parte a) trabajo final

de Daniel Alejandro Perez Mendez -

Jhonnatan,

La gráfica que me obtuve es bastante similar a la tuya, y también tengo dudas de como filtrar esos datos. Pensé en calcular fd por Ruiz Arias con kT apartir de datos satelitales y luego usar el filtro F7 de la última diapositiva de la clase de filtrado de calidad, pero no he tenido éxito en la implementación. 

En cuanto al porcentaje de datos filtrados, lo estoy haciendo en relación del total de datos diurnos (cosZ>0).

Saludos,

Daniel.

En respuesta a Daniel Alejandro Perez Mendez

Re: sobre parte a) trabajo final

de Rodrigo Alonso -

Estimados,

Excelente la discusión. Varias cosas.

* Es posible llevar dos filtrados, uno para GHI y otro para DHI, y por varios motivos es deseable. Tienen filtros para GHI y filtros para DHI. Para los filtros que usan ambas, como por ejemplo los basados en fd, hay dos opciones: (i) filtrar ambas dado que este filtro no distingue qué medida es la errónea y (ii) filtrar solo la DHI, sobre la base de que la medida de global es más simple y se esperan menos errores en su medida. La opción (i) es más conservadora que la opción (ii), pero ambas son posibles. La opción (ii) preserva más datos medidos, lo cual es bueno. Antes de usar la opción (ii) yo fundamentaría, por inspección visual, que no se observan anomalías en la medida de GHI, por lo que se la toma como buena.

* En caso de tener filtrados distintos para GHI y DHI, deberán incluir dos Tablas de filtrado.

* Creo que están poniendo mucho acento en los filtros y poco en la inspección visual. Esto es normal, claro, pero recuerden que la inspección visual puede ser más detallada de lo que he visto en este hilo. Por ejemplo, los puntos que señala Jhonnatan son valores de fd ~ 1 para muchos valores de kt, incluso valores altos. Si hacen un diagrama fd vs kt previo al filtrado, van a encontrar muchos puntos en esta condición: esto es sospechoso de desalineamiento del tracker, dado que son muestras donde GHI y DHI son parecidos, incluso para kt alto, donde no debería ocurrir. Los desalineamiento típicamente ocurren durante algunos periodos de tiempo, no son, por ejemplo, un fenómeno que ocurra esporádicamente o intermitentemente. Por tanto, es sencillo detectar los periodos de desalineamiento del tracker (GHI = DHI y DNI = 0) desde una inspección visual de la serie temporal. Al detectar este problema, es un error evidente, y se puede eliminar manualmente seleccionando el periodo de tiempo erróneo. Este filtrado afectaría solo a la DHI, dado que la desalinación no afecta la medida de GHI.

* Los filtrados usualmente se realizan colocando Nan (u otro tag no numérico, o vaciando la celda) en el dato filtrado, no eliminando el registro (o la fila). Es recomendable que los vectores o columnas de GHI y DHI quedar siempre solidarios a la misma etiqueta temporal.

* Existen filtros de máxima y mínima para la DHI. Si los van a usar, sugiero que inspeccionen bien su funcionamiento y ajusten sus parámetros para que no sobre-filtren la serie, en especial para muestras muy nubladas o de sol bajo. Si los van a usar, pueden poner condiciones para aplicar estos filtros solo cuando no hay sol bajo o cuando no hay alta nubosidad.

Saludos, Rodrigo

En respuesta a Jhonnatan Uzuriaga Ospina

Re: sobre parte a) trabajo final

de Fuad Jorge Haffar Nemnom -

Buen día,

Para esos datos que mencionas y algunos de la parte inferior izquierda de los puntos me ayudó el filtro que usa la fracción difusa del modelo Ruiz-Arias (│fd(RA2s)-fd│/σ). La gráfica me quedó así.

 

Adjunto Captura.PNG