Datos indexados o series temporales

Datos indexados o series temporales

de Fernando Santomauro -
Número de respuestas: 3

Buenas tardes:

Estoy trabajando con datos que tienen una variable fecha-hora. Debo hacer operaciones entre filas. Hasta ahora he resuelto construyendo un indice y haciendo operaciones con ellos. Ahora necesito sumar las energías entre rangos variables de filas.

He buscado distintos paquetes que operan con series temporales o datos indexados y no encuentro ninguno muy concluyente.

Ejemplo ts-spark (Discontinuado), ordenedRDD (solo scala) o ts-flint (Para python3). 

Con las operaciones básicas de RDD no se me ocurre una solución que no sea forzar la herramienta. 

Existe algún paquete que permita trabajar con este tipo de datos?

En respuesta a Fernando Santomauro

Re: Datos indexados o series temporales

de Gerardo Goñi -
Hola.

¿podrías ser más específico con la pregunta?

No logramos entender bien que es lo que quieres hacer.

Gracias.
En respuesta a Gerardo Goñi

Re: Datos indexados o series temporales

de Fernando Santomauro -

Bueno, ahora tenemos unos datos como estos:

('20170705121333', {'field2': 1128, 'created_at': '2017-07-05 12:13:33 -0300', 'key': '20170705121333'}),

('20170705121433', {'field2': 1128, 'created_at': '2017-07-05 12:14:33 -0300', 'key': '20170705121433'}),

 ('20170705121533', {'field2': 1128, 'created_at': '2017-07-05 12:15:33 -0300', 'key': '20170705121533'}),

 ('20170705121633', {'field2': 1128, 'created_at': '2017-07-05 12:16:33 -0300', 'key': '20170705121633'}),....


Y esta lista que tiene el comienzo y fin de cada encendida.

[('20170705172633', '20170705173033'), ('20171115190014', '20171115192514'), ('20171025231707', '20171025232107'), ('20171007102242', '20171007102542'),....

Quiero sumas la energía de cada encendida (field2) o sea de todos los registros comprendidos entre comienzo y fin. Mi idea es poner una clave única a estos registros y después hacer un reduce. Este es el punto que se me complica.

Espero que sea mas claro.

En respuesta a Fernando Santomauro

Re: Datos indexados o series temporales

de Sergio Nesmachnow -

Hola,

Perdón, pero recién puedo ver la descripción del procesamiento que propones.

No me queda claro lo de "registros comprendidos entre comienzo y fin", pero en python el filtro por fecha se puede realizar simplemente comparando los strings de fecha. La etapa de mapeo continuaría con la extracción del campo relevante (la energía, o field2). Luego se puede utilizar la fecha (o la fecha-hora) como clave para el procesamiento y la reducción sería la suma que reportaría el consumo total por fecha (o fecha-hora, tal como se haya realizado el filtrado y la definición de la clave).

Si hay alguna complicación adicional que no entiendo por favor me la aclaras, para intentar ver una posible solución.

Saludos

SN