Posible archivo log incorrecto

Posible archivo log incorrecto

de Rodrigo Sebastian Gallardo Negrín -
Número de respuestas: 1

Buenas,

Somos del grupo 59, y tenemos un problema con el archivo log.

Nuestro archivo log descomprimido pesa 3,7GB, y tiene alrededor de 20 millones de lineas. El problema que tenemos es que cuando intentamos ejecutar nuestros programas para analizar los logs, la memoria no nos alcanza para almacenar las estructuras de datos que creemos necesarias para resolver las preguntas. (Por ejemplo, si obtenemos la cantidad de ips distintas, nos da aproximadamente 33930, lo cual para analizar manualmente de que pais provienen es imposible).

Estuvimos mirando otros logs de otros equipos, y la cantidad de lineas es mucho menor que la nuestra (Por ejemplo, un millon de lineas), lo cual resulta mucho menos costoso en cuanto memoria.

Puede que nuestro archivo de log este incorrecto? O tienen alguna sugerencia en cuanto al manejo de un log tan grande?

Desde ya, muchas gracias.

En respuesta a Rodrigo Sebastian Gallardo Negrín

Re: Posible archivo log incorrecto

de Ariel Sabiguero Yawelak -

Los archivos son reales y corresponden a diferentes días de trabajo del servidor. Hay días de más trabajo y días con menos trabajo también para los servidores. La idea es que lo procesen y lo que requiera almacenamiento, sea casi independiente del tamaño del archivo.

No es la idea que se analice manualmente. Deberían automatizar eso también. No se espera que determinen nada eso de forma manual. está bien que validen alguna líneas a mano y que se aseguren que los scripts dan los resultados esperados, pero no deben procesar ni 50 líneas a mano....

Sugiero que busquen una estrategia adecuada para la programación, y lo discutan en el monitoreo.