Buenas,
Somos del grupo 59, y tenemos un problema con el archivo log.
Nuestro archivo log descomprimido pesa 3,7GB, y tiene alrededor de 20 millones de lineas. El problema que tenemos es que cuando intentamos ejecutar nuestros programas para analizar los logs, la memoria no nos alcanza para almacenar las estructuras de datos que creemos necesarias para resolver las preguntas. (Por ejemplo, si obtenemos la cantidad de ips distintas, nos da aproximadamente 33930, lo cual para analizar manualmente de que pais provienen es imposible).
Estuvimos mirando otros logs de otros equipos, y la cantidad de lineas es mucho menor que la nuestra (Por ejemplo, un millon de lineas), lo cual resulta mucho menos costoso en cuanto memoria.
Puede que nuestro archivo de log este incorrecto? O tienen alguna sugerencia en cuanto al manejo de un log tan grande?
Desde ya, muchas gracias.