Tiempo de búsqueda de ASN (Obligatorio 1, Parte 1)

Tiempo de búsqueda de ASN (Obligatorio 1, Parte 1)

de Ignacio Bianchi Camenschic -
Número de respuestas: 2

Buenas tardes!

Descargamos una base de datos que mantiene los rangos de ip's asignados a los ASN, importada como dataframe al script de la solucion.
Las consultas sin embargo son relativamente lentas pues la base tiene 500.000 entradas y es necesario consultar los rangos convirtiendolos a su equivalente numérico. Podria cambiarse el orden de acceso a la base a log(n) si usamos alguna exploracion no lineal de la base (biparticion por ejemplo), pues los rangos estan ordenados de forma creciente.

Actualmente con una exploración lineal y un subgrupo de mas o menos 1800 ip's diferentes, la consulta para los ASN demora unos 2 minutos. Nuestro log tiene 45000 ip's diferentes, por lo que estimamos un poco menos de 50 minutos de procesamiento para esa parte. Es aceptable que la solución maneje estos tiempos de ejecución o se espera algo bastante mas rápido?

Saludos, y gracias por su tiempo!

En respuesta a Ignacio Bianchi Camenschic

Re: Tiempo de búsqueda de ASN (Obligatorio 1, Parte 1)

de Ariel Sabiguero Yawelak -

Los tiempos son aceptables, no creo que valga la pena la optimización que plantean.

Igual pregunto: ¿probaron búsquedas en paralelo?

Digamos, dividir los datos en 10 juegos de 4.500 direcciones y ejecutar en paralelo 10 scripts que hagan la búsqueda. Quizás baje a 5 minutos ;-) Depende del problema puntual y uso de recursos, pero puede valer la pena hacerlo LUEGO que terminen toda la tarea. Es "divertido", pero no es el foco del obligatorio. Mientras obtengan la solución en un tiempo acotado e inferior al plazo de la entrega, está bien.