dataset L1 inmanejable para SQL Server Managment Studio

dataset L1 inmanejable para SQL Server Managment Studio

de Marta Cecilia Garcia Camilo -
Número de respuestas: 6

Hola!!

A partir de los .csv se intentó generar las bd L1 y L2 en SQL Server Managment Studio. Para L2 fue posible, pero no así para L2, a grandes rasgos por longitud de campos y por el tamaño del archivo. Sería posible truncar campos? Es viable dividir el archivo original en partes más pequeñas? 

Estaré atenta a sus sugerencias.

Saludos,

Cecilia. 

En respuesta a Marta Cecilia Garcia Camilo

Re: dataset L1 inmanejable para SQL Server Managment Studio

de Adriana Marotta -
Hola Cecilia,

Me parece muy raro lo que planteás. Me podrías decir exactamente qué tipo de campos no pudo soportar la bd? La cantidad de tuplas tampoco puede ser que no la soporte.
De todas maneras, si van a utilizar una base de datos relacional, les sugerimos que utilicen postgreSQL.

Saludos,
Adriana
En respuesta a Adriana Marotta

Re: dataset L1 inmanejable para SQL Server Managment Studio

de Marta Cecilia Garcia Camilo -
Hola Adriana,

Por ejemplo el campo descripción excedía el largo posible, aunque agrandara la longitud del mismo.
El archivo completo (2,7 gb) devuelve System Out of Memory Exception.
Podemos intentar con PostgreSQL.

Gracias.
Saludos,
Cecilia
En respuesta a Marta Cecilia Garcia Camilo

Re: dataset L1 inmanejable para SQL Server Managment Studio

de Agustín Torres Mari -
Buenas!
Con mi equipo nos está pasando algo parecido.
Primero probamos en guardar el dataset integrado en un archivo .csv, pero este terminaba pesando aproximadamente 6GB y se volvia inmanejable a la hora de utilizar pandas para estudiarlo y generar los reportes.
Por lo tanto, armamos una base de datos PostgreSQL y guardamos los datos en una sola tabla. Esta tabla tiene aproximadamente 4 millones de filas. Utilizando pandas nuevamente se nos hace imposible generar un reporte que utilice las 4 millones de tuplas, esto debido a que no nos da la memoria (mi computadora tiene 16gb de ram).
Se nos ocurrió utilizando SQL tomar menos tuplas, pero esto no se si sería lo correcto debido a que no representa toda la realidad.
Alguna recomendación? Tratamos de mantener los datos lo más crudos posible como se mencionó en un mensaje del foro previamente.
Saludos, Agustín.
En respuesta a Agustín Torres Mari

Re: dataset L1 inmanejable para SQL Server Managment Studio

de Flavia Serra -
Hola Agustín,

de tu planteo me surgen para ustedes las siguientes preguntas:

- Consideran que la mejor solución para la NL es una única tabla?
- Consideran que tener una única tabla permite explotar de la mejor manera la gestión de calidad de datos?
- Ustedes están pensando en una BD relacional como solución, siendo así, están teniendo en cuenta todo lo que han aprendido para diseñar BD relacionales?

Mi recomendación es que reflexionen respecto a estas preguntas que les dejo, para que analicen si están yendo por la mejor opción. Seguimos discutiendo.

Saludos,
Flavia
En respuesta a Flavia Serra

Re: dataset L1 inmanejable para SQL Server Managment Studio

de Agustín Torres Mari -
Buenas Flavia!
Tenés toda la razón del mundo, continuamos trabajando luego del mensaje que envié y mejoramos el diseño de la base de datos, lo que nos permitió poder generar reportes automáticos respecto a usuarios y libros.
Sin embargo, seguimos teniendo problema con generar reportes automáticos de los ratings, hay tantas reseñas (4 millones) que el pandas ocupa demasiada ram al generar el reporte y se corta el proceso.
Es una opción viable ver los reportes y realizar los mismos estudios mediante SQL, que está mucho más optimizado para hacer consultas?
Desde ya muchas gracias!
En respuesta a Agustín Torres Mari

Re: dataset L1 inmanejable para SQL Server Managment Studio

de Flavia Serra -
Hola Agustin,

entiendo que toda esta conversación es sobre el data profiling. Están en una BD postgreSQL, así que claro que tiene sentido usar SQL. Por otro lado, si quieren usar pandas tiene sentido usar un muestreo de los datos para hacer análisis, mientras que en postgres pueden usar los 4 millones sin problemas.

Saludos!
Flavia