Los archivos son reales y corresponden a diferentes días de trabajo del servidor. Hay días de más trabajo y días con menos trabajo también para los servidores. La idea es que lo procesen y lo que requiera almacenamiento, sea casi independiente del tamaño del archivo.
No es la idea que se analice manualmente. Deberían automatizar eso también. No se espera que determinen nada eso de forma manual. está bien que validen alguna líneas a mano y que se aseguren que los scripts dan los resultados esperados, pero no deben procesar ni 50 líneas a mano....
Sugiero que busquen una estrategia adecuada para la programación, y lo discutan en el monitoreo.