Buenas!! Espero anden bien,
Me surgió una duda viendo la solución al problema mencionado en el asunto. Sobre el final de la implementación de la función download(url), donde aparece el comentario -- saltearse header, entiendo que del header del mensaje-response http se está eliminando, y en el buffer (buff) solo queda el body. Luego de extraer los links del body, se hace appendfile(buildfilename(url), buff).
Esto está bien?, lo digo porque la consigna era guardar en disco todas las páginas enlazadas, y así cómo está no se estaría grabando a disco partes de la mismas (el header en particular).
Gracias desde ya,