No estoy del todo seguro si entiendo la pregunta, entiendo que te referís a las dir entries que tiene un directorio.
Justamente la idea de marcarlas como usadas o no es no tener que mover todo cada vez que se borra un archivo o directorio. Solamente se marca la entada como libre y se deja todo igual. El tamaño del directorio incluye todas las dir entries que tiene, sin importar si están usadas o no porque ocupan espacio en disco igual.
El file system puede hacer optimizaciones si, por ejemplo, tiene un bloque con todas dir entries vacías podría eliminarlo o si tiene 5 bloques con una entrada usada en cada uno podría unificar todo en un solo bloque pero eso depende de la implementación.
Saludos