Hola,
Muy buena pregunta. Creo que más fácil de ver en el espectro. Todo enventanado se puede ver como una multiplicación en el tiempo, que a su vez es una convolución en frecuencia. En este caso, si usás una ventana rectangular, estás convolucionando por un sinc, pero eso es más bien anecdótico. Sea cual sea la ventana, esa convolución te va a "romper" la simetría vestigial alrededor de 1/(2Ts) que necesitás para que P(f)^2 cumpla la condición de Nyquist. Cuanto más parecido a una delta (en este caso, cuanto más larga sea la ventana) mejor, pero nunca vas a lograr un pulso de Nyquist perfecto.
O sea, al fin y al cabo terminamos con un pulso que es de soporte acotado, pero siempre tiene algo de ISI y siempre ocupa algo de ancho de banda por fuera de (1+\rho)/(2Ts).
Como comenté muy por arriba en clase, hay gente que argumenta que lo mejor es diseñar filtros digitales FIR que maximicen la simetría vestigial, que es en realidad lo que estás buscando. En el libro de Rice se discute alguna técnica (por ejemplo la de este paper: Harris, Fredric J., K. C. Dick, K. Moerder, and S. Seshagiri. "An improved square-root Nyquist shaping filter." Proc. Software Defined Radio, SDR’05 (2005): 15-17.) o incluso en el libro del propio fred j harris (que pide que se escriba su nombre en minúsculas): Multirate Signal Processing for Communication Systems, del cual tenemos copia por si quieren vicharlo.
saludos