Hola.
Podrías verificar si la distribución de X_1 es estacionaria para la cadena, es decir, si el vector (fila) de probabilidad para X_1 es un vector propio de P.
Si eso ocurre, entonces la distribución de X_2 coincide con la de X1. Aplicando el mismo razonamiento a partir de X_2 se concluye que la distribución de X_3 también coincide, y siguiendo de esa manera se concluye que todas las X_i tienen la misma distribución.
Saludos,
Álvaro