Buenas,
No estoy del todo seguro que la segunda igualdad que planteaste se cumpla. A priori, pensando en la definición te diría que no tiene porqué cumplirse. Sin embargo la entropía de Xi sí la precisas para llegar al resultado final. Esa entropía es calculada en el ejercicio 7 del práctico 1 y se hace de forma un poco más guiada. Te recomiendo mirar ese ejercicio y si sigues con dudas vuelve a consultar.
Buenas,
Sí, es un proceso de Markov. Si te fijas en la definición del proceso, para todo n mayor a 0, S_n depende solo del anterior y de ningún otro. Esto cumple con la definición de proceso de Markov vista en el curso.