Hola Daniel,
La ecuación $$x=5$$ corresponde a una recta vertical de valor constante en $$x$$ y un $$y$$ variable en todo $$\mathbb{R}$$. Al aplicarle la función $$S$$ a dicha recta, lo que se obtiene es una recta cuya ecuación será $$y=5$$, la cual representa una recta horizontal de valor constante en $$y$$ y un $$x$$ variable en todo $$\mathbb{R}$$. Analíticamente se debería plantear $$S(5,y)'=(y,5)'$$.
Para las otras partes tenés que escribir la recta dada por las distintas ecuaciones como un vector genérico de $$\mathbb{R}^2$$ (por ejemplo, un vector genérico de la recta $$x-y=2$$ sería $$(x,x-2)$$), multiplicar la matriz $$S$$ por dicho vector y luego representar en el plano la nueva recta obtenida. Como dice el título del ejercicio, la función S simetriza cualquier figura respecto a la recta $$x=y$$.
Saludos