Tenés que hacer la integral doble sobre el semiplano $$\{Y>X\}$$ de la densidad conjunta.
Como la densidad conjunta te queda $$\frac{1}{ab}$$ cuando $$0<x<a, $$ $$0<y<b$$ y 0 en el resto, esa densidad tenés que integrar en la intersección entre el semiplano $$\{Y>X\}$$ y el rectángulo $$0<x<a, $$ $$0<y<b$$.
Te conviene hacerte el dibujo para ver los extremos, debería quedarte $$\int_0^a dx \int_x^b \frac{1}{ab}dy$$.
Si no cierra algo avisás.
Saludos, Juan.