Hola no entiendo como interpertar el conjunto antes y despues de la aplicar la T.L, no sé como formar un cuadrado con los vertices que me dan(no seria un triangulo?), la idea grafica que llegué fue esa, tampoco saberia cuales serian los extremos de integracion dx dy :
1) antes de la T.L que sugiere la solucion:
2) despues de aplicar T.l a los vertices
Hola. El dominio es un cuadrado, solo se dan 3 vértices porque al decirte que es un cuadrado y darte 3 de los vértices, queda implícito cuál es el cuarto (sería el 
como en tu dibujo).
Una vez que tenés el dominio, tratá de pensar encontrar una transformación lineal que lleve ese cuadrado a un cuadrado de lados paralelos a los ejes (es la sugerencia que da la solución).
Saludos