Lo que me parece es que si lo pensas girando el dibujo 45grados a la derecha para poder verlo mejor y consideras que en realidad la normal a cada uno de los cuadrados 3 y 4 por separado son distintas (dos rectas que van de vértice a vértice del cuadrado grande).Entonces si planteas dos veces la ley de Snell tenes el ángulo en el medio 4 considerando el ángulo inicial de incidencia y con su complementario planteas lo mismo para el medio 3.Si el rayo incidente en el medio 1 fuese mayor que 45 grados el problema seria todo simétrico para el otro lado y habría rayos transmitidos pero en 2 y 4 que se calcularían de forma análoga. Me parece que se resume en plantar bien la normal a cada superficie en el punto de incidencia. ¿De donde salio el problema?.Si encontras la verdadera solución molestate en subirla por que estuve una rato pensándolo.De hecho creo que habría un solo rayo reflejado con el mismo de ángulo de incidencia que regresa por el medio 1 siempre y dos trasmitidos que dependen de como incida 1 irían al medio 3 y 4 o al medio 2 y 4, que se calculan con la ley de Snell y considerando bien cual es el ángulo con la normal en cada caso.