En realidad ambas cosas están mal.
Hay un error en la solución ya que debería ser P_e=Q(sqrt(2E_b/eta)) (el factor 1/2 fuera de la Q está mal)
Por otro lado, en la expresión que vos planteas falta una raíz cuadrada y además es la probabilidad de error de símbolo y no de bit, y la relación entre ellas para 4-QAM sería P_e = P_s/2 (en el caso general P_e = P_s/log_2(M))
Lo mismo ocurre para la E que está dentro de la Q en esa fórmula, corresponde a la energía de símbolo y se relaciona con la energía de bit como E_s = 2 E_b
De esa forma, utilizando la ecuación queda P_e = P_s/log_2(M) = 4/log_2(M) (1-1/sqrt(M)) Q(sqrt(3 2E_b/((M-1)eta)) que sustituyendo por M=2 queda P_e=Q(sqrt(2E_b/eta))