Estimado,
En principio el comportamiento que describís no parece estar mal. El 'último bit recibido' es el bit que hubo en el último flanco de reloj, y el bit actual es el bit que aparece en la entrada en un momento dado. De esta manera, si el último bit fue 1 y el actual varía entre 0->1->0->1 antes de que se produzca el siguiente flanco ascendente, la salida va a variar con cada transición, y para este problema eso no tiene ningún problema, el comportamiento es correcto. Si la entrada se estabiliza en 0 y se produce un flanco ascendente, entonces pasado ese flanco, el 'último bit recibido' es 0 y el actual también es 0, la salida va a presentar que son iguales, y es lo correcto.
Habiendo dicho esto, en general en las máquinas de Mealy (como la que construiste tú), es recomendable tomar como válida la salida únicamente en los flancos ascendentes, pues en otros momentos del período es posible que las entradas estén oscilando, y por tanto posiblemente también la salida. En la transición eso no puede ocurrir para que se respeten los tiempos de setup de los flip flops
Por otro lado, si lo que querés es que la salida nunca cambie con respecto a la entrada,entonces lo que tenés que construir es una máquina de Moore. En la metodología del curso las podés reconocer como aquellas en que para cada estado, ese estado emite siempre la misma salida sin importar la entrada recibida (las transiciones sí varían en función de la entrada)
Saludos,
Federico