Opino que es un mensaje más que esperable si estás decodificando mal.
A donde tu programa tome uno de los caracteres de prueba y devuelva un valor no ascii, es lo esperable esa salida ya que el editor de texto espera archivos de texto plano.
Para empezar a depurarlo deberías utilizar algo que permita abrir archivos no ascii, muy recomendadamente por nosotros (incluso en la letra de la tarea) el Bless.
A donde tu programa tome uno de los caracteres de prueba y devuelva un valor no ascii, es lo esperable esa salida ya que el editor de texto espera archivos de texto plano.
Para empezar a depurarlo deberías utilizar algo que permita abrir archivos no ascii, muy recomendadamente por nosotros (incluso en la letra de la tarea) el Bless.