Buenas!
Esto se debe a que, una vez pasado realmin, lo que nos da son números subnormales. Tiene que ver con el coeficiente líder en la representación de punto flotante, y cómo la computadora interpreta esto.
El número realmin es el menor número normal que puede representar la precisión doble, que tiene como exponente mínimo
. Pasado este, tenemos vía libre para elegir que hacer con todos los números que tienen exponente 
y mantisa no cero (mantisa 0 son las dos representaciones del cero). Acá es donde aparecen los números subnormales, que es lo que te está pasando a vos.
Esto se debe a que, una vez pasado realmin, lo que nos da son números subnormales. Tiene que ver con el coeficiente líder en la representación de punto flotante, y cómo la computadora interpreta esto.
El número realmin es el menor número normal que puede representar la precisión doble, que tiene como exponente mínimo
. Pasado este, tenemos vía libre para elegir que hacer con todos los números que tienen exponente y mantisa no cero (mantisa 0 son las dos representaciones del cero). Acá es donde aparecen los números subnormales, que es lo que te está pasando a vos.Para ver el mínimo numero representable por la computadora en precisión doble pero incluyendo el rango subnormal, hay que multiplicar el épsilon de máquina por realmin.
En otras palabras, la precisión en Octave está llegando a
que es lo que te está dando a vos.
Probá hacer la cuenta de eps*realmin y fijate cuánto te da para ver si te convence.
Saludos!