Seguí buscando y logre resolver, lo comento acá por si a alguien más le sirve:
En el script fast_layers.py poner estás dos lineas
En el script fast_layers.py poner estás dos lineas
import pyximport
pyximport.install()
antes de
from .im2col_cython import col2im_cython, im2col_cython
from .im2col_cython import col2im_6d_cython
Luego de correr una vez pueden comentar o borrar estas dos lines y todo sigue funcionando.