Efecticvamente la performace es la desventaja mayor de los sistemas con microkernel y es la razón por la que casi no se usan en la práctica.
Por otro lado que el manjeador de dispositivos ejecute en modo usuario no quiere decir que lo pueda usar cualquier otro proceso de usuario sin pasar por el sistema operativo. Al igual que cualquier otro proceso está aislado de los demás y se requiere pasar por el sistema operativo de alguna forma para interactuar con él.