Estás entendiendo bien. Desde que un controlador de un dispostivo baja su señal IRQi hasta que se comienza a atender la rutina, no tendría por qué haber interacción CPU <-> controlador de dispostivo. El bus está dibujado porque la conexión está igual para ser usada en otro momento.
Saludos!