Hola jaja, creo que la idea es esta: vos tenes 7 libros y tenes que tener por lo menos 1 libro entre medio de los libros que determinas, algo así como X|X|X, (las X son los 3 libros determinados y los | los libros separadores). Entonces te quedan 2 libros que podes poner en donde quieras, es decir, antes de las X o después de estas o en cualquier lugar, y la forma de determinar la cantidad de posiciones sería la CR(4,2)=C(5,2).
Pero la cosa es que son 4 libros diferentes, entonces la solución seria 3!*P(4,2)*(C(5,2)*P(2,2))=1440. O sea, la permutación de los 3 libros elegidos en los 3 lugares por la permutación de los 4 libros en los 2 lugares que separan multiplicado por la cantidad de formas de ordenar 2 libros "IGUALES" en 4 lugares y multiplicado por las permutaciones de estos 2 libros ya que son diferentes.
Creo que es así jaja, espero que sirva