Buenas.
Te sugiero definir 3 variables (aunque alguien podría proponer otro modelo con otras variables):
- la cantidad x de billetes de $ 10 que usa la persona para pagar,
- la cantidad y de billetes de $ 100 que usa el cajero para dar el cambio, y
- la cantidad z de billetes de $ 50 que usa el cajero para dar el cambio.
Con esto podés escribir el problema como una ecuación diofántica lineal en 3 variables. Sin embargo, la teoría que tenemos es para diofánticas lineales de 2 variables. Lo que te sugiero entonces es que consideres la diofántica de 3 variables como cuatro diofánticas de 2 variables (z e y), una por cada valor que puede tomar la variable x.
Te sugiero además, que antes de ponerte a buscar soluciones de las 4 ecuaciones, analices cuáles de estas 4 ecuaciones admiten soluciones enteras.
Si algo no se entiende preguntá de nuevo.
Saludos.