Creo que te estas confundiendo con la representación usada. Un número es el mismo no importa en qué base esté escrito y una vez que definis la representación (valor absoluto y signo, complemento A2, etc).
Es decir, el número -17:
- En decimal (valor absoluto y signo) se representa -17
- En hexadecimal (valor absoluto y signo) se representa -0x11
- En binario (valor absoluto y signo): -10001
- En binario (complemento A2 de 8 bits): 11101111
- El valor binario en complemento A2 de 8 bits visto como entero sin signo representado en hexadecimal: 0xEF
Creo que tu confusión es justamente por el último caso de ejemplo, estás escribiendo el valor binario en complemento A2 de 8 bits en hexadecimal.
Para este ejercicio no es necesario escribir el número con signo, sino que dado que estas trabajando a nivel de bits, es mejor escribirlo como un entero sin signo (representado en decimal o hexadecimal según te convenga).
O sea, si tu queres una máscara con 1110111b pondrías 0xEF. Me parece que marea pensar el número representado con valor absoluto y signo (-17) porque seguro que sacaste ese número a partir de la constante binaria entonces mejor escribirlo directo en hexadecimal (como número sin signo).
Saludos,
Gustavo