Con a = 1 y b = 1, reemplazas valores y el sistema queda:
x + 2y - z = 3,
2x - 4y + 6z = 6,
-x + 6y - 7z = 3.
Luego, observa que si mantienes la primera ecuación, mantienes también la segunda, y sustituyes a la última ecuación por la suma de la segunda con la tercera ecuación del sistema, éste queda:
x + 2y - z = 3,
2x - 4y + 6z = 6,
x + 2y - z = 9.
Luego, observa que si mantienes las dos primeras ecuaciones, y sustituyes a la última por la resta de ella con la primera ecuación, el sistema queda:
x + 2y - z = 3,
2x - 4y + 6z = 6,
0 = 6,
y observa que tienes una identidad falsa en el lugar de la tercera ecuación, por lo que tienes razón y el sistema es incompatible para este caso.
Luego, consulta con tus docentes porque puede haber algún error en el enunciado.
Espero haberte ayudado.