Vamos con una orientación.
Desarrollamos el determinante de la matriz del sistema y estudiamos para cuáles valores de a o b no es igual a cero, para cuáles si lo es.
La matriz ampliada del sistema (remarcamos los elementos de la matriz del sistema) es:
a b 1 1
1 ab 1 b
1 b a 1
luego desarrollamos (por ejemplo con la Regla de Sarrus) el determinante de la matriz del sistema y queda:
D = a3b + 2b - 3ab = b(a3 - 3a + 2) = b(a - 1)(a2 + a - 2) = b(a - 1)2(a + 2) (la raíz 1 del factor cúbico la encontramos ensayando valores),.
Luego observa que tenemos dos opciones
1) D ≠ 0, que corresponde a: a ≠ -2 y a ≠ 1 y b ≠ 0,
para la que el rango de la matriz del sistema es tres, e igual al rango de la matriz ampliada, y el sistema es compatible determinado y tiene solución única.
2) D = 0, que nos presenta tres opciones:
2a) a = -2, reemplazamos y la matriz ampliada queda:
-2 b 1 1
1 -2b 1 b
1 b -2 1
Permutamos la fila 1 con la fila 2 y queda:
1 -2b 1 b
-2 b 1 1
1 b -2 1
A la fila 2 le sumamos el doble de la fila 1, a la fila 3 le restamos la fila 1 y queda:
1 -2b 1 b
0 -3b 3 (2b+1)
0 3b -3 (1-b)
A la fila 3 le sumamos la fila 2 y queda:
1 -2b 1 b
0 -3b 3 (2b+1)
0 0 0 (b+2)
Por lo que resulta que el sistema es compatible indeterminado (los rangos de la matriz y de la matriz ampliada son iguales a dos) para b = -2, y es incompatible (el rango de la matriz del sistema es dos y el de la matriz ampliada es tres) para b ≠ -2.
2b) a = 1, reemplazamos y la matriz ampliada del sistema queda:
1 b 1 1
1 b 1 b
1 b 1 1
A la fila 2 le restamos la fila 1, a la fila 3 le restamos la fila 1 y queda:
1 b 1 1
0 0 0 (b-1)
0 0 0 0
Por lo que resulta que el sistema es compatible indeterminado si b = 1 (los rangos de ambas matrices son iguales a dos), y es incompatible (el rango de la matriz es dos y el de la ampliada es tres) para b ≠ 1.
2c) a = -2, reemplazamos y la matriz ampliada del sistema queda:
-2 b 1 1
1 -2b 1 1
1 b -2 1
Permutamos la fila 1 con la fila 3 y queda:
1 b -2 1
1 -2b 1 1
-2 b 1 1
A la fila 2 le restamos la fila 1, a la fila 3 le sumamos el doble de la fila 1 y queda:
1 b -2 1
0 -3b 3 0
0 3b -3 3
A la fila 3 le sumamos la fila 2 y queda
1 b -2 1
0 -3b 3 0
0 0 0 3
Por lo que el sistema resulta incompatible, ya que el rango de la matriz del sistema es dos, pero el rango de la matriz ampliada es tres.
Espero haberte ayudado.