Planteamos la matriz ampliada del sistema:
1 0 a (b+2)
2 1 2a (2b+3)
-2 -1 0 -3
A la fila 2 le restamos el doble de la fila 1, a la fila 3 le sumamos la fila 2 y queda.
1 0 a (b+2)
0 1 2a -1
0 0 2a 2b
A la fila 3 la multiplicamos por 1/2 y queda:
1 0 a (b+2)
0 1 2a -1
0 0 a b
A la fila 1 le restamos la fila 3, a la fila 2 le restamos el doble de la fila 3 y queda:
1 0 0 2
0 1 0 (-1-2b)
0 0 a b
Luego analizamos las diferentes opciones:
1) S a = 0 y b = 0, queda:
1 0 0 2
0 1 0 -1
0 0 0 0
Observa que el rango de la matriz del sistema es 2, el rango de la matriz ampliada es 2, el número de incógnitas es 3, por lo que el sistema es compatible indeterminado.
2) Si a = 0 y b ≠ 0, queda:
1 0 0 2
0 1 0 (-1-2b)
0 0 0 b
Observa que el rango de la matriz del sistema es 2, el rango de la matriz ampliada es 3, por lo que el sistema es incompatible.
3) Si a ≠ 0 (y b toma cualquier valor real) queda:
1 0 0 2
0 1 0 (-1-2b)
0 0 a b
Multiplicamos a la fila 3 por 1/a (recuerda que a es distinto de cero en esta opción) y queda<:
1 0 0 2
0 1 0 (-1-2b)
0 0 1 b/a
Observa que el rango de la matriz del sistema es 3, el rango de la matriz ampliada es 3 el número de incógnitas es 3, por lo que el sistema es compatible determinado.
Espero haberte ayudado.