Tienes un sistema de tres ecuaciones con tres incógnitas, cuya matriz ampliada es:
1 2 3 1
2 5 1 a
1 1 (b2-1) 1
Luego dearrollas el determinante de la matriz del sistema (cuyos elementos hemos remarcado) y queda:
D = 5(b2 - 1) + 2 + 6 - 15 - 1 - 4(b2 - 1) = b2 - 1 - 8 = b2 - 9, luego tenemos tres casos:
1) D ≠ 0, que corresponde a b ≠ - 3 y b ≠ 3, y el sistema es compatible determinado.
2) D = 0, que corresponde a b = -3 o b = 3, para el que la matriz ampliada queda:
1 2 3 1
2 5 1 a
1 1 8 1
A la fila 2 le restamos el doble de la fila 1, a la fila 3 le restamos la fila 1 y queda:
1 2 3 1
0 1 -5 (a-2)
0 -1 5 0
A la fila 1 le restamos el doble de la fila 2, a la fila 3 le sumamos la fila 2 y queda:
1 0 13 (5-2a)
0 1 -5 (a-2)
0 0 0 (a-2)
Luego tenemos dos casos:
1a) Si a - 2 ≠ 0, que corresponde a a ≠ 2, el sistema resulta ser incompatible.
1b) Si a - 2 = 0, que corresponde a a = 2, la matriz ampliada reducida y escalonada por filas queda:
1 0 13 1
0 1 -5 0
0 0 0 0
Y como el rango de la matriz del sistema es 2, e igual al rango de la matriz ampliada, y el sistema tiene tres incógnitas, resulta que es compatible indeterminado.
Espero haberte ayudado.