Vamos con una orientación.
a) Puedes multiplicar por derecha en ambos miembros de la ecuación por la matriz A y queda:
A-1*A = (1/5)*At*A, luego aplicas la propiedad del producto de matrices inversas entre sí y queda:
I3 = (1/5)*At*A, y luego queda que hagas el producto en el segundo miembro, y verifiques que su resultado es igual a la matriz identidad de orden tres.
b) Planteas la matriz A - λI3 y queda:
A - λI3 =
(√(5) - λ) 0 0
0 (1-λ) -2
0 2 (1-λ)
Luego plantea que su determinante es igual a cero:
|A - λI3| = 0, desarrollas el determinante (por ejemplo con la Regla de Sarrus, te dejo la tarea) y queda la ecuación característica:
(√(5) - λ)*(1-λ)*(1-λ) = 0, reducimos factores semejantes y queda:
(√(5) - λ)*(1-λ)2 = 0, luego, por anulación de un producto tienes dos opciones:
b1) √(5) - λ = 0, de donde puedes despejar: √(5) = λ,
b2) (1-λ)2 = 0, haces pasaje de potencia como raíz y queda: 1-λ = 0, de donde puedes despejar: 1 = λ.
c) Llamamos b al determinante de la matriz B;
luego recuerda que el determinante de una matriz es igual al determinante de su matriz traspuesta,
y recuerda que el determinante de la matriz inversa es igual al inverso multiplicativo del determinante de la matriz, por lo que tenemos:
|B| = b > 0,
|Bt| = |B| = b,
|B-1| = 1/|B| = 1/b.
Luego pasamos a la ecuación del enunciado:
B-1 = Bt, luego por igualdad entre matrices, planteamos igualdad para sus determinantes:
|B-1| = |Bt|, sustituimos y queda:
1/b = b, hacemos pasaje de divisor como factor y queda:
1 = b2, hacemos pasaje de potencia como raíz y tenemos dos opciones:
c1) - 1 = b, que no corresponde a este problema, ya que tenemos en el enunciado que el determinante de la matriz B es mayor que cero,
c2) 1 = b.
Por lo que concluimos que el determinante de la matriz B es igual a uno.
Espero haberte ayudado.