Tienes la matriz:
A =
2 1
1 2;
luego, multiplicas por la incógnita α, y queda:
α*A =
2α α
α 2α (1).
Luego, planteas la expresión del cuadrado de la matriz que tienes en tu enunciado (te dejo la tarea de efectuar la multiplicación de la matriz por sí misma), y queda:
A2 =
5 4
4 5 (2).
Luego, planteas la expresión de la matriz identidad de orden dos, y queda:
I =
1 0
0 1;
luego multiplicas por la incógnita β, y queda:
β*I =
β 0
0 β (3).
Luego, sustituyes las expresiones señaladas (2) (1) (3) en la ecuación matricial de tu enunciado, y queda:
5 4 2α α β 0 0 0
4 5 + α 2α + 0 β = 0 0.
Resuelves las suma matricial en el primer miembro de la ecuación, y queda:
5+2α+β 4+α 0 0
4+α 5+2α+β = 0 0.
Luego, por igualdad entre matrices, igualas elemento a elemento, y queda el sistema de ecuaciones:
5+2α+β = 0,
4+α = 0,
4+α = 0,
5+2α+β = 0.
Luego, eliminas la cuarta ecuación porque es igual a la primera, eliminas la tercera ecuación porque es igual a la segundo, y queda el sistema de dos ecuaciones lineales y de primer grado, con dos incógnitas:
5+2α+β = 0,
4+α = 0, aquí restas 4 en ambos miembros, y queda: α = -4;
luego, reemplazas el valor remarcado en la primera ecuación, y queda:
5+2(-4)+β = 0, aquí resuelves operaciones numéricas y despejas: β = 3,
Luego, reemplazas los valores remarcados en la ecuación de tu enunciado, y tienes que la ecuación matricial de tu enunciado queda:
A2 - 4*A + 3*I = O.
Espero haberte ayudado.