Vamos con una orientación.
a) Puedes plantear:
T(1,3,5) = T(i+3j+5k) = T(i) + 3T(j) + 5T(k) = (1,0)
T(0,1,1) = T(j+k) = T(j) + T(k) = (1,0)
T(0,0,1) = T(k) = (0,0);
luego, con las ecuaciones remarcadas formas un sistema, lo resuelves y tienes la solución:
T(i) = T(1,0,0) = (-2,0)
T(j) = T(0,1,0) = (1,0)
T(k) = T(0,0,1) = (0,0);
luego, la matriz asociada a la transformación lineal, en bases canónicas, queda:
AT =
-2 1 0
0 0 0
b) Tienes el subespacio: U = {<x,y,z> ∈ R3 | x + y - z = 0, y - z = 0}.
Observa que con las ecuaciones puedes formar un sistema:
x + y - z = 0
y - z = 0,
cuyas infinitas soluciones quedan expresadas:
x = 0
y ∈ R
z = y,
por lo que las ecuaciones cartesianas sib:
x = 0
z = y.
Espero haberte ayudado.