Observa que puedes factorizar en las expresiones que tienes al comienzo:
[ (2x2-3x+1)/(x2-1) - (3x2+3x)/(x2-1) ] * [ (x3-x)/(-x2+6x+1) ] =
extraes denominador común entre los dos términos del primer agrupamiento, resuelves el numerador, y queda:
= [ (-x2-6x+1)/(x2-1) ] * [ (x3-x)/(-x2+6x+1) ] =
factorizas el denominador de la primera expresión, factorizas el numerador de la segunda expresión, y queda:
= [ (-x2-6x+1) / (x-1)(x+1) ] * [ x(x-1)(x+1) / (-x2+6x+1) ] =
simplificas las expresiones remarcadas, resuelves, ordenas factores en el numerador, y queda:
= x*(-x2-6x+1) / (-x2+6x+1) (1).
Luego, planteas las factorizaciones de los polinomios cuadráticos (observa que tienen raíces irracionales), y queda:
-x2-6x+1 = -1(x2+6x-1) = -1( x-(-3+√(10) )( x-(-3-√(10) ) = -1( x+3-√(10) )( x+3+√(10) ) (2);
-x2+6x+1 = -1(x2-6x-1) = -1( x-(3+√(10) )( x-(3-√(10) ) = -1( x-3-√(10) )( x-3+√(10) ) (3).
Luego, sustituyes las expresiones señaladas (2) (3) en la expresión señalada (1), simplificas factores numéricos, y la expresión algebraica de tu enunciado, simplificada y factorizada, queda:
[ (2x2-3x+1)/(x2-1) - (3x2+3x)/(x2-1) ] * [ (x3-x)/(-x2+6x+1) ] = x*( x+3-√(10) )( x+3+√(10) ) / ( x-3-√(10) )( x-3+√(10) ),
y observa que la expresión remarcada no es simplificable.
Espero haberte ayudado.