Vamos por etapas con un planteo vectorial, a ver si te resulta útil. Y si no te sirve, nos lo dices y buscamos otro planteo equivalente.
1°)
Planteas la expresión del vector posición del punto en estudio: P(7,5) con respecto al origen de coordenadas: O(0,0), y queda:
u = OP = < 7-0 , 5-0 > = < 7 , 5 >,
cuyo módulo tiene la expresión:
|u| = √(72 + 52) = √(49 + 25) = √(74),
por lo que la expresión del vector unitario correspondiente queda:
U = u/|u| = < 7 , 5 >/√(74) (1).
Luego, planteas la expresión del módulo de la fuerza de atracción gravitatoria que se ejercen mutuamente los cuerpos ubicados en los puntos indicados (observa que la distancia entre dichos puntos es: d13 = √(74) m), y queda:
|F13| = G*M1*M3/d132 = 6,674*10-11*5*3/( √(74) )2≅ 1,353*10-11 N (2).
Luego, planteas la expresión vectorial de la fuerza de atracción gravitatoria aplicada sobre el tercer cuerpo, y queda:
F13 = -|F13|*U, sustituyes las expresiones señaladas (2) (1), y queda:
F13 ≅ -1,353*10-11*< 7 , 5 >/√(74) ≅ -0,157*10-11*< 7 , 5 > (3).
2°)
Planteas la expresión del vector posición del punto en estudio: P(7,5) con respecto al punto de coordenadas: A(10,0), y queda:
v = AP = < 7-10 , 5-0 > = < -3 , 5 >,
cuyo módulo tiene la expresión:
|v| = √( (-3)2 + 52 ) = √(9 + 25) = √(34),
por lo que la expresión del vector unitario correspondiente queda:
V = v/|v| = < -3 , 5 >/√(34) (4).
Luego, planteas la expresión del módulo de la fuerza de atracción gravitatoria que se ejercen mutuamente los cuerpos ubicados en los puntos indicados (observa que la distancia entre dichos puntos es: d23 = √(34) m), y queda:
|F23| = G*M2*M3/d132 = 6,674*10-11*8*3/( √(34) )2 ≅ 4,711*10-11 N (5).
Luego, planteas la expresión vectorial de la fuerza de atracción gravitatoria aplicada sobre el tercer cuerpo, y queda:
F23 = -|F23|*V, sustituyes las expresiones señaladas (5) (4), y queda:
F23 ≅ -4,711*10-11*< -3 , 5 >/√(34) ≅ -0,808*10-11*< -3 , 5 > (6).
3°)
Planteas la expresión vectorial de la fuerza resultante aplicada sobre el tercer cuerpo, y queda:
F3 = F13 + F23, sustituyes las expresiones señaladas (3) (6), y queda:
F3 ≅ -0,157*10-11*< 7 , 5 > - 0,808*10-11*< -3 , 5 >, resuelves en cada término, y queda:
F3 ≅ < -1,099*10-11 , -0,785*10-11 > - < -2,424*10-11 , 4,040**10-11 >,
resuelves la resta vectorial, y queda:
F3 ≅ < 1,325*10-11 , -3,255*10-11 > (en Newtons).
Luego, solo queda que calcules el módulo de esta expresión vectroial.
Espero haberte ayudado.