Vamos con una orientación.
Tienes la ecuación:
x*y = arctan(y/x), que define a y como función de x.
Luego, derivas con respecto a x en ambos miembros (observa que en el primer miembro tienes un producto, y en el segundo una composición de funciones):
1*y + x*y*y ' = ( 1 / (1 + (y/x)2 ) * ( ( 1*y - x*y ' )/y2 ).
Luego resuelves términos, distribuyes el denominador en el segundo factor en el segundo factor del segundo miembro, y queda:
y + x+y*y ' = ( 1 / (1 + y2/x2 ) * ( 1/y - (x/y2)*y ' ).
Luego queda que distribuyas en el segundo miembro, luego hagas pasajes de términos para agrupar términos con factor y ', para luego despejar.
Te dejo la tarea, y si te es preciso no dudes en volver a consultar.
Espero haberte ayudado.