Vamos a transformar un poco las ecuaciones.
3x-ky-8=0 --> ky=3x-8 --> y=(3/k)x-(8/k). Sabemos que la pendiente es el número que acompaña a la x en la forma explícita (y=mx+n). Nosotros lo acabamos de poner en esta forma, así que nuestra pendiente m es el número de al lado de la x, en este caso m=3/k.
Hacemos lo mismo con la otra. 2x+5y-17=0 --> 5y= -2x+17 --> y= (-2/5)x+(17/5). La pendiente de esta recta es -2/5.
¿Por qué hago esto? Para poder utilizar la siguiente fórmula. tgα=|(m2-m1)/(1+m1*m2)|. Es decir, la tangente del ángulo que forman dos rectas será igual al valor absoluto de (todo esto entre paréntesis) la resta de las pendientes de ambas rectas dividido 1 más la multiplicación de las pendientes.
tg45 (el ángulo que te han dicho que han de formar) = |[(-2/5)-(3/k)]/[1+(-2/5)*(3/k)]|. Sabemos que la tangente de 45 es 1. Si desarrollamos esto queda que 1=|(-2k-15)/(5k-6)|. Para poder quitar el valor absoluto, hemos de descomponerlo en dos ecuaciones diferentes. ¿Por qué? Si lo de dentro del valor absoluto (||) queda positiv, se queda tal cual. Sin embargo, si queda algo negativo, lo multiplicamos por (-1) para volverlo positivo, dado que el valor absoluto obliga a ello.
Por una parte 1=(-2k-15)/(5k-6) y por otra 1=(2k+15)/(5k-6).
Si resolvemos ambas por un lado queda k=-9/7, y por otro lado queda k=7. Problema resuelto. Te adjunto foro para que veas mejor el procedimiento.
