Vamos con una orientación.
Tienes que construir tres tramos: base, pared y tapa, para los que planteamos sus áreas y sus costos:
Para la base (disco plano circular): Ab = πr², cuyo costo será: Cb = 5πr².
Para la pared (cilindro circular): Ap = 2πrh, cuyo costo será: Cp = 8*2πrh, resolvemos factores numéricoss y queda: Cp = 16πrh.
Para la tapa (semiesfera): At = (1/2)4πr², cuyo costo será: Ct = 20*(1/2)4πr², resolvemos factores numéricos y queda: Ct = 40πr².
Luego, planteamos el costo total, que será función del radio del cilindro (y de la semiesfera), y la altura del cilindro, como la suma de los tres costos parciales, y queda la función:
C(r,h) = 5πr² + 16πrh + 40πr², reducimos términos semejantes y la expresión de la función queda:
C(r,h) = 45πr² + 16πrh.
Luego, la restricción que plantea el problema es que el volumen del tanque debe ser 200π, por lo que tenemos que el volumen es la suma entre los volúmenes del pedazo cilíndrico y del pedazo semiesférico del tanque, por lo que tenemos:
Para el pedazo cilíndrico: Vc = πr²h.
Para el pedazo semiesférico: Vs = (1/2)(4/3)πr³, resolvemos factores numéricos y queda: Vs = (2/3)πr³.
Luego, el volumen del tanque queda expresado como función de r y de h:
V(r,h) = πr²h + (2/3)πr³ = 200π.
Luego, debes continuar con el planteo del sistema de ecuaciones de Lagrange, que queda:
90πr + 16πh = λ(2πrh + (2/3)*2πr)
16πr = λπr²
πr²h + (2/3)πr³ = 200π
Dividimos por 2π y multiplicamos por 3 en la primera ecuación, dividimos por π en la segunda, multiplicamos por 3 y dividimos por π en la tercera y el sistema queda:
135r + 24rh = λ(3rh + 12r)
16r = λr²
3r²h + 2r³ = 600.
Luego, queda para que resuelvas este sistema de ecuaciones, y observa que puedes comenzar por la segunda ecuación, que luego de un pasaje de término queda:
16r - λr² = 0, factorizas y queda:
r(16 - λr) = 0, lo que conduce a dos opciones, que deberás considerar por separado:
a) r = 0, que no tiene sentido para este problema (observa que r es el radio del cilindro y de la semiesfera, por lo que debe ser estrictamente positivo).
b)16 - λr = 0, de donde puedes despejar (recuerda que r no puede ser igual a cero): 16/r = λ, luego sustituyes en las otras dos ecuaciones y el sistema queda:
135r + 24rh = (16/r)(3rh + 12r)
3r²h + 2r³ = 600
Observa que puedes distribuir en la primera ecuación, y luego continuar la tarea.
Espero haberte ayudado.