Vamos con una orientación.
Debes ayudarte con un dibujo, por ejemplo de una Elipse con centro C(0,0), semieje mayor a, semieje menor b, con eje focal OX en un sistema de coordenadas cartesiano, cuya ecuación queda:
x2/a2 + y2/b2 = 1.
Luego, observa que la elipse es simétrica con respecto al eje OX y también con respecto al eje OY y, si trazas un rectángulo inscrito con sus lados paralelos a los ejes coordenados, verás que éste también es simétrico a dichos ejes, y que sus vértices tienen coordenadas (consideramos x > 0 e y > 0):
D(x,y), E(-x,y), F(x,-y), G(-x,-y), en la que todos pertenecen a la Elipse y, por lo tanto, verifican su ecuación:.
Luego, observa que las dimensiones del rectángulo quedan:
Longitud de la base: |ED| = |GF| = x - (-x) = 2x,
longitud de la altura: |FD| = |GE| = y - (-y) = 2y,
luego, la expresión del área del rectángulo queda:
A = 2x*2y = 4x*y (1).
Luego, como los cuatro vértices verifican la ecuación de la Elipse, hacemos pasaje de término en su ecuación y queda:
y2/b2 = 1 - x2/a2, extraemos denominador común en el segundo miembro y queda:
y2/b2 = (a2 - x2)/a2, hacemos pasaje de divisor como factor, ordenamos factores y divisores y queda:
y2 = (b2/a2)*(a2 - x2), hacemos pasaje de potencia como raíz, distribuimos la raíz y queda:
y = (b/a)*√(a2 - x2) = (b/a)*(a2 - x2)1/2 (2).
Luego, sustituimos la expresión señalada (2) en la expresión señalada (1) y queda:
A(x) = 4x*(b/a)*(a2 - x2)1/2, que es la expresión de la función "área del rectángulo inscrito", cuyo dominio es D = [0,a].
Luego, puedes continuar la tarea (derivar, igualar a cero para determinar puntos críticos, etcétera), tal como has visto en clase.
Espero haberte ayudado.