Длиной вектора называется данный вектор

Длиной или модулем вектора называется длина направленного отрезка определяющего вектор.

1. Достраиваем исходный прямоугольный треугольник до прямоугольника.
2. Проводим вторую диагональ получившегося прямоугольника.
3. Получилось четыре одинаковых прямоугольных треугольника.
4. Разбиваем прямоугольник на четыре равных прямоугольника проводя параллельные прямые через точку пересечения диагоналей.
5. Получившиеся прямоугольники имеют наибольшую площадь так как в сумме дают полную площадь прямоугольника.
6. Площадь прямоугольника 8*5=40 см².
7. Площадь вписанного прямоугольника 40/4=10 см².

См. рисунок в приложении.
Обозначим стороны прямоугольника
 MK=CN=х
 и
MC=KN=у
Тогда
S(прямоугольника)=x·y
Из подобия прямоугольных треугольников
АВС и AKM
AM:AC=MK:CB

5x=8(5-y)
5x=40-8y
x=(40-8y)/5

S=(40-8y)·y/5
S(y)=(40y-8y²)/5
Исследуем эту функцию на экстремум.
Находим производную.
S`(y)=(40-16y)/5
Приравниваем ее к нулю
40-16у=0
у=2,5- точка максимума, так как производная при переходе через эту точку меняет знак с + на - 
слева от точки 2,5:   S`(1)=34/5 >0
справа от точки 2,5: S`(4)=-24/5<0

x=(40-8y)/5=(40-8·2,5)/5=4
ответ. S=4·2,5=10  кв см - наибольшая площадь