Используя данные рисунка найдите длину стороны AB треугольника ABC , если AM - BM = 5​

использовано свойство биссектрисы угла треугольника.

Проведем еще одну медиану ВЕ.
Три медианы треугольника делят его на 6 равновеликих треугольников
Медианы треугольника точкой пересечения делятся в отношении 2:1, считая от вершины.
Рассмотрим треугольник МОА.
АМ=10:2=5 ( т.к. СМ- медиана). 
МО=СМ:3=5
АМ=МО
Треугольник АМО - равнобедренный.
Опустив высоту МН
МН=4
Площадь АМО=МН*АН=12.
S ABC=S MOH*6=72
АМ=МВ, АН=НО ⇒ 
МН -средняя линия треугольника АВО ⇒
МН параллельна ВО. 
ВО=МН*2=8
ОЕ=8:2=4 по свойству медианы.
Т.к.  МК|| ВЕ, угол АОЕ прямой. Треугольник АОЕ прямоугольный. 
АЕ²=АО²+ОЕ²
АЕ²=36 +16=52
АЕ=2√13
АС=2*АЕ=4√13

Если я не ошибаюсь, то так, а там сам решай
a,b,c,m,n – вектора
m=a+2b-c,
n=2a-b,
|a|=2,
|b|=3
Ψ = 60⁰  (угол между векторами a и b)
c перпендикулярно a;
c перпендикулярно b.
(mn) – ?
Заметим, т.к. c перпендикулярно a, то их скалярное произведение равно нулю
(ас) = 0.     (*)
Аналогично
(bc) = 0.     (**)
Умножаем скалярно
(mn) = (a+2b-c)(2a-b)=2|а|²-(ab)+4(ab)-2|b|²-2(ac)+(bc).
С учётом (*) и (**), последние два слагаемых равны нулю (и Ваш неизвестный вектор С пропал!)
(mn) = 2|а|²+3(ab)-2|b|² = 2|а|²+3|a|•|b|cos60⁰-2|b|²  =
= 2•2²+3•2•3•0,5-2•3² = -1.      
(mn) = -1 – ответ.