При каком значении p yгол между векторами а (1; 1; 0) и b(0; 4; p)будет равен 60°? ​

Если я найду площадь S треугольника со стороной a и углами α и β при этой стороне, то площадь подобного ему треугольника, на месте стороны a у которого - сторона b, будет равна S*(b/a)^2; а площадь трапеции, которая получается после "вычитания" второго треугольника из первого, будет равна S*(1 - (b/a)^2); поэтому для начала я буду вычислять площадь S;
Из теоремы синусов легко найти стороны. Пусть напротив угла β лежит сторона c; тогда
c/sin(β) = a/sin(π- α - β); или c = a*sin(β)/sin(α + β);
Между a и c - угол α, поэтому
S = a^2*sin(α)*sin(β)/(2*sin(α + β));
по сути это уже ответ, площадь трапеции равна
(a^2/2 - b^2/2)*sin(α)*sin(β)/sin(α + β);
Ну, если подставить числа, там получается прямоугольный треугольник (если продолжить боковые стороны). Значит, ответ (36 - 4)*(1/2)*(√3/2)/2 = 4√3 можно получить и другим то есть проверить его верность.

Центр вписанной окружности треугольника = точка пересечения его биссектрис. В правильном треугольнике биссектрисы, высоты и медианы совпадают. По свойству медианы треугольника, точкой пересечения они делятся в соотношении 2:1
Поэтому радиус вписанной окружности правильного треугольника равен 1/3 длины высоты.   r = h/3
Отсюда  h = 3r = 3×2√3 = 6√3
Высота правильного треугольника образует с его сторонами прямоугольный треугольник. Угол, противолежаший высоте, равен 60°, сторона правильного треугольника является гипотенузой
Отсюда длина стороны треугольника:
a = h / sin 60° = 6√3 / (√3/2) = 12