Найдите скалярное произведение векторов а и в если IаI=5; IbI=6; ∠Ф=30°.

Может, решение громоздкое получилось, но другое как-то не придумалось  
Через подобные треугольники и формулу хорды. 
Из точки М опускаем перпендикуляр на сторону АС, точку пересечения обозначим через Р. Треугольник АМР подобен треугольнику АВС, откуда АР/АС=АМ/АВ=9/25. Отсюда находим АР=27/25 см. 
Теперь обозначаем через О середину стороны АС (т. е. центр окружности) и рассматриваем треугольник ОМР с прямым углом Р. Находим для этого треугольника угол О через его косинус: 
ОР=АО-АР=ОМ*cosO, отсюда cosO=7/25. 
Теперь найдём хорду АМ, по формуле хорды АМ=2*ОМ*sin(O/2). По формулам приведения sin(O/2)=sqrt((1-cosO)/2)=3/5, поэтому получаем АМ=1,8 см. По пропорции АМ/АВ=9/25 получаем АВ=5 см. По теореме Пифагора ВС=4 см, тогда искомая площадь треугольника равна АС*ВС/2=6 см кв.

 Обозначим меньшую сторону прямоугольника через x, тогда большая сторона 1,5x. По условию площадь прямоугольника равна 24 см², значит
x * 1,5x = 24
1,5x² = 24
x² = 16
x = 4 см - меньшая сторона прямоугольника
1,5 * 4 = 6 см - большая сторона прямоугольника
Площадь квадрата равна 24 cм² . Если сторону квадрата обозначим через a, то   a² = 24   a = √24 = 2√6 см
Чертёж здесь не нужен и вообще непонятно,  для чего было написано про стороны прямоугольника. Сторону квадрата и без этого можно было найти. Может в задаче был ещё один вопрос, чему равны стороны прямоугольника, на всякий случай я вычислила.