данную квадратичную форму записать в матричном виде, привести к каноническому виду и выписать матрицу соответствующего линейного преобразования.

Для этого нужно вспомнить графики этих функций, и как каждая из них себя ведет на определенных промежутках (возрастает или убывает).
Синус: функция нечетная, возрастает на промежутке [0; pi/2], убывает на [pi/2; 3pi/2].
4 > pi, значит этот угол лежит в промежутке [pi; 3pi/2], где синус убывает. А значит, что sin4 < 0.
Косинус: функция четная, убывает на [0; pi], возрастает на [pi; 2pi].
3pi/2 < 1.8*pi < 2pi - значит, угол лежит в той области, где косинус возрастает, значит cos(1.8pi) > 0.
Котангенс: всегда убывает, не определен при х = pi*k.
pi < 9pi/7 < 3pi/2, где ctg(9pi/7) > 0