Подобные слагаемые в сумме b - 6а - 10b + 9a + 4b.

-5b+3a 
подобные это б и б, а и а

B-6a-10b+9a+4b=(9a-6a)+(b-10b+4b)=3a-5b

В последнее выражение все элементы входят как квадраты.
Квадрат любого числа не отрицателен.
В выражении нет операции вычитания, поэтому все выражение сохраняет положительное значение.

Может ли выражение стать равным 0? Нет, не может из-за области определения.
Из последнего выражения видим, что для того, чтобы все выражение стало равным 0, требуется, чтобы либо tg2a стал равен 0, либо cos2a стал равен 0.
Но в исходном задании указана функция ctg2a, обратная tg2a. Поэтому все значения a, при котором tg2a или ctg2a обращаются в 0, исключаются.
Это автоматически исключает точки, в которых обращаются в 0 функции cos2a и sin2a.

Исходя из этого, значение выражения больше 0 при любом значении a из области определения.

1) 
Просто сложим два уравнения.
Получается:


x=3.
Подставляем во второе уравнение.
3-y=2 очевидно, что y=1. Упор.пара: (3,1)
2)

То же самое.


y=1
Подставляем в первое уравнение.
x+1=3 => x=2. (2,1) - упор.пара (если все строго).
3) 

Тут на самом деле несколько вариантов элементарного решения. Я использую самый простой (но не самый короткий).
Модуль дает нам этакую мини-системку для первого уравнения, в одном ур. x, в другом -x. 
Типа:

Только маленькая скобка не фигурная, а квадратная.
Решается так - сначала подставляешь в систему первое уравнение, затем второе (по очереди).
3.1) Здесь:

Решаем подстановкой.
5-y+4y=5
3y=0
y=0 => x=5. (5,0) ответ.
3.2) Здесь:

То же самое.
y-5+4y=5
5y=10
y=2.

x+8=5 => x=-3
(-3,2) - ответ.