іть зробити контрольну треба до 16:00

Для того,чтобы сумма квадратов корней уравнения равнялась какой-либо величине, эти корни должны существовать. Значит, дискриминант нашего уравнения должен быть неотрицательным,т.е
(3p-5)^2-4(3p^2-11p-6)>=0. При таких "p" у исходного уравнения найдутся(возможно, совпадающие) корни x1 и x2. Запишем для них теорему Виета:
x1+x2=-b/a=5-3p
x1*x2=c/a=3p^2-11p-6
Теперь,не вычисляя корней, можно найти сумму их квадратов через "p": x1^2 + x2^2.
Выделим полный квадрат:
(x1+x2)^2-2x1*x2= (5-3p)^2-2(3p^2-11p-6).
По условию, эта сумма квадратов  равна 65.
Получаем:
(5-3p)^2-2(3p^2-11p-6)=65
Решим его:
25-30p+9p^2-6p^2+22p+12-65=0
3p^2-8p-28=0
D=(-8)^2-4*3*(-28)=400
p1=(8-20)/6=-2
p2=(8+20)/6=14/3
Проверим, подставив эти значения "p" в исходное уравнения, чтобы убедиться, что дискриминант неотрицателен.
Проверять здесь не буду из-за экономии времени. Все найденные "p" подходят.
Теперь найдем корни уравнения:
1)p=-2
x^2-11x+28=0
x1=4; x2=7
2)p=14/3
x^2+9x+8=0
x1=-8; x2=-1
ответ: при p=-2 x1=4, x2=7; при p=14/3 x1=-8, x2=-1.

Выразим все через функции половинного аргумента
(2-a)*2sin(x/2)cos(x/2) + (2a+1)(cos^2(x/2)-sin^2(x/2)) < 25sin^2(x/2)+25cos^2(x/2)
(4-2a)sin(x/2)cos(x/2) + cos^{2}(x/2)(2a+1-25) + sin^{2}(x/2)(-2a-1-25) < 0
Делим все на cos^2(x/2)
(4-2a)*tg(x/2) + (2a-24) + (-2a-26)*tg^2(x/2) < 0
Делим все на -2, при этом меняется знак неравенства
(a+13)*tg^2(x/2) - (2-a)*tg(x/2) - (a-12) > 0
1) При а = -13 будет
-(2 + 13) tg(x/2) - (-13 - 12) > 0
-15 tg(x/2) +25 > 0
 15tg(x/2) < 25
tg(x/2) < 5/3
-pi/2 + pi*k < x/2 < arctg(5/3) + pi*k
x1 ∈ (-pi + 2pi*k; 2arctg(5/3) + 2pi*k)

2) При a=/= -13 будет квадратное неравенство относительно  tg(x/2)
Замена tg(x/2) = t
(a+13)*t^2 - (2-a)*t - (a-12) > 0
D = b^2 - 4ac = (2-a)^2 - 4(a+13)(-(a-12)) = 4 - 4a + a^2 + 4(a^2+a-156) =
= 5a^2 - 4*156 + 4 = 5a^2 - 620 = 5(a^2 - 124) = 5(a - √124)(a + √124)
При D = 0, то есть при a = -√124 и при а = √124 слева будет полный квадрат, который больше 0 при любых t, кроме
t = tg(x/2) =/= -b/(2a) = (2 - a)/(2a + 26)
x21 =/= 2arctg [(2 + √124)/(-2√124 + 26)] + 2pi*n
x22 =/= 2arctg [(2 - √124)/(2√124 + 26)] + 2pi*n
2 -  √124 < 0, а 26 - 2√124 > 0, поэтому x22 < x21
x2 ∈ (-pi + 2pi*n; x22) U (x22; x21) U (x21; pi + 2pi*n)

3) При D > 0, то есть при a < -√124 U a > √124 будет
t1 = tg(x/2) = (2-a - √(5a^2 - 620) ) / (2a + 26)
x31 = 2arctg [(2-a - √(5a^2 - 620) ) / (2a + 26)] + 2pi*m
t2 = tg(x/2) = (2-a + √(5a^2 - 620) ) / (2a + 26)
x32 = 2arctg [(2-a + √(5a^2 - 620) ) / (2a + 26)] + 2pi*m
x3 ∈ (-pi + 2pi*m; x31) U (x32; pi + 2pi*m)

4) При D < 0, то есть при -√124 < a < √124 будет вот что.
У уравнения слева корней нет, поэтому неравенство верно при любом t, 
то есть при всех x, при которых определен tg(x/2)
x4 ∈ (-pi + 2pi*h; pi + 2pi*h)

ответ: При  а = -13 x1 ∈ (-pi + 2pi*k; 2arctg(5/3) + 2pi*k)
При a = -√124 и при а = √124
x21 =/= 2arctg [(2 + √124)/(-2√124 + 26)] + 2pi*n
x22 =/= 2arctg [(2 - √124)/(2√124 + 26)] + 2pi*n
x2 ∈ (-pi + 2pi*n; x22) U (x22; x21) U (x21; pi + 2pi*n)
При a < -13 U -13 < a < -√124 U a > √124
x31 = 2arctg [(2-a - √(5a^2 - 620) ) / (2a + 26)] + 2pi*m
x32 = 2arctg [(2-a + √(5a^2 - 620) ) / (2a + 26)] + 2pi*m
x3 ∈ (-pi + 2pi*m; x31) U (x32; pi + 2pi*m)
При -√124 < a < √124
x4 ∈ (-pi + 2pi*h; pi + 2pi*h)

Очень непростое неравенство получилось.