Выберете правильный вариант ответа

Пусть стороны а  и  b.
По теореме Пифагора
d²=a²+b²;
5²=a²+b²
S=a·b
12=a·b
Решаем систему
25=a²+b²
12=a·b    
Можно подбором найти. ответ 3 и 4.
Можно решить систему методом подстановки
Выразим  из второго уравнения 
b=12/a
и  подставим в первое уравнение

25=a²+(12/a)²;  а≠0
25a²=a⁴+144
Биквадратное уравнение:
(a²)²-25(a²)+144=0
D=625-576=49
a²=(25-7)/2=9      или     a²=(25+7)/2=16
 a=-3     или   a=3            a=-4       или    а=4
b=-4               b=4             b= -3               b=3
 Стороны прямоугольника не могут принимать отрицательные значения.
О т в е т. а=3; b=4    или   a=4; b=3 

1) x=0   или  х⁴-13х²+36=0
                     D=169-144=25
                     x²=(13-5)/2=4    или    х²=(13+5)/2=9
х=0    х=-2     х=2    х=3    х=-3

Теперь надо разобраться, удовлетворяют ли корни ОДЗ уравнения.
А в условии непонятно, что под корнем.
Если просто х, то х должно быть ≥0
тогда отрицательные корни надо отбросить.
О т в е т. 0; 2; 3.

Второе так же
х=0   или   х²+2х-24=0
                  D=4+96=10  
                   x²=(-2+10)/2=4    или    х²=(-2-10)/2=-6 - нет решения 
                   х=-2   х=2
х=0; х=-2; х=2
О т в е т. 0; 2