Вынесите множитель за знак корня 0, 36b^3

Sqr(0.36*b^3)=0.6b*sqrb

Сложим: 4X^2=256,
x^2=256/4,
x^2=64,
x(1)=8,
x(2)=-8; подставим х(1) в 1 уравнение:
2*64+7у^2=1500,
7y^2=1500-128,
7y^2=1372,
y^2=1372/7,
y^2=196,
у(1)=14;
у(2)=-14;  получили координаты первых 2-х точек пересечения графиков 2-х уравнений: (8;14); (8;-14).
подставим х(2) в 1 уравнение( или во 2-е, это все равно);
2(-8)^2+7y^2=1500, 
128+7y^2=1500,
у(3)=14;
у(4)=-14; да игреки получили те же, но точки пересечения урафиков другие: (-8;14); (-8;-14).
ответ: мы получили координаты 4-х точек пересечения графиков уравнений, это цель решения системы: (8;14); (8;-14); (-8;14); (-8;-14).

Пусть х км/ч собственная скорость катера, x>0. Тогда:
(х-3) км/ч - скорость катера против течения,
(х+3) км/ч - скорость катера по течению,
8/(х-3) время движения катера против течения,
8/(х+3) время движения катера по течению.
На весь путь катер потратил 5 часов. Составим и решим уравнение: 8/(х-3) +8/(х+3)=5, ОДЗ : х≠3, х≠-3,
8(х+3)+8(х-3)=5(х²-9), 
8х+24+8х-24-5х²+45=0,
-5х²+16х+45=0,
5х²-16х-45=0,
D=256+900=1156, √D=34,
x1=(16-34)/10=-1,8- не удовлетворяет условию,
x2= (16+34)/10=5 км/ч.

ответ:х=5 км/ч.