Основание прямой призмы - треугольник со сторонами 5см, 5 см и 6 см , диагональ большей боковой грани наклонена к плоскости основания под углом 45°, найдите объем данной призмы?

Рассмотрим большую боковую грань. Это прямоугольник со стороной 6 см, и диагональю под углом 45°. Прямоугольник с диагональю под 45° - квадрат. Высота призмы h=6 см.
Основание призмы равнобедренный треугольник.
S(основания)=(6/2)*√(5^2-(6/2)^2)=3*4=12 см^2
S(полная)=2*S(основания)+Р*h=2*12+(5+5+6)*6=120 см^2

В прямой призме боковые ребра перпендикулярны плоскости основания. Т.к. диагональ большей боковой грани наклонена к плоскости основания под углом 45°, то высота призмы равна большей стороне основания, 6 см. Объем призмы равен произведению площади основания на высоту призмы. Найдем площадь основания - треугольника со сторонами 5, 5, 6 по формуле Герона. 
р=(5+5+6)/2=8
S=√8*(8-5)(8-5)(8-6)=√8*3*3*2=√4*2*3*3*2=2*2*3=12
V=12*6=72 см куб.

решил выкласть решение.
смотри рисунок.
понятно, что отрезки катетов есть отрезки касательных, они равны.
Сделаем все обозначения.
гипотенуза будет  1)  х+у=2R
По т. Пифагора
(x+r)²+(y+r)²=(x+y)²
раскрывая, получаем
r(x+y)+r²=xy       подставляем сюда 1) и получаем
xy=2Rr+r²
из 1) выделяем у и подставляем, приводим и т.д. и получаем

x²-2Rx+(2Rr+r²)=0
D=4(R²-2Rr-r²)
x=R+/- √(R²-2Rr-r²)   но т.к. x≤R  то  тогда
x=R- √(R²-2Rr-r²)
ну а нижний катет желтого треугольника тогда равен
 √(R²-2Rr-r²)
найдем гипотенузу желтого

r²+(√(R²-2Rr-r²) )²=z²
z²=R²-2Rr
z=√(R*(R-2r))

P.S.  Здесь я не сделал исследование по поводу допустимых значений  радиусов.  Просто не захотел, т.к. удлиняет решение.

Рассмотрим треугольники AKO и CMO. Они равны как прямоугольные треугольники по катету (KO=MO) и прилежащему острому углу (KOA=MAC как противоположные углы пересекающихся прямых). Следовательно высоты поделены точкой пересечения на равные отрезки, это свойство равнобедренного треугольника. Если этого мало, то треугольник AMC равен треугольнику CKA по двум катетам (MO=KO, MC=KA из предыдущего доказательства). Следовательно в них равны и углы КАС и МСА, которые являются углами при основании, а это значит что треугольник равнобедренный