вычислить площадь фигуры пересечение равностороннего треугольника АВС и круга с центром в точке А и радиусом АР. клетка имеет размер 1смХ1см

См. ПЕРВЫЙ чертеж.  На нем все обозначения. 
q^2 = R^2 - (m/2)^2;
p^2 = r^2 - (m/2)^2;
Отсюда
(2*m)^2 + (q - p)^2 = (R + r)^2; (это просто теорема Пифагора)
4*m^2 + q^2 + p^2 - 2*q*p = R^2 + r^2 + 2*R*r;
4*m^2 + R^2 + r^2 - m^2/2 - R^2 - r^2 - 2*R*r = 2*q*p; (свожу подобные и делю на 2);
(7/4)*m^2 - R*r = q*p; (это возводится в квадрат);
(49/16)*m^4 - 2*(7/4)*m^2*R*r + R^2*r^2 = (R^2 -m^2/4)*(r^2 - m^2/4) = 
= R^2*r^2 - (1/4)*m^2*(R^2 + r^2) + m^2/16; (ясно, что свободные от неизвестного m слагаемые выпадают, и степень понижается :));
3*m^2 = (7/2)*R*r - (R^2 + r^2)/4;
Собственно, это ответ. Его можно "переписывать" в каких-то иных формах, например, так
m = (√3/6)*√(16*R*r - (R + r)^2); 
сути это не меняет.
Почему эта задача вызвала такие моральные затруднения, я не понимаю.
Арифметику проверяйте! :)

Мне захотелось показать несколько простых ЧУДЕС, которые зарыты в этом условии. См. ВТОРОЙ рисунок, он немного отличается от первого. Семь отличий искать не надо :). Проведена общая внутренняя касательная до пересечения с прямой. Она делит средний (из трех равных) отрезок на части x и m - x; отрезок касательной t;
Ясно, что x*(x + m) = t^2 = (m - x)*(m - x + m);
откуда легко найти x = m/2; 
то есть общая внутренняя касательная делит средний отрезок пополам.
Это уже НЕЧТО, но есть и дальше :) 
r^2 + t^2 = p^2 + (x + m/2)^2 = r^2 - m^2/4 + m^2; 
t^2 = (3/4)^m^2;
t = m*√3/2; 
к сожалению, это не сильно в поиске m :);

Из сказанного   выше в комментарие
рассмотрим систему:
1)x^2/6+y^2=1
  y=kx+b
x^2/6+ (kx+b)^2=1
x^2+6k^2x^2+12kxb+6b^2-6=0
(1+6k^2)*x^2+12kxb+6b^2-6=0
Линейный случай отсекается    1+6k^2>0
D/4=36k^2*b^2-(1+6k^2)(6b^2-6)=0
2)  x^2/4+y^2/9=1
     x^2/4+(kx+b)^2/9=1
       9x^2+4k^2x^2+8kxb+4b^2-36=0
   (9+4k^2)+8kxb+4b^2-36=0
  9+4kx^2>0  
D/4= 16k^2b^2-(9+4k^2)(4b^2-36)=0
Раскрывая скобки в каждом уравнении получим.
36k^2*b^2-6b^2+6-36k^2b^2+36k^2=0
6k^2-b^2+1=0
и 2   уравнение:
16k^2b^2-36b^2+324-16k^2b^2+144k^2=0
4k^2-b^2+9=0
То  выходит линейная система
6k^2-b^2=-1
4k^2-b^2=-9
Вычтем:
2k^2=8
k^2=4  k=+-2
b^2=25  b=+-5
То   уравнения  общих касательных будут принимать вид:
y=2x+5
y=2x-5
y=-2x+5
y=-2x-5