(a-4)²-3a(a-3) преобразовать в многочлен стандартного вида.

(a-4)²-3a(a-3)=a²-8a+16-3a²+9a=-2a²+a+16

Пусть у Васи х монет по 5 рублей, у монет по 1 рублю, (12-х-у) монет по 2 рубля.
Тогда у Пети х монет по 2 рубля, у монет по 5 рублей и (12-х-у) монет по 1 рублю.
Общая сумма денег Васи:
у+2·(12-х-у)+5х
Общая сумма денег Пети:
(12-х-у)+2х+5у
По условию у Васи в два раза больше. Составляем уравнение
у+2·(12-х-у)+5х=2·((12-х-у)+2х+5у)
у+24-2х-2у+5х=24-2х-2у+4х+10у
х=9у
т.е монет достоинством 5 рублей у Васи в 9 раз меньше, чем монет по 1 рублю.
Вывод.
У Васи 9 монет по 5 рублей, 1 монета по 1 рублю, (12-1-9)=2  монеты по 2 рубля.
Тогда у Пети 1 монета по 5  рублей, 9 монет по 2 рубля и 2 монеты по 1 рублю.
У Вас 45+1+4=50 рублей
У Пети 5+18+2=25 рублей.

Первое число может быть только четырехзначным поскольку 2116 четырехзначное число, а если учесть что второе число будет на один порядок меньше, то остается только вариант что первое число четырехзначное.
Если брать числа меньше 1900, то при любой сумме
1800+180<2116

1899+189<2116

Если же наоборот брать числа более 2000, то даже при самом маленьком значении
2000+200>2116

Значит остаются варианты 1900.

Выполним приблизительную прикидку
1910+191=2101
1920+192=2112  очень близко
1924+192=2116

ответ это числа 1924 и 192