при данных условиях задача не имеет единственного решения! Маленькие кружки с радиусом R3 могут свободно перемещаться обеспечивая касание как с большой R1 так и с малой R2 окружностями при R1=R2+R3 .... при этом площадь будет меняться!

при R1<R2+R3 можно решить но нужны координаты центров R3

при R1>R2+R3 НЕТ РЕШЕНИЙ

Уточни задачу!