Как проверить вхождение круга в полигон?
проверить, что центр внутри полигона
проверить, что расстояние от любой стороны полигона до центра не меньше радиуса круга
Мне кажется, тут надо по примеру расчёта симметричных точек. Линия, соединяющая грань полигона и центр окружности, будет под прямым углом, и представлять максимальный радиус от центра до грани.