Как найти формулу для закругленного пентагона?
Вот так вроде 

snippet
Проще и понятней сделать через clip-path: (#url)чем непонятно с какой целью рисовать сложные фигурки. Просто залейте фигуру в svg и вставьте этот svg-код в свой код страницы, а потом используя её ID обрезайте любые изображение сколько угодно раз.