Как сделать чтобы фигура не вылазила за рамку при трансформациях?
При вращении нужно ещё менять масштаб фигуры. А сам масштаб зависит от угла поворота, т.е. это будет функция от угла.
Когда-то очень давно я подобное делал, только на канве
Делайте не Render трансормацию, а Layout