Как «вырезать» кусочек меша по другому мешу?
Это называется boolean operations, довольно сложная вещь для реализации самому. Лучше взять готовую библиотеку, например https://github.com/gilbo/cork
Начать читать можно отсюда https://en.wikipedia.org/wiki/Constructive_solid_g...
По-моему, для этого используется stencil buffer (трафарет).