Как обеспечить безопасность модов для игр?
Никак. Динамически загружаемая библиотека может уже в момент собственной загрузки исполнять любой код, который захочет.
Думаю, единственным вариантом здесь будет ручная модерация пользовательского кода, использование сертификатов для подписи библиотек и загрузка игрой исключительно подписанных сертификатом разработчика модификаций.
Накопал такую вещь https://github.com/cv-lang/virtual-machine может поможет.