Как отменить рендеринг не попадающих в камеру объектов?
Предложу ознакомиться вот с этим:
https://docs.unity3d.com/Manual/DrawCallBatching.html
+ гугли на ютубе запрос "Unity Occlusion Culling" там найдёшь всё, что нужно
Во-первых, в unity встроенный frustum culling, так что он не рендерит ничего, что в камеру не попадает
Во-вторых, все статичные объекты объединяются в один меш, в пределах возможности, и за раз рендерятся, это будет видно во Frame Debugger
В-третьих, тебе нужен Profiler, чтобы увидеть, где именно просадки происходят