Из-за чего может падать FPS даже после перехода сцены?
Грубо говоря - из за чего угодно. 
Если прям виснет - то очень похоже что где то есть цикл с неправильным условием. Возможно там иерархи разрастается  в цикле или еще что то.
Телефон перегревается и снижает свою производительность.