N вам ограничивает глубину поиска, а R — ширину. вы задали огромное рекурсивное ~(R^N)!-мерное поле поиска. простите, точную формулу сейчас не могу (написаная — чушь, конечно), но там совершенно астрономическое число получается. со стеком всё в порядке (глубина всего N), проблема именно в огромной области, которую всю надо перебрать. при нехватке стека среда просто покажет трап.