Заочное или очное высшее для получения хорошей матбазы?
Как эффективнее?
Не получать высшее образование. Если ваша цель - геймдев, то эффективно будет изучать геймдев. Если ваша цель - высшее образование, то эффективно будет идти на очную форму обучения.
Буду получать высшее.
Образование или диплом? Образование можно получить и без вуза.
на очном времени почти вообще
Никакой разницы. Ты либо хреначишь по 12 часов без выходных n лет на заочке, либо хреначишь по 12 часов без выходных n лет на очном( либо пускаешь сопли 4 года и выходишь с бумажкой)
пойти на очное или же изучать математику самостоятельно и быть на заочке? 
В вузе не учат. Ты и так и эдак будешь учить сам.