Когда стоит переходить на новые версии Python и когда это надо?
Это зависит от вашего темперамента.
Если вы во всём гонитесь за последними веяниями, переходить, конечно же, надо.
Если же вы придерживаетесь более консервативных взглядов и вас не парит, что вы в мейнстриме - тогда не обязательно.
Вы только что прочли наилучший материал по вашему вопросу.
UPD.
Версии на 100% совместимы снизу вверх.  Спокойно можно.
Можно ли спокойно писать на 3.5 потом перейти на 3.6 и.т.д.
Да, ветка 3.х обратно совместимая (на 99,9%), хотя некоторые либы забивают на старые версии, что вообщем то не страшно, а иногда и оправдано.
PS: Я уже на 3.7 с недавних пор...