As used in words like bangasa (coarse oilpaper umbrella) and obanzai (Kyoto-style home cooking), 'ban' has meaning as 'ordinary' or 'everyday,' and bancha was named as such to mean tea which is not high grade but rather drunk routinely.
番傘、おばんざい（御番菜）などの言葉に使われるように「番」には「普段の」「日常的な」という意味があるので、高級品ではない日常的に飲まれるお茶という意味で名づけられた。