Почему не используют строки для хранения чисел?
Этот вопрос имеет ответ, и довольно простой: процессору так удобнее.
А вообще на практике удобно пользоваться универсальным принципом:Q: почему сущее такое, как оно есть?A: попробуй спросить у гугла сделать по-своему, и расскажешь нам об успехах. 
Кстати, длинную арифметику на строках (на питоне) можно состряпать за полчаса. Но оооочень медленную.
https://docs.python.org/3/library/decimal.html вам в помощь