Где найти литературу по проектированию (расчёту производительности) сервера IP-АТС?
Поскольку требования к мощности сервера напрямую зависят от используемого ПО, то следует изучить документацию на конкретный soft-PBX, который планируется применять, например: Asterisk: The Definitive Guide, Appendix C - Preparing a system for Asterisk
Если 10к плюс - это уровень сервис провайдера.
Есть крупнокалиберный софт, например от Broadsoft, внутри которого всё предусмотрено, виртуальные домены, разнос регистраторов и медиа процессоров, сайзинг и.т.д. 
Важно учитывать шаблон нагрузки : обыкновенное предприятие/дома - берётся соотношение одновременных звонков 1/5. Если call центр - всё другое.
Также клиенты-шлюз. Если они работают на одном кодеке и делают reinvite - это совсем другая нагрузка.
Обратите на внимание на советы товарища Дмитрий Червонобаб  - они правильные.