Как производить математические операции с большими числами?
Фраза для гугла "Длинная арифметика С++"
Есть готовая и достаточно быстрая реализация в openSSL - BN. Можете ее использовать, можете их сорцы посмотреть (но там черт ногу сломит). Есть еще MIRACL (тоже с сорцами), но у них проблемы с производительностью и документация не очень местами. Можете посмотреть GMP, но лично не использовал.