Какие книги стоит читать по криптографии с нуля до гуру?
Начните с Брюса Шнайера и его Прикладной криптографии или если хочется попроще, но не так глубоко начать, то Владимир Жельников - Криптография от папируса до компьютера. Прочитав эти книги вы уже сможете сформировать для себя список вопросов гуглу. А дальше уже дело техники. :)
Математика и системы уравнений (не школьная!).