С чего начать разработку VPN сервиса?
Работу с шифрованием хорошо начинать с освоения криптоматематики.
Она сразу поставит всё на свои места. Если осилите тогда дерзайте дальше.
Параллельно можно почитать классику в подлинниках например OpenVPN, IPSEC.
Постарайтесь найти проблемы в OpenVPN сравните потом свои достижения с результатами аудита кода профессионалами (как известно на аудит OpenVPN собраны деньги).
Если возникают такие вопросы, то лучше забыть про эту идею :)