Как создают свой протокол?
 более низкому по цепочке, TCP/UDP протоколу.
Именно так. Читаем про модель OSI.шифрование данных собственным алгоритмом (и расшифровка на приеме) своим протоколом?
Если в рамках вашего протокола вы так же описываете как происходит обмен ключами и т.д. то да.
Вам прямая дорога сюда - https://ru.wikipedia.org/wiki/%D0%A1%D0%B5%D1%82%D...