Как работают мессенджеры?
Шифрование? Мало кто заморачивается.
Про шифрование можно отдельно читать. Это своя отрасль знаний.
Читай, например, описание протокола Jabber. Там все подробнейшим образом расписано.
https://xmpp.org/xmpp-protocols/rfcs/
https://xmpp.org/xmpp-protocols/xmpp-extensions/
Полное описание протокола XMPP. Ну а если нужно подробнее - то уже исходники ejabberd2 и какого-нибудь клиента. 
Как работают проприетарные мессенджеры никто вам не расскажет. А если расскажет - то догадки или то, что выяснили по косвенным признакам.