Свой сервер аналог Skype есть ли такой?
Skype это проприетарное ПО.  Свой «сервер» поднять не получится.
Ближе всего к твоему запросу будет скорее всего Matrix и подобные
Есть поддержка и голоса, и видео, и шифрование, и мосты в другие мессенджеры, и кроссплатформенность, и возможность изоляции
Openfire. Родной полноценный клиент под Windows/Lunix/Mac, но есть еще веб-клиент, а если нужен только функционал чатов - он есть везде (любой XMPP-клиент). 
Бесплатно, работает, еще и интеграция с Active Directory имеется.
Видеоконференции решаются плагином.

Еще возможность звонков, видео и чатов есть в 3CX. Есть бесплатная версия.
Там основной упор на телефонию, для нее и чатов можно делать полностью свой сервер. Видеоконференции через браузер и фактически разруливаются внешним сервером. Платные решения доступны в РФ.

З.Ы. уточнил - сейчас и видео на  своем сервере. 