Как из интернета подключиться к компу, который выходит в сеть через 4g модем?
Можно. 
Есть аж два варианта, один требует более прямых рук, другой - денег.
- установить и настроить на компе VPN, по которому он будет цепляться к другому компу - и ходить через него
- купить у провайдера "белый" IP. ВНИМАНИЕ! Не статический IP, а именно "белый" - потому что хитро#опый оператор может Вам продать постоянный серый IP :D
Что значит подключаться?
консоль - проще всего dyndns использовать и напрямую заходить.
рабочий стол - софт для удаленного управления teamviewer и т.д. Один аккаунт - все компы под рукой.
Причём здесь ваш сервер без понятия, только сложнее.