Почему прыгает качество сигнала?
Если коаксиал это какой нибудь rg-6 то длину надо уменьшить и проверить как он соединен с антенной. И пигтейл на модеме самодельный или заводской? 5 метров для 4g это не менее 3 дБ потерь, половина усиления антенны зачастую. Расположите модем как можно ближе к антенне, используйте USB удлинитель, но придется найти очень хороший, на большей части барахла только мышка может работать. Синяя антенна это какая? Что нибудь на ней написано? она точно для 4g?
Купить микротик с симкой, типа SXT. Поставить на крышу
От него кинуть витую пару вниз

А вы не думали что роутер на крыше немного офигивает от погоды?)