Почему сервер может долго отдавать json?
3 мегабайта за 1.5 секунды - это около 20 мегабит/сек. Для локальной сети маловато, а для интернета, IMHO, вполне приличная скорость.
Переходите с json на что-нибудь другое 
msgpack.org
bsonspec.org
если данные имеют строгую схему то 
https://developers.google.com/protocol-buffers/