Почему скорость загрузки сайта на мобильных через testmysite.withgoogle.com такая странная?
По тому что из разных точек мира время загрузки контента разное
Смотрите лучше инструментами более профессиональными.
Берите gtmetrix и в нем смотрите, что именно загружается в waterfall.
loading.express в нем смотрите по каким параметрам надо работать.
Ну и правильно тут пишут, что гугл пейджспид для понятной оценки.