Как вообще работает go?
Это не Го, это браузер: в первый раз он переоткрывает соединение, хост резолвит и т.д., в последующем он работает с уже открытым соединением и различными кэшами связанными с данным запросом/адресом. После некоторого бездействия соединение закрывается, кэши сбрасываются, поэтому запрос опять отрабатывает дольше
в код на go добавьте время на вход и время на выход и сравните эти значения с вашими данными. Задержки идут от веб-сервера и вашего браузера. p.s. Все ответы в комментариях к саму вопросу ))