С чем связаны тормоза при первом открытии сайта?
Я бы для начала копнул в сторону диска. Вполне реально, что он вырубается, вы обращаетесь к сайту, диск запускается. Но это довольно таки безумное предположение.
Ну на своей домашней винде я бы сказал что после простоя в 20 минут был отключен винт для экономия энергии, и по скольку он у меня hdd то на обращение к нему требуется реально много времени, относительно.
Для начала попробуйте открыть файл на вашем веб сервере который не имеет никакого отношения к вашему сайту и вашему виртуальному хосту. Если поведение такое же то попробуйте другой веб сервер.