Прокрутка div вместо страницы?
На примере того же вконтакта:
при показе лаера на body ставится
 overflow:hidden;
и показывается блок лайтбокса #layer_wrap у которого стоит:
 height: 580px;
 overflow: auto;
Именно это и позволяет добиться описанного вами эффекта.
За это отвечает css свойство overflow, высота должна быть ограничена.