Не понял Вашего вопроса. Можно конкретнее: каким вызовом открываете диалог? OpenAuxDialog и OpenToolDialog не позволяют менять размер диалога. А OpenBrowser открывает не сам по себе диалог, а документ.

Вы, я так понимаю, установили у формы размер "по окну", сохранили документ в Mask Mode и потом открываете вызовом OpenBrowser?