It is said that the post was firstly set up when Masashige INOUE, ometsuke (chief inspector of the Edo shogunate), was appointed as shumon aratame-yaku in 1640, and the post was also assumed by sakuji bugyo (commissioners of building) from 1662.
1640年（寛永17年）幕府大目付であった井上政重がその任に当たったのが始まりとされ、1662年（寛文2年）には作事奉行もこの役に任命されるようになった。