Jefferson chuyển đến South Pavilion (một tòa nhà phụ) vào năm 1770, nơi vợ mới của ông là Martha Wayles Skelton gia nhập ông vào năm 1772. Jefferson tiếp tục làm việc trên thiết kế ban đầu của mình, nhưng bao nhiêu được hoàn thành là một số tranh chấp.