However, when the main ward of Edo Castle was burned down in May 1844, a new roju shuza, Toshitsura DOI, could not gather enough money for the reconstruction of the castle, and this displeased Ieyoshi and led him reappoint Tadakuni as roju shuza on June 21, under the excuse of complicated foreign issues.
天保15年（1844年）5月、江戸城本丸が火災により焼失し、その再建費用を老中首座・土井利位が集められなかったことから家慶の不興を買ったため、6月21日に家慶は外国問題の紛糾などを理由に忠邦を老中首座に再任した。