It was designed by the court architect Tokuma KATAYAMA, a pupil of the architect Josiah Conder, and built on the site where the house of the former domain of Kishu used to be, but since it was too luxurious to live in and not suitable for a residence, the Crown Prince (later Emperor Taisho) in fact did not often use it.
建築家ジョサイア・コンドルの弟子である宮廷建築家片山東熊の設計により、元紀州藩の屋敷跡に建てられたが、あまりに華美に過ぎることや、住まいとして使いにくかったことから、実際には皇太子（後の大正天皇）はあまり使用しなかった。