The site fell into ruin after the middle ages and the size of the garden was drastically reduced in 1603 when Ieyasu TOKUGAWA incorporated the majority of the land into Nijo-jo Castle which he built in the area.
中世以降は荒廃し、慶長8年（1603年）、徳川家康が二条城を造営した際には神泉苑の敷地の大部分が城内に取り込まれて著しく規模を縮小した。