Yoshichika KOIDE, a tozama daimyo (territorial samurai lord who swore loyalty to the Tokugawa clan after the Battle of Sekigahara when Tokugawa became shogun) whose territory was transferred there from Izushi, Tajima Province, built the castle in two years starting from 1619.
但馬国出石より移封された外様大名の小出吉親により、元和5年（1619年）より2年の歳月をかけ築かれた。