When Yorinobu TOKUGAWA, the 10th son of Ieyasu TOKUGAWA, was appointed as the lord of the Kishu domain in July 1619, Naotsugu ANDO, the lord of Kakegawa Castle in Totomi Province, was assigned to the post of attendant chief retainer.
元和(日本)5年（1619年）7月、徳川家康の十男・徳川頼宣が紀州藩主に封じられたとき、その付家老として遠江国掛川城主・安藤直次が付けられた。