Since Toshinosuke (later Yasuhiro WAKISAKA), the real son of Yasuori WAKISAKA who was the ninth lord of the Tatsuno Domain, was young, Yasuaya became the adopted son of Yasuori in July 1858.
龍野藩の第9代藩主・脇坂安宅の実子・寿之助（のちの脇坂安煕）が幼少のため、安政5年（1858年）6月に安宅の養子となった。