However, in 1580, after Nobumori SAKUMA and his son were banished, Yoritaka was given most of the control of Izumi Province as vassals of Nobutaka ODA, together with Nagahide NIWA and Nobusumi TSUDA, and so on.
だが、天正8年（1580年）、佐久間信盛親子の追放後に、丹羽長秀・津田信澄らと共に、織田信孝の配下として付けられ、和泉国一国の支配権をほぼ任されている。