During the time of Norifusa AKAMATSU, the son of Yoshisuke, the clan became a Hideyoshi TOYOTOMI's retainer, and it was cast down to be a minor daimyo (feudal lord) with the stipend of only 10,000 koku crop yield as of 1583.
義祐の子・赤松則房の時代には豊臣秀吉の家臣となり、天正11年（1583年）にわずか1万石を安堵されるにすぎない小大名にまで没落してしまった。