It is said that Yoshiaki was called 'a poor noble' because he wandered with Shogunate statesmen after his elder brother Yoshiteru died and wandered in various provinces after being exiled by Nobunaga.
兄・義輝の死後、幕臣に守られながら流浪したり、信長に追放されて諸国を流浪したりしたりして諸大名を頼った経緯から、「貧乏公方」と噂されたといわれる。