It can't be proved that he refused the preferential condition proposed by Ieyasu because of loyalty to the Toyotomi family, but adversely, based on the fact that Nobushige's older brother and uncle were vassals of the Tokugawa family, it is said that there was defamation from vassals of Toyotomi that 'Shigenobu is a spy of the Tokugawa side.'
家康からの破格の条件を断ったのが、豊臣家への忠誠のためであったかについては実証することはできず、逆に信繁の兄や叔父らが徳川家の臣下であることを根拠に「信繁は徳川方の間者である」という豊臣家臣からの誹謗中傷もあったと言われている。