Judging from his family crest, "Hitotsumeyui-mon" (or "Kuginuki-mon"), it is certain that his ancestors had a relationship with the Sasaki clan.
吉政が家紋に「一つ目結い」紋（釘抜き紋ともいう)をもちいたことから、先祖は佐々木氏となんらかの関係があったことは間違いないとされる。