Sumitomo initially engaged in suppressing pirates that thrived in the Setouchi region as Iyo-no-kuni no jo, under the direction of his father's cousin FUJIWARA no Motona, Iyo no kuni kokushi (the provincial governor of Iyo Province).
当初は父の従兄弟である伊予国国司藤原元名に従って伊予掾として、瀬戸内に跋扈する海賊を鎮圧する側にあった。