The son of the local ruling Mibu clan, he was born in 794, the first year of the Heian period, in Mibu town, Tsuga district, Shimotsuke Province, where Mibu-ji Temple (Mibu-machi, Tochigi Prefecture) now stands.
生年は794年（延暦13年）、平安時代の始まりと同じ年で、下野国都賀郡壬生町、現在の壬生寺(栃木県壬生町)の地に豪族壬生氏の子として生まれる。