The Doi clan originated in Kimotodoi, Muro County, Kii Province (Kumano City, Mie Prefecture), their ancestor was from the Suzuki clan, one of three guardians of Kumano, and they worshipped Kumano Sanzan.
土居氏は紀伊国牟婁郡木本土居（三重県熊野市）を発祥とし、熊野三党の一家・鈴木一党を祖とすると伝えられ、熊野三山を篤く信仰していた。