During life in exile, Yoritomo married Masako HOJO, the eldest daughter of Tokimasa HOJO, a Gozoku (local ruling family) in Izu, and fathered a daughter, Ohime.
なお、この流刑になっている間に伊豆の豪族北条時政の長女である北条政子と婚姻関係を結び長女大姫(源頼朝の娘)をもうけている。