The legends mention retainers such as the four loyal retainers led by WATANABE no Tsuna, from the same Saga-Genji as Yorimitsu's mother, and the strong FUJIWARA no Yasumasa, so it can be assumed that these stories reflect the fact that Yorimitsu actually had retainers.
説話では、母の一族の嵯峨源氏の渡辺綱を筆頭にした頼光四天王や、藤原保昌などの強者の家臣がいたと言われ、頼光が実際に郎党を従えていたことを反映しているとも考えられている。