"Ruiju meibutsu ko" (an encyclopedia compiled by Matsuake YAMAOKA during the middle of the Edo period) suggests that the origin of the word came from calling people who 'came to gather' at governmental offices yoriudo, but the actual origin is unknown.
『類聚名物考』には、官司に「寄り合う人」を寄人と呼んだのが語源であると言われているが真偽は不明である。