Genzaburo was born in Hinojukukitabara, Bushuhino City (currently Hinohon-machi, Hino City, Tokyo) the third son of Tozaemon INOUE (also called Matsugoro), who was steward for Hachioji Sennin Doshin (junior officials in Hachioji).
武州日野市日野宿北原（ひのじゅくきたばら／現在の東京都日野市日野本町）に八王子千人同心世話役の井上藤左衛門（松五郎とも）の三男として生まれる。