His last name, 'Hanayagi,' was derived from the Gago (pseudonym), '園清喜 HANAYAGI,' of Sansaburo TAMAYA, the owner of the house of prostitution which was famous in Yoshiwara, and it was Tamaya who recommended Yoshijiro, who returned to Yoshiwara, using his own Gago.
「花柳」という姓は、吉原きっての遊女屋の主人であった玉屋山三郎の雅号「花柳園清喜」が由来であり、吉原に戻った芳次郎を贔屓にしていた玉屋が、自らの雅号を名乗るよう勧めたとされる。