In 1839, he was born as the second son of Hyobu YOSHIOKA, a merchant in Minamiosaka-cho, Shinbashi, Edo (according to another opinion, Okubo, Toshima-gun, Bushu).
天保10年（1839年）、江戸新橋南大阪町（武州豊島郡大久保の説有り）の商家である吉岡兵部の次男、米次郎として生まれる。