Er war einer der Zwillingssöhne des Thomas Boultbee (1724–1785) und der Jane Bage (1732–1789), die beide aus Brailsford stammten, und wurde gemeinsam mit seinem Bruder am 4. Juni 1753 in Osgathorpe getauft.