Dia adalah putra ketiga Benjamin Harrison V, penandatangan Deklarasi Kemerdekaan dan gubernur Virginia tiga kali. Dididik di Virginia, Harrison kemudian pergi ke Philadelphia untuk belajar kedokteran di bawah Dr. Benjamin Rush. Namun, ketika ayahnya meninggal pada tahun 1791, ia menyerah studi medis dan bergabung dengan Angkatan Darat.