Ông là con trai thứ ba của Benjamin Harrison V, người ký Tuyên ngôn Độc lập và là thống đốc ba lần của Virginia. Được đào tạo tại Virginia, Harrison sau đó đến Philadelphia để học y khoa dưới sự điều hành của Tiến sĩ Benjamin Rush. Tuy nhiên, khi cha ông qua đời vào năm 1791, ông đã từ bỏ việc học y khoa và gia nhập quân đội.