Walker blev født i Mount Meridian i Virginia som søn af Alexander Walker og Hannah Hinton. Som barn gik han på nogle af de bedste privatskoler i området, og som 16-årig blev han i 1848 optaget på Virginia Military Institute (VMI) i Lexington. I 1852, lige før den endelige eksamen, kom han i en ophidset diskussion med en af sine lærere på akademiet, professor i artilleri og fysik (Natural Philosophy), major Thomas Jackson, den senere så navnkundige "Stonewall". Skænderiet udviklede sig, og Walker følte at Jackson havde ydmyget ham offentligt, så han udfordrede Jackson til duel. Jackson overvejede efter flere kilder, om det var muligt at gennemføre duellen, men endte med at sende sagen til skolens ledelse. Ledelsen fandt at en elevs udfordring af en lærer til duel, var at sidestille med en forbrydelse, og stillede Walker for en krigsret. Trods Walkers dygtighed og popularitet, endte sagen med, at han blev bortvis fra akademiet lige inden den afsluttende eksamen. Walker fik alligevel en stilling i hærens ingeniørkorps, og var med til at anlægge Chesapeake and Ohio Railroad men i omkring 1854 fik han job hos en advokat i Staunton, Virginia, og i 1854 og 1855 læste han jura på University of Virginia i Charlottesville. I 1856 begyndte han at praktisere som advokat i Pulaski County i det sydvestlige Virginia. I 1860 blev han valgt som distriktsanklager i distriktet, og denne stilling havde han frem til 1863, selv om han ikke kunne bestride den i praksis efter borgerkrigens udbrud.  Under borgerkrigen I 1859 foretog abolitionisten John Brown et angreb på våbendepotet i Harpers Ferry. Angrebet blev afvist, og John Brown blev hængt, men mange indbyggere i sydstaterne blev nervøse efter angrebet, og dannede lokale militser. Også Walker tog initiativet til oprettelsen af en lokal milits, The Pulaski Guards, som på grund af hans militære baggrund valgte ham som kaptajn. I april 1861 brød borgerkrigen så ud, og Walker og hans kompagni blev beordret til Harpers Ferry, hvor de kom til at indgå som Kompagni C i det 4. Virginia Infanteriregiment, der ironisk nok var under kommando af den samme Thomas Jackson, som havde været årsag til, at Walker blev bortvist fra VMI. Både Jackson og Walker formåede imidlertid at glemme tidligere konflikter, og efter at Jackson havde set Walker i kamp i det Første slag ved Falling Waters indstillede han ham til forfremmelse. Han blev udnævnt til oberstløjtnant og overflyttet til 13. Virginia Infanteriregiment under ledelse af A. P. Hill. Efterhånden som Jackson avancerede mødte han og Walker hinanden flere gange under krigen, og efterhånden blev de gode venner. Ifølge udtalelser fra Jackson, var der ingen anden officer i hæren, som han satte højere end Walker. I marts 1862 blev A. P. Hill udnævnt til brigadegeneral og Walker overtog kommandoen over hans regiment, som indgik i Ewells division. Senere blev regimentet overført til Jacksons kommando og kæmpede med i Jacksons Shenandoah kampagne. Her fik Walker kommandoen over en brigade, men var forsat kun oberst. I Slaget ved Antietam havde han kommandoen over Trimbles Brigade og senere i slaget ved Fredericksburg i december 1862 havde han kommandoen over Earlys Brigade. I foråret 1863 indstillede Jackson ham igen til forfremmelse og han blev udnævnt til brigadegeneral. Samtidigt anbefalede Jackson at Walker fik kommandoen over hans egen "gamle" Stonewall Brigade. Denne kommando bevarede han frem til maj 1864, hvor han blev såret i Slaget ved Spotsylvania Court House, og måtte trække sig midlertidigt tilbage fra tjenesten. På det tidspunkt havde han ført brigaden med succes i flere slag, blandt andre Slaget ved Gettysburg og Slaget ved the Wilderness. I juli 1864 vendte han tilbage til hæren, hvor han fik kommandoen over de styrker, der forsvarede sydstaternes vigtige jernbanelinier mellem Richmond og Danville i Virginia. I februar 1865 vendte han tilbage til frontlinien som chef for John Pegrams Brigade. Pegram selv blev dræbt i Slaget ved Hatcher’s Run den 6. februar 1865. Som den ældste brigadechef overtog han kommandoen over Jubal A. Early's division efter at General Lee afsatte Early i marts 1865, og han forblev leder af divisionen til krigens slutning. Sammen med Robert E. Lee overgav han sine tilbageværende 1.500 soldater til Ulysses S. Grant ved Appomattox Courthhouse 9. april 1865. Walker blev i øvrigt den eneste leder af Stonewall brigaden, der overlevede krigen. Alle øvrige, både permanente og midlertidige ledere, døde i kamp.  Efter borgerkrigen Efter krigen fik Walker faktisk sit diplom fra VMI, og i dag står han i skolens annaler som udgået fra akademiet selv om han egentlig blev bortvist. Selv vendte han tilbage til Pulaski County, hvor han genoptog sin advokatpraksis. I 1868 blev han nomineret som viceguvernør over Virginia af det demokratiske parti, men han trak sig tilbage til fordel for en kandidat fra nordstaterne. I 1871 blev han valgt som delegeret til staten Virginias kongres, og i 1876 blev han så valgt som viceguvernør. Da hans valgperiode udløb, trak han sig for en tid tilbage fra politik, og da Grover Cleveland blev valgt som demokraternes præsidentkandidat i 1883 forlod han partiet og tilsluttede sig i stedet republikanerne. I 1894 og 1896 var han tilbage i politik, og blev indvalgt i USA’s kongres for republikanerne. I 1898 trak han sig tilbage fra politik, efter ikke at være blevet genvalgt til kongressen, og han genoptog derefter sin advokatvirksomhed. Han døde i Wytheville, Virginia i 1901, og ligger begravet i byen.