Gregg blev født i Lawrenceville, Alabama, som søn af Nathan Gregg og Sarah Pearsall Camp. Han tog eksamen fra LaGrange College i Georgia i 1847, hvor han efterfølgende var ansat som professor i matematik. Han studerede senere jua i Tuscumbia, Alabama. Gregg flyttede til Freestone County i Texas i 1852 og bosatte sig i byen Fairfield. Han blev valgt til distriktsdommer og fungerede i den stilling fra 1855 til 1860. I 1858 giftede Gregg sig med Mary Francis Garth fra Alabama, datter af Jesse Winston Garth, en unionstilhænger, som var villig til at opgive sine hundreder af slaver, hvis det kunne redde Unionen. Gregg var en af grundlæggerne af Freestone County Pioneer, den første avis i Freestone County. Han brugte sin avis og politiske indflydelse til at opfordre til et udtrædelseskonvent indkalde efter valget af Abraham Lincoln til præsident for De Forenede Stater i 1860. Gregg var delegeret ved Texas' udtrædelseskonvent i Austin i januar 1861. Delegationen udsendte forordningen om udtræden den 1. februar 1861. Gregg var det ene af seks medlemmer fra konventet, som blev valgt til at repræsentere Texas i den provisoriske konfødererede kongres i Montgomery og senere i Richmond.  Indsats i borgerkrigen Gregg sad i den provisoriske konfødererede kongres fra den 15. februar 1961 indtil han trak sig tilbage i august 1861 for at træde ind i den konfødererede hær. Han vendte tilbage til Texas og dannede det 7. Texas infanteriregiment og blev dets oberst i september. Gregg og 7. Texas kom første gang i kamp i Slaget ved Fort Donelson fra 12. – 16. februar 1862, hvor de blev taget til fange sammen med det meste af garnisonen. Han blev sendt til Fort Warren i Boston til internering. Gregg blev udvekslet den 15. august 1862 og blev forfremmet til brigadegeneral den 29. august. Han blev sendt til Mississippi for at gøre tjeneste i det vestlige operationsområde, og blev tildelt 10. brigade i 1. division i Army of Mississippi, fra 24. oktober 1862 til marts 1863. Greggs 10. brigade blev derefter overført til militærdistriktet Mississippi og østlige Louisiana fra marts til maj 1863. Hans styrke, som nu hed Greggs Brigade var tilknyttet William H. T. Walkers Division den 10. maj 1863. Greggs første store indsats i Mississippi kom i slaget ved Raymond, den 12. maj 1863, hvor hans 3.000 mand store brigade kæmpede et hårdt 6-timer langt slag mod 17. Korps, der var 10.000 mand stort, under ledelse af generalmajor James B. McPherson. Gregg måtte trække sig tilbage til Jackson, Mississippi efter slaget hvor han blev involveret i slaget ved Jackson den 14. maj 1863. Greggs Brigade udgjorde i kort tid en del af reservekorpset i Army of Tennessee i september 1863. Under slaget ved Chickamauga var han tildelt Bushrod Johnsons division i tredje korps af Army of Tennessee den 19. september. Gregg blev alvorligt såret den 20. september, da han blev ramt i nakken. Efter at være kommet sig af sine kvæstelser fik han kommandoen over den berømte Hood's Texas Brigade i Robert E. Lees Army of Northern Virginia. Gregg og hans brigade var indsat i det østlige operationsområde i foråret 1864 og kom i kamp i slaget ved the Wilderness, slaget ved Spotsylvania Court House, Slaget ved Cold Harbor og belejringen af Petersburg. Under kampene i the Wilderness blev Gregg såret den 3. maj 1864, og fortsatte med Lee's hær til Petersburg indtil 1864.  Død Gregg blev igen ramt i nakken og blev dræbt ved Charles City Road, nær Richmond, Virginia. Han blev skudt mens han anførte et modangreb. Gregg blev begravet på Odd Fellows Cemetery i Aberdeen, Mississippi. Hans enke Mary Garth Gregg, havde krydset frontlinjen for at hente hans lig.  Eftermæle Gregg County, Texas blev opkaldt efter John Gregg da det blev etableret i 1873.