Anderson blev født i Louisville i Kentucky. Han fik sin eksamen fra West Point i 1825 og blev midlertidig sekondløjtnant i 2. artilleriregiment. Han gjorde tjeneste i Black Hawk krigen i 1832 som oberst for de frivillige fra Illinois, hvor han to gange mønstrede kaptajn Abraham Lincoln ind og ud af tjenesten. Tilbage i den regulære hær som premierløjtnant i 1833 gjorde han tjeneste i den anden Seminolekrig som assisterende generaladjudant i general Winfield Scott's stab. Han deltog den Mexicansk-amerikanske krig, hvor han blev alvorligt såret i Slaget ved Molino del Rey. Det gav ham en midlertidig forfremmelse til major. Han blev permanent udnævnt til major i den regulære hær den 5. oktober 1857. Han var forfatter til Instruction for Field Artillery, Horse and Foot i 1839.  Borgerkrigen Da de sydlige stater i USA begyndte at træde ud af Unionen forblev major Anderson loyal overfor De Forenede Stater. Han var kommanderende officer på Fort Sumter, som ligger i Charlestons havn i South Carolina. Hans ordrer lød på at han skulle forblive på fortet, som lå på et område, som tilhørte Unionen. Fortet blev bombarderet fra den 12. april til den 13. april 1861, af styrker under ledelse af P.G.T. Beauregard, som havde været en af Anderson's elever på West Point. Major Anderson overgav fortet den 14. april. Ingen blev dræbt under bombardementet. Angrebet på fort Sumter var begyndelsen på den amerikanske borgerkrig. Anderson blev forfremmet til brigadegeneral den 15. maj 1861 efter at være kommet tilbage til Unionsområde.  De sidste år Anderson tog fortets flag med sig tilbage til New York City, hvor han deltog i et patriotisk stævne, som menes at have været den største offentlige forsamling i Nordamerika indtil da. Derefter tog Anderson på turne for at rekruttere frivillige til hæren. Det var en stor succes, men desværre svigtede hans helbred, og han måtte lade sig sygemelde. Han trak sig tilbage fra hæren den 27. oktober 1863. Nogle dage efter Robert E. Lee's overgivelse den 9. april 1865 tog Anderson tilbage til Charleston i sin uniform som midlertidig generalmajor (med rang fra 3. februar 1865) og fire år efter, at han havde sænket flaget i overgivelse, hejste han det nu igen i triumf over det generobrede, men stærkt beskadigede fort, under en ceremoni som afholdtes der. Den samme aften 14. april 1865 blev præsident Abraham Lincoln myrdet. Anderson døde i Nice i Frankrig, og ligger begravet på kirkegården ved West Point.