10 år gammel kom han ind på Landkadetakademiet, hvorfra han ved nytår 1827 afgik som sekondløjtnant (med aldersorden fra 1825) og ansattes ved Oldenborgske Infanteriregiment. Herved blev han premierløjtnant i 1833 og kaptajn i 1840. Året efter skulle Forbundskontingentet inspiceres, og Harbou henledede da i Fædrelandet gennem en række artikler opmærksomheden på de mangler, som dette korps led af, og som han ønskede afhjulpne, inden inspiceringen fandt sted. Men herved pådrog han sig kongens unåde, stilledes for en krigsret og dømtes til 6 måneders fæstningsarrest, hvorpå han ved hærreduktionen 1842 afskedigedes. Han drog så til udlandet og tog efter 2 års ophold i Paris tjeneste i Algier, hvor han, efter at have udmærket sig flere gange, blev ansat i marechal Bugeauds stab. I sommeren 1846 sendte Harbou en rapport hjem om sine oplevelser og iagttagelser, hvoraf en del findes gengivet i hans pjece: Nogle Ord om Kampement og Feltforplejning (1849) og en anden del i Literarische und kritische Blätter der Börsen-Halle 1847 under titlen: "Erinnerungen aus Algerien". Bugeaud ledsagede rapporten med en skrivelse til kong Christian VIII, hvori han udtalte sig om Harbou på en meget smigrende måde.  Treårskrigen I maj 1847 vendte Harbou tilbage til Danmark, beriget med større krigserfaring, end der da var sædvanlig her hjemme, og han afventede nu i Altona kongens nærmere bestemmelse om hans fremtidige anvendelse. Herved blev han vidne til oprørsbevægelsen i hertugdømmerne, og da oprøret var udbrudt, rejste han til København for at afgive beretning om tilstanden derovre. Han meldte sig 23. marts i Krigsministeriet, som modtog ham med åbne arme, og han udnævntes straks til krigsministerens, oberst A.F. Tschernings, adjudant, idet han genindsattes på sin tidligere plads i Hæren. Han kom nu til at spille en betydelig rolle, dels i selve Krigsministeriet, hvor han i ministerens øjeblikkelige fraværelse kunne ekspedere selv meget vigtige sager «efter Befaling», dels ved forskellige sendelser såvel til den aktive hær som til udlandet. I maj sendtes han således som krigsministerens befuldmægtigede til overkommandoen for at standse hærens påtænkte fremrykning fra Fyn over Als i Sundeved, men bemyndigede derefter på eget ansvar general Hans Hedemann til at rykke så langt frem, som det var nødvendigt, for at indtage en passende forpoststilling til sikring for Als. Fægtningen ved Nybøl blev heraf følgen. I juli samme år forfremmedes Harbou til major. Ved Tschernings afgang stilledes han til overkommandoens rådighed, ansattes derefter ved 13. bataljon, men erholdt i 1849 kommandoen over 12. lette bataljon, som han førte under slaget ved Kolding, ved hvilken lejlighed han blev hårdt såret. Det følgende år overtog han kommandoen over 9. bataljon og såredes atter hårdt 24. juli ved Helligbæk. 1848 blev han Ridder af Dannebrog og 1850 Dannebrogsmand.  2. Slesvigske Krig Efter krigen beholdt han i lang tid befalingen over sidstnævnte bataljon, der garnisonerede i Holsten, og forfremmedes i 1852 til oberstløjtnant, i 1858 til oberst. Under troppesamlingerne ved Slesvig 1861-63 førte han dog en brigade, og ved hærens mobilisering 1864 erholdt han kommandoen over 5. infanteribrigade, hvormed han deltog i Dybbøls forsvar, indtil han under kampen 28. marts for 3. gang såredes. Vistnok forlod han ikke straks sin post, men nogle dage senere beskadigedes ved et uheld hans ene fod, han blev syg og kom ikke mere til tjeneste før krigens slutning. Ved hærreduktionen samme år sattes Harbou à la suite som generalmajor; alt forinden var han benådet med Kommandørkorset af Dannebrog (1. grad). I 1876 ansattes han som chef for 2. udskrivningskreds, hvorfra han i 1883 søgte sin afsked.  Politisk virke Harbou tog levende del i den offentlige diskussion af militære spørgsmål. Han skrev således i 1848 Til Vaaben, i Gevær!, som vakte megen opsigt. Senere behandlede han militærbudgettet, reserveofficersinstitutionen og andre hærspørgsmål i dagspressen. Også efter at være udtrådt af tjenesten vedblev han dermed og udtalte sig således i 1867 meget bestemt mod daværende krigsminister Waldemar Raasløffs hærordningsforslag, hvis senere erkendte mangler han påviste. Han fulgte dernæst med interesse såvel den indre som den ydre politik og var i begge henseender en erklæret modstander af det nationalliberale parti, som han bekæmpede i tale og i skrift. Efter krigen var han en tid formand i Augustforeningen, og for at opnå større indflydelse søgte han gentagne gange, men forgæves, valg til Rigsdagen. Hans kritik af de nationalliberale gjorde, at hans politiske modstandere med held – men fejlagtigt – fik skildret Harbou som tysksindet. Harbou var ikke alene en begavet mand, en hurtig arbejder og en fortræffelig taler, men tillige en samvittighedsfuld foresat, som altid med iver varetog sine underordnedes interesser og bestemt talte deres sag, såvel lige over for overordnede som lige over for civile autoriteter. Den uforbeholdenhed, hvormed han forfægtede sine meninger, kom ham til skade såvel i 1842 som i 1864, men vidner om, at han var en helstøbt personlighed. 14. april 1891 sov han stille hen. Han ægtede 8. juli 1852 Louise Ulrikke Mariane Hellesen (8. april 1833 – 17. januar 1897), datter af grosserer, konsul H.C. Hellesen. Hun har udfoldet en betydelig filantropisk virksomhed (Selskabet Smaabørns Vel). Han er begravet på Frederiksberg Ældre Kirkegård. Der findes et maleri af David Monies 1852 i familieeje og et litografi af Ulrich von Baudissin fra 1856.