Schimmelpfennig blev født i Bromberg i Preussen. Han blev indrulleret i militæret og gjorde tjeneste i såvel det 29. infanteriregiment (von Horn) og 17. infanteriregiment (Freiherr von Sparr), der var stationeret i Köln. Der stiftede han bekendtskab med nogle af de mere radikale tyske politikere. Han var vældig aktiv i Martsrevolutionen i 1848, men blev desillusioneret over den fredstraktat der afsluttede den Første slesvigske krig, (Treårskrigen). Han støttede oppositionen mod preussiske forsøg på at afværge en tysk samling og var en del af den militære kommission i Pfalz, som ledede forsvaret mod den efterfølgende preussiske invasion. Han blev såret to gange i slaget ved Rinnthal, blev reddet og undslap derefter til Schweiz. For sin involvering i krigen blev han stillet for retten in absentia og dømt til døden. Han forblev i eksil i Schweiz, hvor han mødte landsmanden Carl Schurz, og sammen flygtede de til London via Paris. Mens de var i London, blev Schimmelfenning en del af den tyske demokratiske bevægelse, som var i bitter opposition til Karl Marx og Friedrich Engels. I 1854 emigrerede Schimmelpfennig til De Forenede Stater og fik arbejde i det amerikanske krigsministerium, hvor han vedligeholdt sine forbindelser med veteranerne fra 1848, en gruppe officerer fra den fejlslagne revolution i 1848 som var flygtet til USA. Mange endte med at gøre tjeneste i den amerikanske hær. Han var forfatter til bogen: The War between Russia and Turkey (Philadelphia, 1854).  Borgerkrigen Efter at hans forsøg på sammen med Carl Schurz at opstille et rent tysk kavaleriregiment var slået fejl (på grund af at Schurz af præsident Abraham Lincoln blev udnævnt til at være ambassadør i Spanien), forsøgte Schimmelfennig at danne et rent tysk regimenti Philadelphia. Da han blev syg stræbte andre efter at overtage kontrollen med det nye regiment, men det blev forpurret takket være Schimmelfennigs venner. Regimentet bestod af tyskere fra Philadelphia og Pittsburgh, og fik navnet 1. tyske regiment, men blev senere omdøbt til 74. Pennsylvania Under borgerkrigen var der en stærk modstand mod indvandring i Unionen. Denne følelse var især rettet mod de tyske tropper i 11. Korps, som i stor stil trak sig tilbage da de blev ramt i flanken af Stonewall Jackson i Slaget ved Chancellorsville. Det fortrinsvis tyske 11. korps blev ramt af det meste af den harme, der kom frem i pressen. Blandt kritikerne var korpschefen Oliver Otis Howard, som ledte efter en syndebuk for sine egne fejltagelser. I det efterfølgende slaget ved Gettysburg|slag ved Gettysburg havde Schimmelfennig kommandoen over en brigade i generalmajor Carl Schurz' 3. division i 11. korps. I en kort periode overtog Schimmelfennig kommandoen over 3. division da Schurz i kort tid ledede korpset. Hans brigade led store tab, mest i form af tilfangetagelser, da hundreder af hans mænd blev forvirrede af de smalle gader i Gettysburg og endte med at blive taget til fange af de fremstormende konfødererede. Den og oberst Charles Costers brigade gjorde deres bedste for at dække tilbagetrækningen for resten af 11. korps, men de blev snart desorganiserede og flygtede også. Under retræten gennem byen gemte Schimmelfennig sig kort i en stenkiste på Baltimore Street, og derefter blev han i adskillige dage i et udhus på Anna Garlachs ejendom og undgik at blive taget til fange. (Der er en mindetavle udenfor Garlach huset, der erindrer om hændelsen). Efter slaget vendte han tilbage til korpset, til stor glæde for tropperne, som troede at han var død. Pressen fik imidlertid fat i historien, og den blev fremstillet som endnu et eksempel på tysk fejhed. I efteråret 1863 blev generalen overført til at lede en brigade i 1. division af 11. Korps. Han og hans brigade blev overført til Carolinaerne og gjorde tjeneste på Folly Island. Han havde kommandoen over Charleston militærdistriktet under Shermans march til havet. Efter at have været ukampdygtig i et stykke tid med malaria, havde Schimmelfennig æren af at modtage Charlestons overgivelse den 18. februar 1865. (Stedet hvor hans hovedkvarter lå er markeret). Som følge af hans tid i sumpene omkring Charleston blev han smittet med en form for tuberkulose som endte med at føre til hans død i Wernersville, Pennsylvania, hvor han havde besøgt et sanatorium med mineralbade i et forsøg på at finde en kur. Schimmelfennig ligger begravet i Reading, Pennsylvania, på Charles Evans Cemetery, ikke langt fra generalskollegaen David McM. Gregg.