Madsens far, Lars Madsen, var kongelig stafet og drev forretning som viktualiehandler. Endnu før drengen var konfirmeret, begyndte han at besøge Kunstakademiets aftenskole, kom så i malerlære, blev svend 1841 og arbejdede som sådan indtil 1847. Samtidig vedblev han at besøge Akademiets skoler, optoges 1845 som elev på modelskolen og vandt det følgende år den lille sølvmedalje. Det var særlig dyremaleriet, han dyrkede, og et af de første billeder, han udstillede, blev købt til Den Kongelige Malerisamling. Da krigen udbrød 1848, meldte Madsen sig som frivillig. 1849 blev han sekondløjtnant i linjen med tjenestealder fra 30. april 1848, blev såret ved Ullerup den 6. april 1849 og efter at have deltaget i slaget ved Isted og forsvaret af Frederiksstad premierløjtnant den 10. september. 6. oktober 1850 blev han Ridder af Dannebrog. Da krigen var forbi, blev han stående ved armeen, særlig brugt som korttegner og ved opmålinger i hertugdømmerne, avancerede maj 1864 til kaptajn og afskedigedes ved reduktionen december samme år.