Hvad var H.V. Kaalunds daglige opgaver i sit arbejde? 


Hans daglige gerning bestod nu i at holde foredrag for, besvare forespørgsler af, undervise og i cellerne samtale med de mange forskellige fanger, holde regnskaber og oversigter i orden osv. Han havde altid foretrukket at indlade sig med problematiske naturer, og de fleste af fangerne interesserede ham derfor, men han indså snart, at det ikke var let at lære dem at kende. Han troede på menneskenaturen, selv i dens dybeste fornedrelse, og behandlede omhyggeligt alle "med koldt Hoved, men varmt Hjærte". Tappert kæmpede han for cellesystemet og havde på flere områder hårde kampe at bestå for at gennemføre sine principper. Fangerne fik han i tale, vandt deres tillid og erhvervede sig mange venner iblandt dem. Det var et strengt, selvoptugtende liv, han førte der, flere gange gennemgik han heftige sygdomme som blodgang og kopper, og hans krop svækkedes derved. Oplivelse og styrke hentede han på sine ugentlige besøg hos åndsfrænder i hovedstaden og ved en større rejse, som Det anckerske Legat satte ham i stand til at gøre i 1863. På denne rejse besøgte han Stockholm, Schweiz, Frankrig, London og Tyskland. Den digteriske frugt heraf var Rejsetummel.
Blandt Hedegaards hårdeste kritikere var Politikens chefredaktør Tøger Seidenfaden. På et møde arrangeret af Trykkefrihedsselskabet den 2. oktober 2007 til støtte for den dødstruede Lars Vilks kritiserede Seidenfaden Hedegaard og hans ligesindede, som efter hans opfattelse "skamrider den aktuelle sag til at lufte deres paranoia, deres hadefulde og rabiate verdensanskuelse, deres intolerante, indeklemte og smålige syn på millioner af medmennesker", og hvis synspunkter om muslimer og islam i Europa blev betegnet som "afskyelige" og "usympatiske". Trykkefrihedsselskabet blev betegnet som "et sammenrend af intolerante muslimhadere" og et eksempel på, at "skidt kommer til ære".