Faits: A. Par ordonnance du 12 novembre 2010, le Juge d'instruction de l'arrondissement du Nord vaudois a clôturé par un non-lieu l'enquête instruite d'office et sur plainte de A._ et B._, contre C._, pour dommages à la propriété, contrainte et infraction à la loi fédérale sur la protection des animaux (LPA; RS 220). Il était reproché à C._, vétérinaire, d'avoir causé la mort du chat de A._ et B._, en le nourrissant de force et en provoquant ainsi une bronchopneumonie par corps étranger. B. Le Tribunal d'accusation du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A._ et B._ par arrêt du 19 janvier 2011. C. Agissant par la voie du recours constitutionnel subsidiaire, A._ et B._ demandent au Tribunal fédéral principalement d'annuler cet arrêt et d'ordonner un complément d'expertise, à confier au Professeur D._. Ils concluent subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision et complément d'instruction dans le sens des considérants. Dans sa détermination du 15 avril 2011, le Tribunal cantonal a précisé ne pas avoir écarté le mémoire de réplique des recourants. Le Ministère public de l'arrondissement du Nord vaudois s'est référé aux considérants de l'ordonnance de non-lieu du 12 novembre 2010. C._ a conclu au rejet du recours. Par courrier du 20 juin 2011, A._ et B._ ont présenté des observations complémentaires. 