Faits: A. Le 3 février 2009, E._ a été reconduit à son domicile par C._, chauffeur de D._. Durant le trajet, C._ a constaté que la tête de E._ ne reposait plus sur l'appuie-tête de son fauteuil roulant. Après avoir tenté en vain de replacer la tête correctement, il a continué sa route jusqu'au domicile de E._, qui a été retrouvé inconscient et transporté à l'hôpital dans un état critique. E._ est décédé le 9 février 2009. A._ et B._, les parents de E._, se sont constitués parties civiles dans le cadre de la procédure pénale qui a été ouverte. Par ordonnance du 30 septembre 2009, le Juge d'instruction de l'arrondissement de Lausanne (ci-après: le juge d'instruction) a prononcé un non-lieu en faveur de C._, au motif qu'il n'avait pas été possible de déterminer les causes exactes du décès. Par arrêt du 13 novembre 2009, le Tribunal d'accusation du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a annulé cette ordonnance et renvoyé la cause au juge d'instruction pour qu'il procède à un complément d'instruction. Par ordonnance du 28 septembre 2010, le magistrat instructeur a prononcé un nouveau non-lieu en faveur de C._, considérant qu'aucune faute ne pouvait lui être reprochée en l'absence de directives en matière de sécurité durant les déplacements du patient. Statuant sur recours de A._ et B._, le Tribunal cantonal a confirmé cette ordonnance par arrêt du 24 novembre 2010. Il a considéré en substance que le juge d'instruction avait correctement instruit la cause et qu'il n'y avait pas d'indices suffisants de culpabilité à l'encontre de C._, si bien que c'était à bon droit que le juge d'instruction avait prononcé un non-lieu. B. Agissant par la voie du recours en matière pénale, A._ et B._ demandent au Tribunal fédéral d'annuler cet arrêt et de renvoyer la cause au Procureur de l'arrondissement de Lausanne pour complément d'enquête et nouvelle ordonnance. Ils se plaignent d'une violation de leur droit d'être entendus, au sens de l'art. 29 al. 2 Cst. et de l'art. 188 du Code de procédure pénale vaudois du 12 septembre 1967 (CPP/VD; abrogé le 1er janvier 2011), ainsi que d'une violation du principe in dubio pro duriore. Ils requièrent en outre l'octroi de l'assistance judiciaire. Le Procureur général du canton de Vaud ne s'est pas déterminé. Le Tribunal cantonal se réfère aux considérants de son arrêt. Au terme de leurs observations, C._ et D._ concluent au rejet du recours. 