Faits: A. A._ a été arrêté le 18 janvier 2011 dans le cadre d'une enquête instruite par le Ministère public de l'arrondissement de l'Est vaudois pour vol, dommages à la propriété, violation de domicile et infraction à la loi fédérale sur les étrangers. Le lendemain, le Ministère public a requis du Tribunal des mesures de contrainte du canton de Vaud (ci-après : le Tmc) la mise en détention provisoire du prénommé. Estimant que la présence d'un avocat d'office était nécessaire pour l'audience de mise en détention provisoire, le Tmc a fait appel à la permanence des avocats du canton de Vaud, qui a attribué le dossier à Me Christophe Piguet. Le 20 janvier 2011, le Tmc a entendu A._ en présence de l'avocat précité. Par ordonnance du même jour, il a ordonné la détention provisoire du prévenu pour une durée maximale de quarante-cinq jours. Par ordonnance du 21 janvier 2011, le Tmc a désigné Me Christophe Piguet en qualité de défenseur d'office de A._, avec effet au 20 janvier 2011, au motif que la présence d'un avocat d'office était nécessaire pour l'audience de mise en détention provisoire. B. Le Ministère public de l'arrondissement de l'Est vaudois a recouru contre cette ordonnance auprès de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), en soutenant que le Tmc ne pouvait pas statuer sur la défense d'office du prévenu, cette compétence appartenant exclusivement aux autorités de direction de la procédure énumérées à l'art. 61 du Code de procédure pénale suisse du 5 octobre 2007 (CPP; RS 312.0). Le Tribunal cantonal a rejeté le recours par arrêt du 23 mars 2011, considérant en substance que le Tmc était compétent pour désigner un avocat d'office au prévenu, le mandat de ce défenseur étant limité à la défense des intérêts de son client devant ce tribunal uniquement. C. Agissant par la voie du recours en matière pénale, le Ministère public central du canton de Vaud, division affaires spéciales, contrôle et mineurs, demande au Tribunal fédéral d'annuler cet arrêt ainsi que l'ordonnance du Tmc du 21 janvier 2011. Le Tribunal cantonal et le Tmc ont renoncé à se déterminer. Au terme de ses observations, A._ conclut au rejet du recours. 