Faits: A. Le Ministère public de l'arrondissement de la Côte (ci-après: le Ministère public) instruit une enquête contre A._, d'office et sur plainte de C._, pour actes d'ordre sexuel avec des personnes hospitalisées, détenues ou prévenues (art. 192 al. 1 CP), subsidiairement pour abus de détresse (art. 193 al. 1 CP). Il est en substance reproché au prénommé d'avoir eu des relations sexuelles avec deux patientes alors qu'il travaillait comme infirmier à l'Hôpital psychiatrique de Prangins. Le 10 janvier 2011, la procureure en charge du dossier a avisé les parties de son intention d'ordonner une expertise psychiatrique du prévenu et de désigner en qualité d'experte la Dresse B._, psychiatre et psychothérapeute FMH. En application de l'art. 184 al. 3 du code de procédure pénale suisse (CPP; RS 312.0), elle a donné aux parties l'occasion de s'exprimer sur ce choix et sur les questions qu'elle entendait soumettre à l'experte. A._ et la plaignante ne s'y étant pas opposés, la Dresse B._ a été désignée en qualité d'experte par décision du 9 février 2011. B. Le 21 avril 2011, A._ a demandé la récusation de la Dresse B._, au motif que l'extension de son adresse électronique laissait supposer qu'elle était liée au Centre hospitalier universitaire vaudois (CHUV), dont fait partie l'Hôpital psychiatrique de Prangins. De tels liens n'étaient pas admissibles, dans la mesure où l'employeur de A._ s'estimait également lésé par les actes reprochés à ce dernier. Invitée à se déterminer, la Dresse B._ a expliqué qu'elle travaillait "à 70 % comme psychiatre privée" et qu'elle effectuait dans ce cadre des expertises psychiatriques pour son propre compte. Elle exerçait en outre "une fonction institutionnelle à 20 % comme responsable des expertises pour le secteur psychiatrique nord, dépendant du département psychiatrique du CHUV", ce qui expliquait l'extension de son adresse électronique. Elle utilisait cette adresse pour ses deux activités, les fonctions étant toutefois bien séparées. Prenant acte de ces explications, A._ a maintenu sa demande de récusation. Considérant qu'elle était compétente pour statuer sur la demande de récusation, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté cette requête par arrêt du 14 juillet 2011. Cette autorité a estimé que seule la clause générale de l'art. 56 let. f CPP entrait en considération et qu'aucun motif de récusation ne pouvait être retenu, l'experte désignée jouissant de l'indépendance nécessaire à l'accomplissement de sa mission. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt, d'ordonner la récusation de la Dresse B._ et d'écarter son expertise du dossier. Il se plaint d'une violation des art. 183 al. 3 et 56 let. f CPP et invoque le principe de la bonne foi au sens de l'art. 3 al. 2 let. a CPP. Le Tribunal cantonal et le Ministère public ont renoncé à se déterminer. La Dresse B._ a présenté des observations, concluant à la confirmation de l'arrêt attaqué et à l'octroi de dépens. A._ s'est déterminé sur ces observations. 