Faits: A. Né le 15 avril 1953, X._ a obtenu un diplôme de masseur kinésithérapeute en 1974. Marié depuis le 31 août 1987, il est père de quatre filles, nées respectivement en 1988, 1991, 1994 et 1996. En novembre 1994, il a obtenu l'enregistrement de son diplôme de physiothérapeute par la Croix-Rouge. Le prénommé a travaillé dans divers hôpitaux et cliniques, ainsi qu'au Centre thermal de D._ (ci-après: le Centre thermal). En novembre 1998, il a ouvert un cabinet de physiothérapie dans cette localité. Le 23 mars 1998, les docteurs A._ et B._, respectivement médecin-chef et médecin-chef adjoint de l'Association médicale du Centre thermal, ont adressé au médecin cantonal vaudois une correspondance dans laquelle ils reprochaient à X._ d'avoir eu, pendant les séances de physiothérapie, avec au moins trois patientes, un comportement qui les avait conduits à interdire à l'intéressé de prendre des patientes en charge. Le 19 mai 1998, le chef du Département de la santé et de l'action sociale du canton de Vaud (ci-après: le chef du Département) a informé X._ de l'ouverture d'une enquête administrative à son encontre. Le 10 février 1999, le juge d'instruction cantonal a rendu une ordonnance de non-lieu dans l'enquête instruite d'office contre X._ pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Il ressort des considérants de cette ordonnance qu'une cliente du Centre thermal a expliqué que, lors d'une séance de physiothérapie, le prévenu aurait "appuyé son bas-ventre contre elle, au point qu'elle aurait senti 'la chaleur de son corps'" et que, lors d'une autre séance, elle aurait "senti le sexe en érection du prévenu, et la chaleur de ce membre, contre ses fesses". Une autre cliente aurait, également à l'occasion de séances de physiothérapie, aussi "senti contre elle le sexe en érection du prévenu". Au plan pénal, le juge a toutefois constaté que ces clientes n'avaient pas été mises hors d'état de résister et qu'au surplus, les actes incriminés, même s'ils étaient établis - ce que l'instruction n'avait pu démontrer à satisfaction, compte tenu notamment des dénégations du prévenu -, pourraient ne pas être intentionnels. Enfin, de tels actes ne pouvaient en soi être qualifiés d'actes d'ordre sexuel, au sens de l'article 191 CP, dans la mesure où les patientes n'ont eu aucun comportement actif et n'y ont pas été contraintes. S'ils étaient avérés, ils relèveraient des attouchements d'ordre sexuel. Or, un tel comportement constitue une contravention, poursuivie sur plainte uniquement et aucune des patientes en cause n'avait déposé de plainte. Par décision du 25 juin 2002, le chef du Département a retiré temporairement l'autorisation de pratiquer de X._ pour une durée d'une année, en raison d'actes à connotation sexuelle envers ses patientes, tels que décrits ci-dessus. B. L'intéressé a recouru contre cette décision auprès du Tribunal administratif du canton de Vaud, en concluant à son annulation. Par arrêt du 11 février 2003, le recours a été partiellement admis en ce sens que le retrait a été réduit à six mois. Le Tribunal fédéral a confirmé cet arrêt en date du 23 mai 2003. Le 13 juin 2005, le médecin cantonal a dénoncé X._ au juge d'instruction cantonal en raison d'attouchements à caractère sexuel commis à deux reprises sur sa patiente, C._, au cours de séances de traitement d'une durée exceptionnellement longue. Par courrier du 30 juin 2005, le chef du Département a informé X._ qu'à la suite de la plainte déposée par C._ auprès du médecin cantonal, il ouvrait à son encontre l'enquête prévue à l'art. 34 du règlement du 17 mars 2004 sur le médiateur, sur l'organisation des Commissions d'examen des plaintes de patients, sur le fonctionnement du Conseil de santé et sur la procédure en matière disciplinaire (RMCP; entre-temps abrogé et remplacé par un nouveau règlement avec effet au 1er janvier 2011). L'intéressé ayant déjà fait l'objet en 2003 d'un retrait temporaire de son autorisation de pratiquer pour des faits semblables, le chef du Département lui a en outre retiré provisoirement l'autorisation de pratiquer la physiothérapie dans le cadre des mesures d'urgence prévues à l'art. 44 RMCP. Le 31 octobre 2005, le Tribunal administratif a rejeté le recours formé contre cette décision. Saisi d'un recours contre cet arrêt, le Tribunal fédéral l'a partiellement admis, le 10 juillet 2006, et a renvoyé le dossier à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il a relevé que s'il ne faisait aucun doute que le comportement dénoncé de X._ imposait des mesures préventives urgentes avant même l'ouverture d'une procédure régulière et qu'à cet égard, un retrait provisoire de son autorisation de pratiquer paraissait indiqué au regard de la protection de la santé publique, il convenait encore d'examiner si le retrait provisoire d'une durée indéterminée, prononcé dans le cadre des mesures d'urgence, était conforme au principe de la proportionnalité. Statuant à nouveau le 30 mars 2007, le Tribunal administratif a considéré que le jugement pénal n'était pas prêt à être rendu et que la mesure provisoire litigieuse ne respectait dès lors pas le principe de la proportionnalité. Il a partiellement admis le recours, en ce sens que le retrait provisoire était maintenu, mais pour une durée limitée, dont l'échéance devait être fixée à deux mois à compter de la notification de l'arrêt. En exécution de cet arrêt, le retrait provisoire de l'autorisation de pratiquer a été levé le 10 juillet 2007. Par jugement du 28 janvier 2009, complété le 2 février suivant, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a déclaré X._ coupable d'actes d'ordre sexuel sur une personne incapable de discernement ou de résistance au sens de l'art. 191 CP et l'a condamné à une peine privative de liberté de douze mois avec sursis pendant cinq ans, ainsi qu'à l'indemnisation par 3'000 fr. du tort moral infligé à C._. Ce jugement a été confirmé par la Cour de cassation pénale du Tribunal cantonal vaudois puis, le 18 février 2010, par le Tribunal fédéral. Par décision du 20 octobre 2010, le chef du Département a retiré définitivement à X._ l'autorisation de pratiquer la physiothérapie et lui a interdit avec effet immédiat d'exercer cette profession dans le canton de Vaud. Il a estimé que les faits reprochés étaient "gravissimes et totalement incompatibles avec l'exercice de la profession de physiothérapeute. Ils le sont d'autant plus qu'il s'agit à l'évidence d'une récidive et qu'il n'y a aucune prise de conscience de sa part". Le chef du Département a également retiré l'effet suspensif à un éventuel recours. Le 28 mars 2011, le Tribunal cantonal du canton de Vaud a rejeté le recours formé contre cette décision. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, principalement, de réformer l'arrêt du Tribunal cantonal du 28 mars 2011 en ce sens qu'il ne soit sanctionné par aucun retrait, suspension ou interdiction supplémentaire de l'autorisation de pratiquer la physiothérapie. A titre subsidiaire, il requiert que l'autorisation de pratiquer soit limitée à l'octroi de soins à des patients de sexe masculin exclusivement; plus subsidiairement, il requiert le renvoi de la cause au Tribunal cantonal, respectivement au chef du Département, pour nouvelle décision dans le sens des considérants. Il demande que son recours soit doté de l'effet suspensif et d'être mis au bénéfice de l'assistance judiciaire. Le Tribunal cantonal conclut au rejet du recours et s'en remet à justice quant à l'octroi de l'effet suspensif. Le Service de la santé publique du canton de Vaud ne s'est pas déterminé dans le délai imparti. 