Faits: A. A.a Bernard Rappaz purge depuis le 20 mars 2010 une peine de 5 ans et 8 mois de privation de liberté. Il a accompli un premier jeûne de protestation du mois de mars 2010 au 7 mai 2010, puis un deuxième de fin mai au 15 juillet 2010. A la suite du rejet de son recours contre le refus d'une interruption de sa peine, au sens de l'art. 92 CP, par arrêt du Tribunal fédéral du 26 août 2010 (cf. arrêt 6B_599/2010), il a repris une grève de la faim depuis la fin du mois d'août 2010. A.b Invoquant une dégradation de son état de santé laissant craindre une péjoration significative de celui-ci dans un avenir proche et constatant qu'aucun médecin ne procédera à son alimentation forcée vu diverses prises de position publiques et le recours déposé au Tribunal fédéral par le Dr X._ contre une décision l'y contraignant, Bernard Rappaz a requis de la Cheffe du département de la sécurité, des affaires sociales et de l'intégration du canton du Valais (ci-après: la cheffe du département), une nouvelle interruption de l'exécution de sa peine pour des motifs médicaux, économiques et judiciaires (préparation de sa défense à un nouveau procès pénal). Par prononcé du 30 novembre 2010, la cheffe du département a rejeté cette demande en raison des principes tant de subsidiarité que de proportionnalité régissant l'interruption de l'exécution d'une peine. B. Sur recours de Bernard Rappaz, le Juge unique de la Cour de droit public du Tribunal cantonal valaisan (ci-après: le juge unique) a confirmé ce refus, en n'examinant la cause que sous l'angle de l'exigence de subsidiarité, par arrêt du 2 décembre 2010. C. Le 3 décembre 2010, Bernard Rappaz recourt au Tribunal fédéral contre ce dernier arrêt, dont il demande principalement la réforme en ce sens que l'exécution de la peine soit interrompue de manière indéterminée jusqu'à ce que son état de santé lui permette d'être à nouveau incarcéré, subsidiairement l'annulation. A titre provisionnel, il requiert que toutes les mesures - conformes à la Constitution - nécessaires à la sauvegarde de sa vie et de son intégrité corporelle soient prises. En effet, il comptait cent jours de grève de la faim au 3 décembre 2010. Il n'a pas été ordonné d'échange d'écritures. 