Faits: A. Par jugement du 23 septembre 2010, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants (art. 187 ch. 1 CP) et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) à une peine privative de liberté de quatre ans, il l'a astreint à un traitement institutionnel en milieu carcéral, en application de l'art. 59 al. 1 et 3 CP, et l'a condamné au paiement de diverses sommes à titre d'indemnité pour tort moral à A._, Y._ et Z._, leur donnant acte, pour le surplus, de leurs réserves civiles. Le Tribunal correctionnel a retenu, pour fonder cette condamnation, qu'en 2005 et 2006 à tout le moins, X._, né en 1945, avait régulièrement abusé du petit-fils de sa compagne, A._, né le 6 novembre 2002, par des pénétrations anales et en touchant son sexe, alors qu'il était en visite chez sa grand-mère. B. La Cour de cassation du Tribunal cantonal vaudois a rejeté le recours dont le condamné l'avait saisie par arrêt du 14 janvier 2011. C. X._ interjette un recours en matière pénale devant le Tribunal fédéral. Il conclut à la réforme de l'arrêt entrepris dans le sens de son acquittement. Il n'a pas été ordonné d'échange d'écritures. 