Faits: A. A.a A Lausanne, entre août 2007 et le 28 novembre 2008, X._ a rencontré à une vingtaine de reprises Y._, né le 29 novembre 1992, dans les toilettes du centre commercial Migros Metropole 2000. Lors de ces rencontres, ils se sont masturbés mutuellement jusqu'à éjaculation et Y._ a parfois pénétré X._. Celui-ci, à plusieurs reprises, a fait à l'adolescent des fellations. A.b X._ a stocké sur son ordinateur au moins trois vidéos contenant des scènes de zoophilie. B. Par jugement du 12 avril 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour actes d'ordre sexuel avec un enfant et pornographie, à une peine privative de liberté de sept mois, peine partiellement complémentaire à celle prononcée le 8 août 2008. Il a révoqué deux sursis antérieurs accordés les 10 mars 2005 et 8 août 2008 et a ordonné l'exécution des peines respectives de quarante jours d'emprisonnement et de trente jours-amende à 30 fr. Saisie d'un recours en nullité et en réforme du condamné, la Cour de cassation pénale du Tribunal cantonal vaudois a, par arrêt du 23 août 2010, partiellement admis le recours du condamné en ce sens qu'elle a renoncé à révoquer les sursis des peines prononcées le 10 mars 2005 et 8 août 2008. Elle a confirmé le jugement de première instance pour le surplus. C. X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à son acquittement de l'accusation d'actes d'ordre sexuel avec un enfant et à sa condamnation à une peine pécuniaire avec sursis pour pornographie. Subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi de la cause à la Cour de cassation pour nouvelle décision dans le sens de la conclusion principale. 