Faits: A. Par jugement du 3 juillet 2008, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle et tentative de viol à une peine privative de liberté de 18 mois. L'exécution de cette peine a été suspendue avec un délai d'épreuve de deux ans. X._ a, en outre, été condamné à payer aux deux victimes, Z._ et A.Y._, la somme de 8000 fr. chacune, à titre d'indemnité pour tort moral. B. Par arrêt du 16 septembre 2008, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné et confirmé le jugement de première instance. Les faits à la base de cette décision sont les suivants. B.a Alors que Z._ travaillait notamment comme baby-sitter auprès de la famille de X._ et dans le tea-room que ce dernier exploitait, celui-ci l'a caressée sur les seins et sur le sexe tantôt à même la peau et tantôt à travers l'étoffe des habits, à réitérées reprises, entre 1994 et 1997. Z._ était âgée de moins de 16 ans. Faute de pouvoir être plus précis, les premiers juges ont retenu que de tels attouchements avaient été fréquents et que le recourant avait agi dès qu'il en avait l'occasion. B.b Alors que A.Y._ était âgée de 17 ans, le 31 décembre 1994, lors d'une soirée de réveillon organisée par les époux X._, X._ lui a demandé de l'accompagner au sous-sol du tea-room pour l'aider à ramener des bouteilles et a commencé à la toucher, mais la jeune femme l'a repoussé. Plus tard dans la soirée, X._ a accompagné sa victime, qui était montée dans l'appartement des époux X._ pour s'occuper de leur fils. Il a ouvert le pantalon de la jeune fille, lui a dit qu'elle avait intérêt à se laisser faire, lui a mis une main dans le slip et lui a touché le sexe. Sur l'insistance de sa victime, il a finalement cessé ses agissements. Toujours le même soir, le père de A.Y._ a demandé à celle-ci d'accompagner X._ à leur domicile pour aller chercher des boissons. L'intéressée a dû y aller vu l'insistance de son père. Dans la voiture, X._ a commis de nouveaux attouchements sur la jeune femme qui était assise à côté de lui. Arrivés au domicile et alors qu'elle téléphonait pour dire que les boissons étaient introuvables, X._ lui a baissé son pantalon avant de frotter son sexe sur les fesses de la jeune femme. Lorsque cette dernière a raccroché le téléphone, X._ a tenté à plusieurs reprises de la pénétrer, d'abord de face, puis par derrière, sans parvenir à ses fins. Finalement, il s'est masturbé, avant d'éjaculer sur la plaignante. Quelques jours plus tard, profitant d'être seul dans le tea-room avec A.Y._, X._ s'est placé derrière elle pour lui caresser les seins. C. X._ forme un recours en matière pénale contre l'arrêt de la Cour de cassation pénale du Tribunal cantonal vaudois. Il conclut à son annulation ainsi qu'à celle du jugement de première instance et au renvoi de la cause pour nouveau jugement. Il n'a pas été ordonné d'échange d'écritures. 