Faits: A. Par jugement du 28 juin 2007, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment condamné X._ pour actes d'ordre sexuels avec des enfants à huit mois de peine privative de liberté avec sursis pendant deux ans et alloué 7'000 fr. de tort moral à A._. Les faits à l'origine de cette condamnation sont les suivants. Dans le courant de l'année 2001, puis à nouveau entre les mois de février et mai 2002, X._ a commis des attouchements sur le sexe de A._, née le 4 février 1999. Il profitait de la sieste de sa femme chargée de garder l'enfant trois fois par semaine à son domicile comme maman de jour. X._ a contesté les faits et exclu avoir eu un quelconque contact corporel avec l'enfant. La mère de cette dernière a déclaré que peu après ses deux ans, sa fille, qui appelait X._ «tonton», avait dit «tonton....bobo....là» en désignant son entrejambe. L'enfant a réitéré ses déclarations en mai 2002 et depuis lors n'est plus retournée chez les époux X._. L'enfant n'a pas été entendue lors de l'enquête, en raison de l'éloignement des faits et pour éviter de la perturber. Il est apparu en cours d'enquête que X._ avait déjà été soupçonné d'abus sexuels en 1998, sur déclaration de B._, née en 1971. Alors que les faits la concernant étaient prescrits, cette dernière avait fait part à la police de ses inquiétudes quant au comportement de X._, second époux de sa grand-mère paternelle, à l'encontre des enfants qui étaient confiés au couple X._. Elle avait expliqué que X._ avait abusé d'elle. Après l'audition d'une fillette gardée par le couple X._, qui ne s'était plainte d'aucun abus, il avait été renoncé à ouvrir une enquête pénale. La police a repris contact avec B._ dans le cadre de la présente affaire et celle-ci a accepté de parler des faits la concernant, qu'elle savait prescrits, pour autant qu'elle ne soit pas confrontée à l'accusé. Elle a répété que X._ lui avait fait subir des caresses sexuelles, des cunnilingus puis des actes de masturbation alors qu'elle avait entre trois et huit ou neuf ans, sans qu'elle puisse situer les faits exactement dans le temps. X._ avait ensuite tenté d'obtenir des fellations. A une reprise, B._ avait menacé de crier, car sa grand-mère était à côté et l'accusé avait alors cessé ses agissements. X._ a contesté ces faits, mais a notamment confirmé les indications de temps et de lieu données par B._. Selon lui, cette dernière a cherché à le salir en raison de son intervention auprès de son épouse pour qu'elle cesse de donner de l'argent à sa petite-fille. B. Par arrêt du 15 août 2007, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours interjeté par X._ contre ce jugement. C. X._ forme un recours en matière pénale contre cette dernière décision. Soutenant que celle-ci viole la présomption d'innocence et repose sur une appréciation arbitraire des faits et des preuves, il conclut, avec suite de frais et dépens, à son annulation et à son acquittement, subsidiairement au renvoi de la cause à l'autorité cantonale. 