Faits: A. Au printemps 2004, X._ a rencontré fortuitement Y._, enfant sourde et muette née le 19 janvier 1989, dans le hall de son immeuble. Dans l'ascenseur, X._ a ignoré l'intention de la jeune fille qui désignait le bouton de son étage et l'a conduite à celui où se situait son studio. Il l'a poussée hors de la cabine, a ouvert la porte de son logement, a empoigné la jeune fille pour qu'elle franchisse la porte qu'il a ensuite verrouillée. Il a alors amené la victime à regarder un film pornographique avant de la déshabiller et de la prendre par force sur son lit. Y._ a résisté physiquement dans l'ascenseur, le couloir et le studio. Son handicap l'a empêchée d'appeler au secours. En été 2004 s'est déroulé un second épisode identique au premier. B. Par jugement du 16 mai 2007, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment libéré X._ des griefs de contrainte, actes d'ordre sexuel commis sur une personne incapable de discernement et de résistance, séquestration et enlèvement et l'a condamné pour actes d'ordre sexuel avec un enfant, viol et pornographie à une peine privative de liberté de cinq ans. Le tribunal a estimé que le récit de l'enfant était crédible contrairement à la thèse du complot développée par X._. C. Par arrêt du 24 août 2007, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._ et confirmé le jugement de première instance. D. X._ forme un recours en matière pénale contre cet arrêt. Invoquant une violation du principe in dubio pro reo et de l'art. 20 CP, il conclut, principalement, à la réforme de l'arrêt attaqué et à son acquittement de tous les chefs d'accusation retenus à son encontre ainsi qu'au rejet de toutes les conclusions civiles. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. Il sollicite en outre l'assistance judiciaire et l'effet suspensif. 