Faits: A. Par jugement du 11 août 2011, le Tribunal correctionnel de la République et canton de Genève a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants (art. 187 ch. 1 CP), de contraintes sexuelles (art. 189 al. 1 CP), de tentative de viol (art. 22 et 190 al. 1 CP) et de viols (art. 190 al. 1 CP), actes commis au préjudice de l'enfant A._, née le 15 septembre 1994. Il a condamné X._ à une peine privative de liberté de 6 ans, sous déduction de 513 jours de détention avant jugement, et au paiement à A._ d'une indemnité pour tort moral de 30'000 francs ainsi que d'une indemnité en réparation du dommage matériel de 30'607 francs 70. B. La Chambre pénale d'appel et de révision de la Cour de justice genevoise a confirmé ce jugement par arrêt du 26 mars 2012. Elle s'est fondée sur les principaux éléments de fait suivants. B.a X._, né en 1970, a été depuis 2002 l'ami intime de la mère de A._. En 2007, alors que la famille habitait au Portugal et que la jeune fille avait douze ans, il a commencé à embrasser celle-ci sur la bouche, puis, au fil du temps, de manière progressive, il l'a déshabillée ou lui a demandé de le faire, il lui a touché les seins et lui a caressé le corps. X._ a également parfois demandé à A._ de le masturber et il lui est arrivé de la pénétrer avec le doigt. Enfin, il a entretenu des relations sexuelles non consenties avec elle. Ces actes se passaient fréquemment, lorsque la mère de l'enfant était absente. B.b Alors que la mère et les frères et s?urs de A._ étaient partis vivre en Suisse en mars 2009, cette dernière est restée seule au Portugal jusqu'au mois de septembre 2009, d'abord chez sa grand-mère, puis chez son grand-père. Durant cette période, elle s'est rendue à deux reprises dans l'appartement de X._. Celui-ci a tenté de la pénétrer, sans toutefois réussir à aller plus loin. B.c Le 12 mars 2010, à Meyrin, dans le canton de Genève, X._ et A._ se trouvaient dans l'appartement familial. X._ a tenté de pénétrer la jeune fille contre son gré. Pour faire peur à X._, elle lui a dit que son oncle allait bientôt rentrer et il a cessé ses agissements. B.d A._ a dénoncé une première fois les agissements du côté de X._ à la police portugaise en décembre 2008, sans qu'il y ait de suite, puis, le 13 mars 2010, à sa cousine et à sa tante qui l'avaient interrogées après avoir entendu parler d'allégations de viol lors d'un séjour au Portugal. C. X._ forme un recours en matière pénale contre l'arrêt du 26 mars 2012. Il conclut à son annulation et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau dans le sens des considérants. Il sollicite par ailleurs l'octroi de l'assistance juridique. 