Faits: A. Par jugement du 27 avril 2012, le Tribunal pénal du Tribunal de première instance de la République et canton du Jura a déclaré A.X._ coupable de viols, commis à deux reprises au moins entre l'automne 2007 et le 18 janvier 2011, contraintes sexuelles, commises à réitérées reprises dès l'automne 2007 jusqu'au 18 janvier 2011, actes d'ordre sexuel avec des enfants, commis à réitérées reprises dès l'automne 2007 jusqu'au 29 août 2009, incestes, commis à deux reprises au moins entre l'automne 2007 et le 18 janvier 2011, lésions corporelles simples, commises dans la nuit du 17 au 18 janvier 2011 et voies de fait, commises à réitérées reprises en un temps non prescrit, soit du 27 avril 2009 au 16 janvier 2011, toutes ces infractions étant perpétrées au préjudice de sa fille B.X._, née le 30 août 1993. Le Tribunal pénal a condamné A.X._ à une peine privative de liberté de sept ans, sous déduction de la détention subie avant jugement, ainsi qu'à une amende de 2'000 francs. Il l'a également condamné à payer à B.X._ une somme de 20'000 francs, plus intérêts à 5% dès le 18 janvier 2011, à titre d'indemnité pour tort moral, le tout sous suite de frais et dépens. B. Saisie d'un appel du condamné, la Cour pénale du Tribunal cantonal jurassien a confirmé la décision attaquée par jugement du 28 août 2012. Elle s'est fondée sur les principaux éléments de fait suivants. B.a Dès l'arrivée de sa fille B.X._ en Suisse à l'automne 2007, A.X._ lui a donné des gifles, des coups de pied et des coups de poing à plusieurs reprises. Il lui a également touché le vagin ou les fesses avec son pénis et l'a forcée à lui faire des fellations. Il a également pénétré vaginalement sa fille à au moins deux reprises, la première fois avant qu'elle ait seize ans. B.b Durant la nuit du 17 au 18 janvier 2011, B.X._ est sortie de l'appartement familial. Lorsqu'elle est rentrée, son père, qui avait remarqué son absence, l'a questionnée sur son emploi du temps. B.X._ restant sans réponse, A.X._ l'a frappée durement pendant plusieurs minutes avec les mains et les pieds, provoquant de nombreux hématomes et contusions sur les membres supérieurs, au visage, en particulier au nez, à la lèvre, sur la joue droite, sur l'arcade sourcilière droite ainsi qu'aux tympans, provoquant également des douleurs au niveau de l'arrière de la tête et de la nuque. Son père lui a ensuite dit d'aller se coucher. Il l'a rejointe et l'a pénétrée analement. Il est parti travailler vers 5 heures ou 5 heures trente. B.c Le 18 janvier 2011 au matin, B.X._ a envoyé un message à une amie pour lui dire ce qui venait de se passer. Elle en a également parlé au directeur de son école puis, accompagnée de deux membres des Services sociaux régionaux de Porrentruy, elle s'est rendue à la police afin de déposer plainte contre son père. Elle a fait l'objet d'une audition qui s'est déroulée de manière conforme aux exigences LAVI. C. A.X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, principalement, à l'annulation du jugement du 28 août 2012 et au renvoi de la cause à l'autorité cantonale et, subsidiairement, à l'annulation du jugement du 31 mai 2011 (recte: 28 août 2012) de la Cour pénale du Tribunal cantonal jurassien dans la mesure où il a été reconnu coupable de contrainte sexuelle, d'actes d'ordre sexuel avec des enfants, de voies de fait et a été condamné à une peine privative de liberté de sept ans, à une amende de 2'000 francs et à payer une somme de 20'000 francs à titre d'indemnité pour tort moral. Il n'a pas été ordonné d'échange d'écritures. 