Faits: A. En décembre 2003 ou janvier 2004, A._ a fait connaissance de X._. Celui-ci, qui est de quelque 25 ans son aîné, a rapidement pris une certaine emprise psychique sur elle, qui avait beaucoup d'estime pour lui et le considérait comme un père. En février 2004, X._ et A._ ont entretenu un premier rapport sexuel, qui a été suivi par plusieurs autres. Au cours de l'automne 2004, leur relation s'est dégradée, mais A._ a continué à avoir des rapports sexuels avec X._. Le 4 décembre 2004, A._ s'est adressée à la police en déclarant s'être fait imposer de nombreuses relations sexuelles par X._, lequel l'avait en outre sodomisée contre son gré et l'avait forcée à pratiquer des fellations, lui infligeant par ailleurs plusieurs morsures à proximité du sexe. Elle a exposé qu'en février 2004, X._ l'avait contrainte à entretenir une première relation sexuelle avec lui à Château-d'Oex, dans l'appartement d'une connaissance, après qu'ils eurent bu du vin. Elle a essayé de le repousser lorsqu'il a tenté de l'embrasser et elle lui a dit qu'elle ne voulait pas avoir de relations sexuelles avec lui. Toutefois, sous l'influence de l'alcool et bloquée par la peur, elle n'est pas parvenue à s'y opposer car il lui avait serré le bras très fort. A._ a en outre déclaré qu'en août 2004, X._ l'a emmenée en voiture dans une forêt, où elle a manifesté son désir de rompre avec lui car, étant séparée de son mari depuis le 15 avril 2004, elle avait un nouvel ami. X._ est alors devenu très violent. Il lui a donné plusieurs coups de poing au visage, tout en l'insultant. Il lui a également pris les cheveux et frappé la tête contre la vitre. Il l'a par ailleurs empêchée de fuir, pointant un pistolet sur elle, à quelques centimètres de son visage ou du haut de son corps. Il l'a ensuite violée et, avant de la ramener chez elle, lui a fait promettre de ne plus revoir son ami. Elle a, enfin, expliqué que le 3 décembre 2004, savoir la veille de son dépôt de plainte, elle se rendait dans un restaurant de Payerne avec X._ lorsque celui-ci lui a tiré les cheveux, lui a donné des coups de poing et l'a insultée, la traitant notamment de salope. Le même jour, sur le trajet du retour, il l'a emmenée en bordure d'une forêt où, après avoir posé son pistolet sur le siège de la voiture, il a entretenu avec elle, et sans son consentement, une relation sexuelle au cours de laquelle il s'est montré violent, voire bestial, comme à son habitude. A._ a consulté, le 6 décembre 2004, le Dr B._, gynécologue, qui a établi un rapport médical mentionnant la présence de rougeurs et d'hématomes sur le corps de la patiente, notamment au niveau des cuisses. La gynécologue a relevé que les constatations qu'elle avait faites étaient compatibles avec les actes décrits par A._. B. Par jugement du 21 décembre 2005, le Tribunal pénal de l'arrondissement de la Sarine a notamment reconnu X._ coupable de contrainte sexuelle, de viol et de délit à la loi fédérale sur les armes et l'a condamné à une peine de trois ans de réclusion. C. Statuant le 28 septembre 2006, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel formé par le Ministère public de même que, dans la mesure où il était recevable, celui du condamné. D. Par arrêt du 11 août 2007, la Cour de cassation pénale du Tribunal fédéral a admis, dans la mesure où il était recevable, le recours de droit public formé par X._ contre l'arrêt cantonal. Elle a considéré que compte tenu des incohérences dans les déclarations et le comportement de la plaignante et en l'absence d'autres éléments propres à confirmer les faits dénoncés, il n'était pas possible de considérer les actes imputés au recourant comme suffisamment établis pour écarter tout doute. E. Après avoir administré un certain nombre de preuves complémentaires, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rendu, le 29 février 2008, un nouvel arrêt par lequel elle confirme la culpabilité de X._ pour contrainte sexuelle, viol et délit contre la loi fédérale sur les armes et le condamne à une peine de 3 ans de réclusion. La cour cantonale a procédé à une nouvelle appréciation des preuves dont elle disposait et a estimé qu'elle pouvait, sans arbitraire, conclure qu'il n'existait aucun doute sérieux et irréductible quant à la culpabilité de X._, précisant que les doutes qui auraient dû subsister, selon l'arrêt du Tribunal fédéral, ont été dissipés d'une part par un témoignage relatif aux pressions exercées par X._ sur sa victime et d'autre part par l'attitude courageuse de cette dernière qui a comparu devant l'autorité cantonale pour confirmer l'ensemble de ses déclarations antérieures. F. X._ forme un recours en matière pénale contre cet arrêt. Invoquant une violation du principe "in dubio pro reo" ainsi que de l'interdiction de l'arbitraire, il conclut, avec suite de frais et dépens, principalement à l'annulation de l'arrêt attaqué ainsi qu'à sa libération des préventions de contrainte sexuelle et de viol et, subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. G. Invitée à se déterminer sur le recours, l'autorité cantonale a déclaré n'avoir pas d'observations à formuler. Pour sa part, le Ministère public a conclu au rejet du recours. Il expose principalement que l'emprise psychologique du recourant sur la victime et le mode opératoire ont été décrits de manière convaincante par cette dernière de sorte que c'est avec raison que les juges cantonaux ont considéré les faits comme suffisamment établis. 