Faits: A. Par jugement du 29 novembre 2011, le Tribunal pénal de la Gruyère a acquitté X._ du chef d'accusation de brigandage, l'a condamné pour viol, vol d'importance mineure et violation grave des règles de la circulation routière à une peine privative de liberté de 36 mois dont 24 mois avec sursis pendant 3 ans et au paiement d'une amende de 200 francs. Il a également partiellement admis les conclusions civiles formulées par A._ et lui a alloué un montant de 15'000 fr. pour le tort moral et divers montants pour ses frais de déplacement et d'avocat. B. Par arrêt du 3 octobre 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté l'appel formé par X._. En bref, il ressort les éléments suivants de cet arrêt. Le 5 août 2009, X._ s'est rendu au salon de massage tenu par A._. Cette dernière lui a prodigué une fellation, le montant de cette prestation s'élevant à 80 francs. Après que A._ s'est exécutée, X._ a réclamé un massage et s'est entièrement déshabillé à cet effet. Il a ensuite exigé qu'elle se déshabille également car il voulait avoir un rapport sexuel complet et l'a poussée sur le lit. Vu son comportement agressif et les propos tenus notamment sur son prétendu passé de prisonnier, A._ s'est exécutée, de peur, et l'a laissé faire. Il l'a pénétrée pendant quelques minutes avant d'éjaculer dans le préservatif qu'il portait. Durant l'acte, il lui a tiré les cheveux, pincé les seins, mis les mains sur le cou, lui disant qu'elle avait un joli cou et l'a serré. Après le rapport, il s'est rendu dans la salle de bain et en est ressorti habillé. Il s'est mis à discuter avec elle et lui a raconté des mensonges sur sa vie, son passé de prisonnier et ses problèmes psychiatriques. Il a exigé qu'elle lui rende l'argent qu'il lui avait donné pour la prestation et l'a finalement repris sans qu'elle lui donne son accord. Il a ensuite exigé un second rapport sexuel. Il s'est déshabillé et l'a poussée sur le lit avant d'enfiler un nouveau préservatif et de la pénétrer. Effrayée, A._ s'est à nouveau exécutée. Durant le second acte, X._ lui caressait et lui serrait le cou, ce qui l'a d'autant plus affolée, craignant l'étranglement. Puis, X._ s'est à nouveau rendu dans la salle de bain, s'y est rhabillé et lui a laissé son numéro de téléphone souhaitant qu'elle vienne le chercher à 19h30 afin qu'il puisse conduire sa voiture avant de quitter les lieux. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, sous suite de frais et dépens, principalement à la réforme de l'arrêt entrepris en ce sens qu'il est acquitté de l'infraction de viol, condamné pour vol d'importance mineure et violation grave des règles de la circulation routière à une peine pécuniaire de 20 jours-amende à 50 fr. avec sursis pendant 3 ans et à une amende de 200 fr., qu'il lui est alloué une indemnité équitable et que les conclusions civiles de A._ sont rejetées. Subsidiairement, il conclut, sous suite de frais et dépens, au renvoi de la cause à l'instance précédente pour nouvelle décision et à l'allocation d'une indemnité équitable. Il requiert, par ailleurs, l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures. 