Faits: A. Par jugement du 18 décembre 2012, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ de l'accusation de viol et l'a reconnu débiteur de A._ pour un montant de 2000 fr. à titre d'indemnité pour tort moral. B. Le 28 mai 2013, la Cour d'appel pénale du Tribunal cantonal vaudois a admis l'appel de A._ et admis partiellement celui du Ministère public. Elle a en revanche rejeté l'appel joint de X._. Elle a réformé le jugement de première instance en ce sens qu'elle a constaté que X._ s'était rendu coupable de viol. Elle l'a condamné à une peine privative de liberté de 30 mois, dont 20 assortis du sursis avec un délai d'épreuve de 2 ans. Elle a par ailleurs dit que X._ était débiteur de A._ de 20'000 fr. à titre d'indemnité pour tort moral. Les faits à l'origine de cette condamnation sont en substance les suivants. En 2007, A._, née en 1960, a mis sa patente de cafetier-restaurateur à disposition de X._, pour lequel elle a travaillé comme serveuse. En début d'année, alors qu'ils s'étaient donné rendez-vous dans un café pour discuter de leur prochaine collaboration, X._ a demandé à A._ de l'accompagner dans un local où il entreposait de la marchandise, à Savigny. Arrivés sur place, il a fermé le local à clé, a enclenché une cassette vidéo pornographique et s'est assis à califourchon sur les genoux de A._, qu'il a tenté d'embrasser de force. Celle-ci est parvenue à se libérer en disant qu'elle devait aller récupérer sa fille. Pensant que ce comportement était dû à un moment d'égarement, A._ a tout de même accepté de travailler pour X._. A une date indéterminée au cours de l'année 2007, alors que celui-ci la raccompagnait en voiture à son domicile car il n'y avait plus de transports publics, il a tenté de lui caresser la jambe. Elle l'a repoussé et est parvenue à sortir de la voiture. Un soir du mois d'août 2007, A._ s'est retrouvée seule avec X._ dans le restaurant au moment de la fermeture. Elle a constaté que son patron avait un comportement étrange et semblait nerveux. Elle est allée dans les toilettes et a téléphoné à une amie pour lui faire part de son inquiétude, puis est retournée dans la salle afin de terminer de nettoyer les tables. X._ s'est alors approché d'elle par derrière et l'a enlacée puis serrée par la taille. A._ s'étant retournée pour lui faire face, X._ a essayé de l'embrasser de force puis l'a poussée. Comme elle était couchée sur le dos sur une table, il a relevé sa robe et écarté sa culotte puis, ayant baissé son pantalon et son slip, l'a pénétrée vaginalement jusqu'à éjaculation bien qu'elle ait tenté de le repousser et lui ait dit qu'il lui faisait mal. A._ a quitté l'établissement en état de choc pour rentrer chez elle en taxi. Elle n'est plus retournée travailler et a donné sa démission pour la fin du mois de septembre. De mai 2008 à novembre 2009, A._ a suivi une thérapie auprès d'une psychologue, puis a eu cinq entretiens au CHUV entre octobre et décembre 2011; elle poursuit une thérapie de manière irrégulière et selon ses besoins. Les thérapeutes ont relevé que A._ présentait des symptômes de stress post-traumatique, d'anxiété et de retrait social ainsi que des troubles de la sexualité en lien avec une incapacité à supporter la pénétration. Le 29 novembre 2009, A._ a porté plainte contre X._. C. X._ forme un recours en matière pénale contre le jugement de la Cour d'appel pénale. Il conclut principalement à ce que le jugement attaqué soit réformé en ce sens que les appels formés par le Ministère public et par A._ sont rejetés et son propre appel-joint admis. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour qu'elle statue à nouveau. Il sollicite en outre le bénéfice de l'assistance judiciaire. 