Faits: A. Par jugement du Tribunal correctionnel du 26 mai 2011, X._ a été reconnu coupable d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de viol. Il a été condamné à une peine privative de liberté de six ans et demi. B. Dans un arrêt du 14 novembre 2011, la Chambre pénale d'appel et de révision de la Cour de justice genevoise constate que l'appel de X._ contre ce jugement est réputé retiré conformément à l'art. 407 al. 1 let. a CPP, l'appelant, pourtant valablement cité à comparaître, ne s'étant pas présenté aux débats sans excuse valable et ne s'y étant pas fait représenter. C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. D. L'autorité cantonale a déclaré n'avoir pas d'observations à formuler. Pour sa part, le Ministère public a conclu au rejet du recours. L'intimée a conclu à ce que le recours soit déclaré irrecevable et, subsidiairement, à ce qu'il soit rejeté. Elle a en outre sollicité l'assistance judiciaire. Intervenant à la suite des observations du Ministère public et de l'intimée, le recourant a déclaré persister dans les termes et conclusions de son recours. Par ailleurs, l'intimée est intervenue pour faire valoir que la réplique du recourant devait selon elle être déclarée irrecevable. Enfin, à la suite de la communication de la réponse du Ministère public, elle réitère, avec suite de frais et dépens, ses conclusions tendant à ce que les observations du recourant soient déclarées irrecevables comme le recours lui-même. Subsidiairement, elle conclut au rejet du recours et à la confirmation de l'arrêt attaqué. 