Faits: A. R._ a été engagée en qualité de psychologue par les Institutions Y._ à dater du 1er mars 1990. Ces dernières ont été par la suite intégrées aux Institutions X._. Avec effet au 1er mars 1993, R._ a été nommée fonctionnaire. Elle a été absente de son poste depuis le 26 octobre 2009 pour raison de santé, sous réserve d'une tentative de reprise entre le 8 et le 23 mars 2010. Un litige étant survenu entre l'employeur et la fonctionnaire au sujet du bien-fondé de cette absence de longue durée, le conseil d'administration de X._ a signifié à l'intéressée, par lettre du 22 octobre 2010, qu'il avait décidé de la licencier pour le 31 janvier 2011. B. R._ a déféré cette décision au Tribunal administratif de la République et canton de Genève (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre administrative). Au cours de la procédure cantonale, il est apparu que la prénommée avait été mise à la retraite anticipée avec effet au 1er février 2011. Par arrêt du 21 août 2012, la juridiction cantonale a partiellement admis le recours. Elle a constaté que la décision de X._ du 22 octobre 2010 violait le droit d'être entendue de l'intéressée et condamné l'employeur à verser à celle-ci une indemnité correspondant à vingt-quatre mois de son dernier traitement brut, sous déduction des rentes perçues entre le 1er février 2011 et le 31 janvier 2013. C. X._ interjettent un recours en matière de droit public contre ce jugement dont ils demandent l'annulation associée, ou non, au renvoi de la cause à la juridiction cantonale pour nouvelle décision. A titre préalable, ils concluent à l'octroi de l'effet suspensif. L'intimée conclut au rejet du recours en toutes ses conclusions. 