Faits: A. X._ (ci-après la contribuable) était imposée dans le canton de Genève pour l'exercice fiscal 2008. Le 2 novembre 2009, l'Administration fiscale cantonale du canton de Genève (ci-après l'Administration cantonale) lui a adressé un bordereau relatif aux impôts cantonal et communal 2008. Pour un revenu imposable de CHF 3'781'680.- et une fortune imposable de CHF 164'467'357.-, la charge fiscale se montait à CHF 2'727'337.15. Un montant de CHF 746'117.05 était porté en déduction au titre de l'impôt anticipé et de la retenue supplémentaire USA. La contribuable ayant en outre acquitté entre avril et octobre 2008 dix acomptes provisionnels de CHF 252'312.- chacun, soit un total de CHF 2'523'120.-, il en résultait un solde en sa faveur de CHF 541'899.90. B. La contribuable a élevé réclamation contre ce bordereau et demandé que des intérêts moratoires sur l'excédent d'impôt versé lui soient payés. Par décision du 16 février 2010, l'Administration cantonale a rejeté la réclamation et confirmé le bordereau litigieux. La contribuable a porté le litige devant la Commission cantonale de recours en matière administrative, devenue depuis le 1er janvier 2011 le Tribunal administratif de première instance du canton de Genève (ci-après le TAPI). Par jugement du 21 novembre 2011, le TAPI a rejeté ce recours. La contribuable a recouru contre ce jugement auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après la Cour de justice), en concluant à l'annulation de la décision sur réclamation et du bordereau querellé, ainsi qu'au renvoi du dossier à l'Administration cantonale pour l'établissement d'un bordereau rectificatif comprenant le paiement d'un intérêt rémunératoire sur le montant de CHF 541'899.90 payé en trop. La Cour de justice a rendu son arrêt le 21 août 2012. Elle a admis le recours, annulé le jugement du TAPI du 21 novembre 2011, annulé la décision sur réclamation de l'Administration cantonale du 16 février 2010, annulé le bordereau du 2 novembre 2009, et renvoyé la cause à l'Administration cantonale pour nouvelle décision dans le sens des considérants. La Cour de justice a considéré, en substance, que la contribuable avait acquitté la somme totale de CHF 3'269'237.05 sous forme d'acomptes provisionnels, d'impôts anticipés et de retenue supplémentaire USA, dont le solde positif en sa faveur, soit CHF 541'899.90, devait porter intérêt rémunératoire conformément aux principes découlant des dispositions cantonales applicables. C. Par acte du 28 septembre 2012, l'Administration cantonale dépose un recours en matière de droit public auprès du Tribunal fédéral à l'encontre de l'arrêt du 21 août 2012. Elle conclut, sous suite de frais, à ce que l'arrêt attaqué soit annulé, que la décision sur réclamation du 16 février 2010 et le bordereau du 2 novembre 2009 soient confirmés, et qu'il soit dit qu'il ne peut pas être alloué d'intérêt rémunératoire ou financier sur les montants imputés ou à rembourser en matière d'impôt anticipé, de retenue d'impôt USA et d'imputation forfaitaire d'impôt étranger. L'intimée a répondu le 8 novembre 2012. Elle conclut, à la forme, à ce que le recours soit déclaré irrecevable en raison du défaut de qualité pour recourir de l'Administration cantonale, et au fond, à ce qu'il soit rejeté, l'arrêt attaqué confirmé et la cause renvoyée à l'Administration cantonale pour nouvelle décision dans le sens des considérants, le tout sous suite de frais et dépens. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions se rallie aux conclusions formulées par l'Administration cantonale. L'Administration cantonale a déposé des observations le 21 février 2013 et l'intimée en a fait de même le 18 mars 2013. Toutes deux ont maintenu leurs conclusions respectives. D. Le 21 février 2013, l'Administration cantonale a sollicité la suspension de la cause. Elle exposait qu'elle avait déposé une demande de révision de l'arrêt attaqué, afin de pouvoir intégrer dans la taxation 2008 de la recourante des éléments de revenu et de fortune que cette dernière avait omis de déclarer. L'intimée s'est opposée à cette demande de suspension. Par décision du 25 février 2013, la Cour de justice a suspendu la procédure de révision jusqu'à droit jugé par le Tribunal fédéral dans la présente affaire. 