Faits: A. S._ travaillait en qualité de concierge à temps partiel. Souffrant de séquelles d'une poliomyélite à la jambe gauche, de spondylarthrose L5-S1 ainsi que d'une lésion de la coiffe des rotateurs à l'épaule droite, elle a cessé de travailler le 17 septembre 2004. Le 6 octobre 2004, l'intéressée a déposé une demande de prestations de l'assurance-invalidité, sous forme d'une rente. Des renseignements médicaux recueillis, il ressortait que la capacité de travail résiduelle de l'assurée était nulle dans son activité de concierge mais de 50 % dans une activité adaptée à ses limitations fonctionnelles. L'office cantonal de l'assurance-invalidité de Genève (ci-après: l'OCAI) a également procédé à une enquête économique sur le ménage, dont il ressort un empêchement de 40 % dans l'accomplissement des travaux habituels (cf. rapport du 31 août 2006). Par décision du 29 janvier 2007, l'OCAI a rejeté la demande de prestations, motif pris que le taux global d'invalidité, fixé à 33 % conformément à la méthode mixte d'évaluation, était insuffisant pour donner droit à une rente. B. Par jugement du 21 mai 2008, le Tribunal des assurances du canton de Genève a partiellement admis le recours interjeté par l'assurée, annulé la décision de l'OCAI du 29 janvier 2007 et constaté que S._ avait droit à un quart de rente d'invalidité à partir du 1er septembre 2005. C. L'OCAI interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conteste uniquement le degré d'invalidité retenu par la juridiction cantonale pour la part que l'intimée consacre à une activité lucrative et assortit son recours d'une demande d'effet suspensif. D. Invitée à se déterminer sur le recours, la juridiction cantonale a reconnu avoir commis une erreur de report du revenu sans invalidité dans le calcul final du taux d'invalidité. Elle a précisé qu'en comparant le revenu sans invalidité de 8'806 fr. avec le revenu d'invalide de 7'385 fr. 60 ([8'806 - 7'385 x 100 / 8'806] x 25 %), on obtenait un taux d'invalidité dans l'activité lucrative de 4 %. Compte tenu du taux d'invalidité de 30 % (40 % x 75 %) dans l'activité ménagère, le taux global d'invalidité de l'intimée était de 34 % et non de 40 %, de sorte que le dispositif de son jugement aurait dû conclure au rejet du recours. Pour sa part, l'intimée conclut préalablement au rejet de la requête d'effet suspensif. Sur le fond et sous suite de frais et dépens, elle demande la confirmation du jugement attaqué. 