Faits: A. Par décision du 4 novembre 1997, l'office cantonal AI de Genève (ci-après: l'OCAI) a octroyé à E._ une demi-rente d'invalidité dès le 1er février 1995. Suite à son mariage avec B._ le 25 octobre 1997, E._ a bénéficié d'une demi-rente complémentaire pour son conjoint dès le 1er octobre 1997 (décision du 3 mai 1999). Par la suite, A._, né en 1988, et C._, né en 1992, enfants nés d'un premier mariage de B._, sont venus rejoindre leur mère en Suisse. L'OCAI a octroyé des demi-rentes simples pour enfant en faveur de A._ dès le 1er décembre 1999 (décision du 14 mai 2001) et de C._ dès le 1er juillet 2002 (décision du 1er avril 2003). Les époux ont vécu séparés depuis le 30 septembre 2005 et leur divorce a été prononcé le 11 mai 2006. Par décision du 5 septembre 2006, l'OCAI a supprimé à E._ les rentes complémentaires en faveur de son ex-épouse et des enfants de celle-ci, depuis le 1er juillet 2006. Par une autre décision du même jour, il a demandé à E._ la restitution de 5'940 fr, représentant les rentes complémentaires versées à tort pour les enfants d'octobre 2005 à août 2006 et pour l'ex-épouse en juillet et août 2006. B. Le 5 octobre 2006, E._ a recouru contre la décision de restitution auprès du Tribunal cantonal des assurances sociales en concluant à ce qu'il ne soit pas tenu de restituer les rentes complémentaires touchées pour son ex-épouse et les enfants de celle-ci. Par jugement du 21 mai 2007, la juridiction cantonale a admis partiellement le recours en annulant l'obligation de restituer les rentes complémentaires touchées pour les enfants de l'ex-épouse entre la date de la séparation et le prononcé du divorce. Pour le surplus, elle a rejeté le recours confirmant ainsi l'obligation de E._ de restituer toutes les prestations touchées en juillet et août 2006 et a constaté que les conditions d'une remise de l'obligation de restituer n'étaient pas données. C. L'OCAI interjette un recours en matière de droit public contre ce jugement en concluant à l'annulation de l'arrêt cantonal et à la confirmation de sa décision du 5 septembre 2006. E._ a pris position sur le recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 