Faits: A. J._, née en 1974, est au bénéfice d'un diplôme d'aide familiale. Elle a été engagée à partir du 9 octobre 1995 en qualité d'aide familiale par la Fondation X._, auprès de laquelle elle a travaillé à 80 %. Dès le 19 septembre 2002, elle s'est trouvée en arrêt maladie. Du 14 juillet au 30 novembre 2003, elle a bénéficié d'un congé maternité. Le 25 août 2003, J._ a présenté une demande de prestations de l'assurance-invalidité. Dans un rapport du 11 novembre 2003, le docteur D._, spécialiste FMH en médecine interne et affections rhumatismales, a diagnostiqué des lombalgies existant depuis 1996. Sur proposition du médecin du SMR, l'Office de l'assurance-invalidité du canton de Genève a confié une expertise au professeur V._, médecin-chef du Service de rhumatologie de l'Hôpital Y._. Dans un rapport du 23 mars 2006, le professeur V._ et la doctoresse A._, cheffe de clinique, ont posé le diagnostic de lombalgies basses chroniques sur discopathie modérée L5-S1, de rachialgies diffuses et limitation de la mobilité de la nuque, sans explications, et de douleurs péri-articulaires de l'épaule droite de type PSH. Relevant qu'il n'y avait pas de limitation dans une activité légère, ils indiquaient que les activités sans port de charges lourdes de plus de 15 kg devraient pouvoir être effectuées, avec une réduction de la productivité de 10 % au maximum, par exemple dans des activités de secrétariat, vendeuse, contrôleuse de billets, petite mécanique, horlogerie. Dans un rapport d'examen SMR des 18 et 22 mai 2006, les docteurs B._ et C._ ont conclu à une capacité de travail exigible nulle dans l'activité habituelle et de 100 % dans une activité adaptée respectant les limitations fonctionnelles depuis le 11 septembre 2003. Dès le 2 août 2006, l'assurée a commencé un stage d'observation professionnelle, mesure qui a été interrompue de manière définitive le 22 octobre 2006 (rapport OSER du CIP du 1er novembre 2006). A partir du 30 août 2006, elle a suivi un traitement auprès de la doctoresse G._, spécialiste FMH en psychiatrie et psychothérapie. Dans un rapport du 16 octobre 2006, ce médecin a posé les diagnostics ayant des répercussions sur la capacité de travail d'épisode dépressif sévère ([CIM-10] F32.2) et de migraine, l'incapacité de travail étant estimée "actuellement" à 50 %. Lors d'une dernière consultation du 8 mars 2007, la doctoresse G._ a fait état d'une rémission partielle de la dépression (degré actuel léger à moyen), en relevant qu'il y avait une amélioration de l'humeur depuis environ trois mois, mais persistance des lombalgies (rapport intermédiaire du 9 mars 2007). Depuis fin mars 2007, J._ est domiciliée dans le canton Z._. Dans un rapport du 15 mai 2007, la doctoresse T._, spécialiste FMH en médecine interne, a posé notamment le diagnostic d'ostéochondrose L5/S1, en relevant que l'assurée présentait un lumbago chronique depuis 2002, que son état de santé était stationnaire et que l'on pouvait exiger de sa part qu'elle exerce une activité légère à 50 % au plus, permettant un changement fréquent de position. A la suite d'un préavis de refus de rente de l'Office cantonal genevois de l'assurance-invalidité du 16 octobre 2007, J._ a présenté ses observations. Elle produisait divers documents médicaux, dont une attestation du 30 octobre 2007 de la doctoresse R._, spécialiste FMH en psychiatrie et psychothérapie et médecin traitant de l'assurée depuis le 23 juillet 2007, qui faisait état d'un épisode dépressif d'intensité moyenne avec syndrome somatique ([CIM-10] F32.11) et d'un syndrome douloureux somatoforme persistant (F45.4), et un rapport de consultation du 15 août 2007 de l'Hôpital H._, où était posé sur le plan psychiatrique le diagnostic d'épisode dépressif sévère dans le cadre de douleurs chroniques (F33.2). Par décision du 20 novembre 2007, l'office AI a nié que l'assurée ait droit à une rente, au motif que son invalidité était de 36,3 %. Par arrêt du 30 janvier 2008, le Tribunal cantonal des assurances sociales de la République et canton de Genève a annulé cette décision et renvoyé la cause à l'office AI pour complément d'instruction, sous forme d'une expertise bidisciplinaire. Sur proposition de la doctoresse S._ (avis médical SMR du 23 avril 2008), l'office AI a confié la réalisation d'une expertise bidisciplinaire (rhumatologique et psychiatrique) au Centre F._. Dans leur rapport du 26 juin 2008, les docteurs U._, spécialiste FMH en rhumatologie-médecine interne, et O._, spécialiste FMH en psychiatrie-psychothérapie, ont posé les diagnostics ayant une répercussion sur la capacité de travail de personnalité émotionnellement labile type borderline ([CIM-10] F60.31), présente depuis l'époque où l'assurée était jeune adulte, de syndrome douloureux somatoforme persistant (F45.4) et de dorsolombalgies chroniques sur une discopathie L5-S1, des troubles de la posture et une obésité (M47). Ils indiquaient que la capacité résiduelle de travail était de 100 % sur le plan physique dans une profession respectant les limitations fonctionnelles (pas de mouvements de flexion du tronc, ni de port de charges de plus de 10 kilos, ni de position debout prolongée) et de 60 % sur le plan psychique. Dans un avis médical SMR du 14 juillet 2008, la doctoresse S._ a relevé que l'incapacité de travail dans l'activité habituelle était de 100 % de manière définitive depuis le 11 septembre 2003 et que la capacité de travail exigible dans une activité adaptée avait été de 100 % du 11 septembre 2003 au 21 septembre 2006, nulle du 22 septembre au 15 octobre 2006, de 50 % du 16 octobre 2006 au 31 mars 2007, de 60 % du 1er avril au 31 août 2007, nulle du 1er au 30 septembre 2007 et de 60 % dès le 1er octobre 2007. Dans un préavis du 24 juillet 2008, l'office AI a informé J._ qu'elle avait présenté une invalidité de 41 % dès le 16 octobre 2006, de 64 % dès le 1er janvier 2007 et de 57 % dès le 1er juillet 2007. Celle-ci lui a fait part de ses observations. Par décision du 24 novembre 2008, l'office AI a alloué à l'assurée un quart de rente d'invalidité du 1er octobre au 31 décembre 2006, un trois-quarts de rente d'invalidité du 1er janvier au 30 juin 2007 et une demi-rente d'invalidité dès le 1er juillet 2007. B. Par arrêt du 2 décembre 2009, le Tribunal cantonal des assurances sociales de la République et canton de Genève a partiellement admis le recours formé par J._ contre cette décision (ch. 2 du dispositif), annulé celle-ci (ch. 3 du dispositif), dit que J._ avait droit à un quart de rente d'invalidité du 1er septembre 2003 au 31 décembre 2006 et à un trois-quarts de rente d'invalidité à partir du 1er janvier 2007 (ch. 4 du dispositif), renvoyé la cause à l'Office cantonal genevois de l'assurance-invalidité pour calcul des prestations dues (ch. 5 du dispositif) et mis à sa charge un émolument de 1'000 fr. (ch. 6 du dispositif). C. L'Office de l'assurance-invalidité du canton de Genève interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation, la décision du 24 novembre 2008 étant confirmée. Sa requête d'effet suspensif a été admise par ordonnance du 9 mars 2010. J._ n'a pas répondu au recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 