Faits: A. A.a S._, née en 1964, a acquis auprès de la Croix-Rouge une formation d'aide-soignante. Elle a été engagée en qualité d'aide-infirmière par l'Hôpital X._, où elle a travaillé à partir du 1er mai 1997. Le 29 août 2002, elle a été victime d'un accident professionnel, à la suite duquel elle a présenté une incapacité totale de travail. La Vaudoise Assurances a pris le cas en charge. Elle a confié une expertise aux médecins du Centre Multidisciplinaire de la Douleur (CMD) de G._, qui a été effectuée le 29 avril 2004 par les docteurs R._ (spécialiste FMH en orthopédie) et S._ (spécialiste FMH en psychiatrie-psychothérapie). Dans un rapport du 8 juin 2004, ces médecins ont posé les diagnostics de troubles fonctionnels du genou droit consécutif à une entorse de celui-ci (rupture du ligament croisé antérieur), en mentionnant une chondropathie du condyle fémoral interne droit, une amyotrophie de la cuisse droite et une instabilité rotulienne. La Vaudoise Assurances a confié une nouvelle expertise au Centre d'expertise médicale (CeMed) de N._, laquelle a été effectuée par les docteurs O._ (spécialiste FMH en orthopédie) et R._ (spécialiste FMH en psychiatrie-psychothérapie), qui ont conclu dans un rapport du 19 mai 2006 qu'il n'y avait pas de changement manifeste sur le plan locomoteur depuis l'expertise précédente. A.b Le 7 octobre 2003, S._ a présenté une demande de prestations de l'assurance-invalidité. Dans un rapport du 4 février 2004, le docteur M._, spécialiste FMH en chirurgie orthopédique et traumatologie et médecin du Centre Z._, a posé les diagnostics de gonalgies droites persistantes sur Sudeck, de status post-plastie du ligament croisé antérieur du genou droit (du 19 septembre 2002), de status post-greffe de cartilage (du 20 février 2003) et d'état dépressif réactionnel. Dans un rapport du 6 février 2004, le docteur I._, spécialiste FMH en médecine interne, a donné des renseignements analogues à ceux communiqués par le docteur M._. L'Office de l'assurance-invalidité pour le canton de Vaud a confié une expertise multidisciplinaire au COMAI de G._. Celle-ci a été effectuée par les docteurs C._ (spécialiste FMH en chirurgie orthopédique) et B._ (spécialiste FMH en psychiatrie-psychothérapie), qui ont examiné l'assurée le 26 mai 2005. Dans un rapport du 18 août 2005, ces médecins ont considéré que l'arthrose fémoro-patellaire sur subluxation bilatérale et la gonarthrose interne débutante du côté droit justifiaient l'abstention de tout mouvement d'accroupissement ou mise à genou, l'abstention de port de charge ou de marche prolongée avec notamment des descentes dans les escaliers. Relevant que sur le plan orthopédique, dans une activité adaptée, l'activité professionnelle pourrait être "sub-totale" à totale, en tenant compte peut-être, s'il s'agissait d'une station assise essentiellement, de la nécessité de déverrouillage régulier par des déplacements, ils estimaient qu'étant donné l'amélioration de l'état de santé depuis début 2005 la capacité de travail de l'assurée était pleine depuis le jour de l'expertise. Dans un rapport du 16 septembre 2005, le docteur A._, médecin SMR, a retenu sur la base des conclusions des experts du COMAI que la capacité de travail exigible de S._, nulle dans l'activité d'aide-infirmière, était de 100 % dans une activité adaptée aux limitations fonctionnelles. L'office AI, dans un préavis du 4 octobre 2006, a informé l'assurée que son état de santé s'était amélioré et que depuis le 26 mai 2005 on pouvait exiger de sa part qu'elle exerce une activité adaptée, qu'elle avait droit à une rente entière pour une invalidité de 100 % pendant la période du 1er août 2003 au 31 juillet 2005 et qu'elle présentait une invalidité de 15 % dès le 1er août 2005. Le 23 novembre 2006, l'assurée, représentée par un avocat, a fait part à l'office AI de ses observations. L'office AI, tout en reprenant le 5 mars 2007 la motivation de son préavis du 4 octobre 2006, a notifié à S._ une décision du 4 mai 2007, par laquelle il lui a alloué une rente entière d'invalidité du 1er août 2003 au 31 juillet 2005. Le 17 mars 2008, il a communiqué au mandataire de l'assurée la décision du 4 mai 2007, ainsi que la motivation du 5 mars 2007. B. S._ a formé recours contre la décision de l'office AI devant le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud), en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'elle avait droit à une rente entière d'invalidité au-delà du 31 juillet 2005. Produisant un rapport du 14 décembre 2007 du docteur B._ (spécialiste FMH en chirurgie orthopédique), un certificat médical du 25 avril 2008 où ce médecin indiquait qu'il avait procédé le 26 mars 2008 à une ostéotomie de valgisation tibiale proximale et à une méniscectomie par arthroscopie et une lettre du 3 octobre 2008 où il relevait que les douleurs avaient nettement régressé et considérait que la patiente était capable de travailler dans une profession adaptée comme aide-infirmière à 50 %, S._ demandait à titre subsidiaire qu'une expertise médicale soit ordonnée en vue d'évaluer la capacité de travail exigible dans une activité adaptée et que celle-ci soit confiée au docteur B._. Les parties ont eu la possibilité de se déterminer sur les propositions d'experts formulées par la juridiction cantonale. Le 5 octobre 2009, celle-ci a confié une expertise au docteur L._, spécialiste FMH en chirurgie orthopédique et médecin-chef de l'Hôpital Y._. Dans un rapport du 20 juillet 2010, l'expert a posé les diagnostics de status post-rupture du ligament croisé antérieur du genou droit, de status post probable lésion post-traumatique cartilagineuse du condyle fémoral interne du genou droit, de status post-reconstruction du ligament croisé antérieur du genou droit au tiers central du tendon rotulien sous contrôle arthroscopique, de probable Sudeck post-traumatique ou postopératoire, de syndrome du cyclope postopératoire après plastie du ligament croisé antérieur (réséqué), de status post-plastie mosaïque du condyle fémoral interne, arthrotomie et section de l'aileron externe, de status post-ostéotomie de valgisation du tibia proximal droit, de status post-résection d'une lésion dégénérative méniscale interne, de status post-ablation du matériel d'ostéosynthèse du tibia proximal droit, de troubles dégénératifs fémoro-tibiaux internes et fémoro-patellaires externes, d'état anxio-dépressif réactionnel suite à l'évolution de genou droit et de diabète insulino-dépendant. Il indiquait que les diagnostics principaux à retenir ayant une répercussion sur la capacité de travail étaient la rupture du ligament croisé antérieur mais aussi les douleurs postopératoires, le déficit de mobilité dans le décours de la première intervention chirurgicale (du 19 septembre 2002), le surcroît de la décompensation douloureuse suite à la deuxième intervention chirurgicale (du 20 février 2003) et enfin, le développement progressif d'une décompensation dégénérative du compartiment fémoro-patellaire et ensuite fémoro-tibial interne ayant nécessité la troisième intervention chirurgicale (du 26 mars 2008). En ce qui concerne les limitations fonctionnelles en relation avec les troubles constatés, le docteur L._ a relevé que la patiente pouvait se déplacer en terrain plat mais ne pouvait pas faire d'activités avec transport de charges lourdes (maximum 5 kg), sur sol irrégulier ou en hauteur, déplacements fréquents en montée et descente, en position sur les genoux ou accroupie. En ce qui concerne la capacité de travail de l'assurée, l'expert a répondu qu'il y avait du point de vue médical une incapacité de travail de 20 % au moins depuis le 29 août 2002 dans l'activité exercée jusque-là et depuis le 3 octobre 2008 dans une activité adaptée (travail de bureau ou secrétariat, manutention légère, éventuellement travail d'aide-soignante à temps partiel [maximum 50 %]). S'agissant de l'évolution du degré d'incapacité de travail, il a répondu que l'assurée avait présenté une incapacité de travail de 100 % à partir du 29 août 2002 et de 50 % à partir du 3 octobre 2008 dans l'activité exercée jusque-là et retenu la même date et le même taux d'incapacité de travail dans une activité adaptée, compte tenu des déclarations de la patiente et du docteur B._. Dans ses observations du 26 août 2010, l'Office de l'assurance-invalidité pour le canton de Vaud, se fondant sur un avis médical SMR du 12 août 2010 qui contestait l'estimation par l'expert de la capacité de travail de 50 % dans une activité adaptée, a déclaré qu'il ne pouvait adhérer aux conclusions du docteur L._, dont il a considéré qu'elles n'étaient pas motivées et qu'elles étaient contradictoires. Le 6 septembre 2010, S._ a déposé ses observations, en se ralliant aux conclusions de l'expert. Par arrêt du 2 décembre 2010, la juridiction cantonale a admis le recours (ch. I du dispositif) et réformé la décision rendue le "5 mars 2007" par l'Office de l'assurance-invalidité pour le canton de Vaud en ce sens que S._ avait droit à une rente entière d'invalidité du 1er août 2003 au 31 décembre 2008 et à une demi-rente d'invalidité dès le 1er janvier 2009 (ch. II du dispositif). C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation, la cause étant renvoyée à la juridiction cantonale pour nouveau jugement conformément aux considérants. Il a également sollicité l'octroi de l'effet suspensif au recours, ce qui lui a été accordé par ordonnance du 22 juin 2011. S._ conclut au rejet du recours. Dans un préavis du 17 juin 2011, l'Office fédéral des assurances sociales propose l'admission du recours. 