Faits: A. A.a S._, né en 1967, est entré au service du magasin X._ le 1er mars 1996, en oeuvrant en qualité de responsable du rayon des fruits et légumes. Mis en arrêt de travail à partir du 25 octobre 2004 par son médecin traitant, le docteur P._, spécialiste FMH en médecine interne, il a présenté le 16 janvier 2006 une demande de prestations de l'assurance-invalidité. Dans un rapport du 7 février 2006, ce médecin a posé le diagnostic de discopathies lombaires étagées ayant nécessité de multiples traitements dont une neutralisation dynamique L4-L5 et L5-S1 effectuée le 3 mars 2005 par le docteur M._ (spécialiste FMH en chirurgie orthopédique), diagnostic qu'il a rectifié dans un rapport E 213 du 6 octobre 2006 en indiquant que les discopathies avaient résisté aux traitements et que le docteur M._ avait mis en évidence une instabilité de la vertèbre sus-jacente. Le docteur M._ a procédé le 5 décembre 2006 à une nouvelle intervention chirurgicale en prolongeant la stabilisation dynamique en L2-L3 et L3-L4 et déposé ses conclusions dans un rapport du 12 février 2007. Du 9 au 11 janvier 2007, l'assuré a séjourné à la Clinique Z._ à laquelle l'Office cantonal AI du Valais avait confié une expertise pluridisciplinaire, qui fut effectuée par le docteur R._ (spécialiste FMH en rhumatologie), la doctoresse Z._ (spécialiste FMH en psychiatrie et psychothérapie) et le docteur G._ (spécialiste FMH en neurologie). Dans un rapport daté du 23 novembre (recte: janvier) 2007, les docteurs R._ et Z._ ont posé les diagnostics ayant une répercussion sur la capacité de travail de rachialgie commune (M54.4) et de spondylodèse intersomatique L4-L5 et L5-S1 (le 3 mars 2005) et L2 à S1 (le 5 décembre 2006): Après une période post-opératoire de trois mois environ à compter du 5 décembre 2006 pendant laquelle aucune activité professionnelle ne pouvait être exigée, la capacité de travail était complète dans une activité adaptée aux problèmes du rachis (éviter les ports de charges au-delà de 10 kg, les stations assises ou debout prolongées et les stations en flexion et/ou rotation du tronc). Le docteur C._, spécialiste FMH en médecine générale et médecin SMR, a conclu à une capacité de travail exigible de 100 % dès le 31 mars 2007 dans une activité adaptée aux limitations fonctionnelles (rapport du 13 février 2007 et avis du 19 septembre 2007), ce qu'il a confirmé dans un avis du 14 mai 2008 après l'ablation du matériel d'ostéosynthèse. Par décision du 5 juin 2008, l'office AI, considérant qu'il était raisonnablement exigible de la part de S._ qu'il exerce une activité légère et adaptée à 100 % à partir du 31 mars 2007, a statué qu'il avait droit à une rente entière d'invalidité pendant la période du 1er octobre 2005 au 30 juin 2007. Sur recours de l'assuré contre cette décision, le Tribunal cantonal du canton du Valais, Cour des assurances sociales, a par jugement du 20 novembre 2008 annulé la décision du 5 juin 2008, le dossier étant retourné à l'office AI pour instruction complémentaire et nouvelle décision. A.b L'Office cantonal AI du Valais a confié une expertise multidisciplinaire au CeMed. Celle-ci a été effectuée par les docteurs A._ (spécialiste FMH en chirurgie orthopédique), H._ (spécialiste FMH en neurologie) et U._ (spécialiste FMH en psychiatrie-psychothérapie), lesquels ont examiné l'assuré le 22 avril 2009. Dans un rapport du 3 juin 2009, ces médecins n'ont retenu aucun diagnostic ayant une répercussion sur la capacité de travail. Sur le plan orthopédique, les lésions effectivement objectivables étaient relativement modérées, mais conjuguées au status après multiples interventions chirurgicales, elles pouvaient expliquer une certaine symptomatologie douloureuse contre-indiquant une reprise du travail dans une profession lourde, de sorte que l'incapacité de travail était de 100 % dans l'activité professionnelle antérieure de vendeur (activité debout et avec port de charge). L'incapacité de travail de 100 % devait être maintenue en raison des multiples interventions chirurgicales jusqu'à l'ablation du matériel d'ostéosynthèse et au curetage de la métallose en avril 2008; après cette intervention, une reprise de travail progressive dans une activité adaptée aurait dû avoir lieu dans les 4 à 6 mois de sorte que sur le plan orthopédique la capacité de travail était de 100 % dans une activité adaptée, évitant les ports de charges et les positions prolongées ou penché en avant et les rotations répétées du tronc. La preuve d'une participation neurologique significative aux rachialgies lombaires et cervicales présentées par l'assuré n'était pas rapportée et il n'y avait pas non plus d'incapacité de travail à retenir tant en ce qui concerne l'activité exercée préalablement que toute autre activité professionnelle potentiellement exigible sur ce plan. Enfin, il n'y avait pas de pathologie psychiatrique décelable, les critères du syndrome douloureux somatoforme persistant n'étaient pas atteints et la capacité de travail était entière sur le plan psychique. Dans un rapport final du 14 juillet 2009, le docteur C._ a modifié son appréciation des limitations fonctionnelles, le port de charge étant limité à 2-3 kg, et retenu qu'une pleine capacité de travail dans une activité adaptée n'était exigible que depuis le 3 octobre 2008, en raison de la métallose qui pouvait expliquer la persistance de l'état douloureux. Dans un préavis du 2 novembre 2009, l'office AI a informé S._ de son droit à une rente entière d'invalidité du 1er octobre 2005 au 31 janvier 2009. L'assuré a fait part à l'office AI de ses observations, en produisant une lettre du docteur M._ du 2 décembre 2009 sur laquelle le docteur C._ a pris position dans un avis du 11 janvier 2010. S._ a communiqué à l'office AI une expertise privée du 25 février 2010 du docteur O._ (spécialiste FMH en chirurgie orthopédique et traumatologie) fondée sur un examen et un contrôle radiologique du 16 février 2010, où ce médecin prenait position sur le rapport d'expertise du CeMed. Par deux décisions du 17 mars 2010, l'office AI a statué que S._ avait droit à une rente entière d'invalidité du 1er octobre 2005 au 31 janvier 2009. B. Le 15 avril 2010, l'intéressé a formé recours contre ces décisions devant la Cour des assurances sociales du Tribunal cantonal du canton du Valais, en concluant, sous suite de frais et dépens, à son annulation et à l'octroi d'une rente entière d'invalidité au-delà du 31 janvier 2009. Alléguant que les conclusions des experts du CeMed dans leur rapport du 3 juin 2009 étaient en contradiction avec celles du docteur O._ dans son rapport du 25 février 2010, il requérait la mise en oeuvre d'une expertise médicale. Sur proposition de l'Office cantonal AI du Valais, la juridiction cantonale a invité S._ à transmettre les radiographies effectuées par le docteur O._ aux médecins du CeMed pour appréciation. Dans un rapport complémentaire du CeMed du 6 septembre 2010, le docteur A._ a relevé que les radiographies du 16 février 2010 objectivaient une péjoration modérée des pincements discaux L2-L3, L3-L5 et L4-S1 par rapport aux radiographies précédentes et n'objectivaient pas de nouvelle pathologie mais une péjoration des pathologies précédemment décrites, que les troubles dégénératifs lombaires s'étaient légèrement péjorés depuis les examens précédents et restaient cependant encore modérés et qu'une capacité de travail dans une activité adaptée était probablement possible à 100 % (en évitant les ports de charges et les positions prolongées ou les positions penchées en avant, les rotations du tronc répétées). Ainsi, fondamentalement, les conclusions sur le plan orthopédique de l'expertise du 3 juin 2009 n'étaient pas modifiées, les diagnostics étant superposables, même s'il existait une péjoration des troubles dégénératifs lombaires qui restait encore relativement modérée. Dans un rapport final du 17 septembre 2010, le docteur B._, spécialiste FMH en médecine physique et réadaptation et médecin SMR, a relevé que l'opinion du docteur A._ était corroborée par les constatations du docteur H._, que la description des deux médecins du CeMed était cohérente et qu'ils arrivaient en synthèse à des conclusions mieux motivées que celles du docteur O._. Dans sa réponse du 21 septembre 2010, l'office AI a conclu au rejet du recours. S._ a déposé ses observations dans une écriture du 11 octobre 2010. Par jugement du 27 janvier 2011, la Cour des assurances sociales du Tribunal cantonal valaisan a rejeté le recours. C. S._ interjette un recours contre ce jugement, en concluant, sous suite de frais et dépens, à son annulation, la cause étant renvoyée à l'Office cantonal AI du Valais pour qu'il procède à l'administration d'une expertise en bonne et due forme tendant à déterminer tant les diagnostics pertinents que la capacité de travail résiduelle dans une activité adaptée. Il produit un rapport du docteur O._ du 4 octobre 2010. 