Faits: A. A.a M._, né en 1950, est titulaire d'une maturité de type A obtenue en 1971. Après avoir exercé divers emplois, il s'est inscrit dès mai 1994 à l'assurance-chômage. Le 18 mai 1999, il a présenté une demande de prestations de l'assurance-invalidité, en indiquant qu'il vivait auprès de ses parents, dont il s'occupait en fonctionnant comme aide-soignant. Dans un rapport du 16 juillet 1999, le docteur B._, spécialiste FMH en médecine interne, spécialiste en maladies rhumatismales et médecin traitant de l'assuré, a posé le diagnostic de coxarthrose bilatérale de degré moyen, plus importante à gauche qu'à droite, de dorsolombalgies chroniques sur troubles statiques du rachis et de kyste méniscal de la corne postérieure du ménisque externe du genou droit entraînant des gonalgies intermittentes. Il relevait que le patient avait présenté une incapacité de travail de 50 % à partir de mars 1997, qu'en raison de la coxarthrose et des dorsolombalgies celui-ci devrait pouvoir trouver une activité à mi-temps, ménageant le rachis et les hanches, et que dans le contexte social l'octroi d'une demi-rente d'invalidité s'imposait. Sur requête du médecin-conseil de l'Office de l'assurance-invalidité du canton de Fribourg, les docteurs N._ et C._ ont procédé à une expertise psychiatrique. Dans un rapport du 15 mai 2000, ils ont posé le diagnostic de troubles mixtes de la personnalité évitante et dépendante ([CIM-10] F 61.0). Ils ont relevé qu'en raison du handicap d'ordre physique mis en évidence par le docteur B._, une incapacité de travail de 50 % paraissait indiquée et ceci depuis 1996. Dans un prononcé du 3 janvier 2001, l'office AI a conclu à une invalidité de 50 %. Par décision du 29 mars 2001, il a alloué à M._ une demi-rente d'invalidité à partir du 1er mai 1998, décision contre laquelle celui-ci a formé recours devant le Tribunal administratif du canton de Fribourg. Dans une lettre du 29 janvier 2001 et un rapport du 30 mars 2001, le docteur B._ a informé l'office AI de l'apparition dès octobre 2000 d'une lombosciatalgie droite de trajet L5 correspondant à la découverte d'une volumineuse hernie discale L3-L4, ce qui l'amenait à la conclusion que le patient présentait une incapacité de travail de 100 %, quel que soit le type d'activité exercée. Le 2 juin 2001, l'office AI a rendu pendente lite un nouveau prononcé concluant à une invalidité de 50 % dès le 1er mars 1998 et de 100 % dès le 1er janvier 2001, à la suite duquel M._ a retiré son recours. Par décision du 29 juin 2001, il lui a alloué une rente entière d'invalidité à partir du 1er janvier 2001. Lors d'une révision du droit à la rente intervenue dès le 4 septembre 2002, l'office AI, se fondant sur un rapport intermédiaire du docteur B._ du 1er octobre 2002, a avisé l'assuré qu'il continuait à avoir droit à une rente entière d'invalidité (communication du 11 octobre 2002). A.b Dès le 14 février 2006, l'office AI a procédé derechef à la révision du droit de M._ à une rente entière d'invalidité. Le docteur S._, spécialiste FMH en chirurgie orthopédique, et le docteur B._ ont déposé leurs conclusions, le premier dans un rapport du 8 mars 2006 et le second dans un rapport du 27 mars 2006. L'office AI a confié une expertise interdisciplinaire au Centre X._. Se fondant sur un rapport d'expertise du 29 novembre 2006 du docteur A._, médecin-chef, et du docteur D._, spécialiste FMH en rhumatologie - médecine physique et réadaptation, et sur un rapport SMR du 8 janvier 2007 concluant à une capacité résiduelle de travail de cinq heures par jour sans diminution de rendement dans une activité adaptée, l'office AI a informé M._ dans un préavis du 15 octobre 2007 qu'il présentait une invalidité de 43,92 %, taux donnant droit à un quart de rente. Le docteur B._ et l'assuré ont fait part à l'office AI de leurs observations, le premier dans une prise de position du 23 octobre 2007 et le second dans une lettre datée du 6 novembre 2007. Par décision du 14 décembre 2007, l'office AI a réduit le droit de M._ à une rente entière d'invalidité à un quart de rente avec effet dès le premier jour du 2ème mois suivant la notification de la décision. B. Le 29 janvier 2008, M._ a formé recours contre cette décision devant la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg, en concluant, sous suite de frais et dépens, à son annulation. Par arrêt du 11 juin 2010, la juridiction cantonale a rejeté le recours au motif substitué que l'octroi d'une rente entière d'invalidité était manifestement erroné. C. M._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens "qu'il est dit qu'en l'absence de motif de reconsidération ou révision, l'office (AI) ne pouvait rendre la décision de diminution de rente qu'il a rendue le 14 décembre 2007". L'Office de l'assurance-invalidité du canton de Fribourg n'a pas de remarques particulières à formuler différentes des considérants du jugement rendu par l'autorité de première instance. L'Office fédéral des assurances sociales a renoncé à se déterminer. 