Faits: A. M._ a été engagé dès le 1er juillet 1982 en qualité de monteur en paratonnerre par l'entreprise X._ SA, au service de laquelle il a occupé la fonction de chef d'équipe. Souffrant de troubles à l'épaule droite, il a été en arrêt de travail dès le 22 mars 2004. Son employeur a résilié les rapports de travail pour le 31 décembre 2004. Le 2 novembre 2004, M._ a présenté une demande de prestations de l'assurance-invalidité, en requérant l'octroi d'un reclassement dans une nouvelle profession et d'une rente d'invalidité. Les médecins traitants de l'assuré ont déposé leurs conclusions, le docteur B._ (spécialiste FMH en médecine générale) dans un rapport du 21 décembre 2004 et le docteur N._ (chef de clinique de l'Hôpital Y._) dans un rapport du 9 mars 2005, dont il résultait que le patient avait développé une capsulite rétractile avec une limitation douloureuse de la mobilité de l'épaule. Du 27 février au 24 mars 2006, M._ a effectué un stage d'observation professionnelle au COPAI de Z._, au terme duquel le groupe d'observation a mesuré des rendements de l'ordre de 40 % (rapport du Centre W._ du 5 avril 2006). Dans un avis du 25 avril 2006, la doctoresse U._, médecin du SMR, a relevé que le docteur A._, médecin-conseil du COPAI, avait noté dans son rapport du 28 mars 2006 l'absence d'hypotrophie musculaire, la présence de légères traces de travail à la main droite et une bonne force de celle-ci, sans constater de signes de non-utilisation du membre supérieur droit. Cela l'amenait à considérer que l'assuré n'avait pas mis en valeur toutes ses ressources au cours du stage, raison pour laquelle elle maintenait son appréciation antérieure du 7 juillet 2005, selon laquelle M._ présentait une capacité de travail exigible de 100 % dans une activité adaptée aux limitations fonctionnelles (pas d'élévation des bras, pas de soulèvement de charges supérieures à 5 kg). Dès le 14 août 2006, M._ a bénéficié d'une mesure de reclassement sous la forme d'un stage de préparation à une activité auxiliaire (rapport de l'atelier V._ du CIP de T._, du 4 décembre 2006), mesure qui a été prolongée jusqu'au 18 février 2007 par un stage d'observation et a comporté deux stages en entreprises, durant lesquels le service S._ a admis des rendements de l'ordre de 40 % (rapport du 23 février 2007). Dans une lettre du 9 août 2007, la doctoresse O._, spécialiste en médecine interne-rhumatologie, a avisé l'assurance-invalidité qu'elle était le médecin traitant de l'assuré depuis janvier 2006, en relevant que sa capacité de gain était fortement réduite. Depuis mars 2007, M._ a consulté les médecins du Département de psychiatrie de la Clinique R._ (certificat du 4 juillet 2007). Sur proposition de la doctoresse U._ (avis du 23 juillet 2007), l'Office de l'assurance-invalidité pour le canton de Vaud a confié une expertise psychiatrique au Centre d'expertise médicale (CEMed). Celle-ci a été effectuée par le docteur L._, spécialiste FMH en psychiatrie-psychothérapie, lequel a examiné l'assuré le 20 décembre 2007. Dans un rapport du 5 mars 2008, l'expert a posé les diagnostics sans répercussion sur la capacité de travail de dysthymie ([CIM-10] F34.1) et de majoration des plaintes physiques pour des raisons psychologiques (F68.0). En l'absence de maladie psychique invalidante, il concluait que sur le plan psychique et mental, la capacité résiduelle de travail était entière, sans restriction, ni limitation en vue d'une réadaptation professionnelle. Dans un avis du 17 mars 2008, le docteur C._, médecin du SMR, a confirmé le bien-fondé des conclusions de la doctoresse U._ dans les avis précédents. Dans un préavis du 1er septembre 2008, l'office AI a avisé M._ qu'il présentait une invalidité de 30 % (compte tenu d'un revenu sans invalidité de 74'655 fr. 50 et d'un revenu d'invalide de 52'181 fr. 05 [après abattement de 15 %]), taux ne donnant aucun droit à une rente. Le 15 septembre 2008, l'assuré a fait part à l'office AI de ses observations. Il a produit une lettre du 3 octobre 2008 des docteurs D._ et E._, respectivement chef de clinique et médecin assistant de la Clinique du Département de psychiatrie de R._, et une lettre du professeur F._, chef du Service d'orthopédie et de traumatologie de R._, du 7 octobre 2008 accompagnée de deux rapports des 21 août 2008 et 1er décembre 2006. Dans un avis du 8 décembre 2008, les docteurs H._ et I._, médecins du SMR, ont conclu que ces documents n'apportaient aucun élément nouveau susceptible de changer leur appréciation en ce qui concerne la capacité entière de travail dans une activité adaptée aux limitations fonctionnelles. Par décision du 19 janvier 2009, l'office AI, rejetant la demande, a refusé d'allouer à M._ la prestation requise. B. Le 17 février 2009, M._ a formé recours contre cette décision devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une rente entière d'invalidité lui était allouée dès le 2 novembre 2003, à titre subsidiaire à son annulation, la cause étant renvoyée à l'office AI pour nouvelle instruction et décision dans le sens des considérants. Il a produit une lettre du 1er avril 2009 des docteurs D._ et E._ prenant position par rapport à l'expertise du CEMed du 5 mars 2008, sur laquelle les docteurs H._ et I._ se sont exprimés dans un avis du 4 mai 2009, et une lettre de la doctoresse O._ du 7 mai 2009. A la suite d'une hospitalisation du 22 juin au 10 juillet 2009, il a produit une lettre de sortie du 27 juillet 2009 de la doctoresse J._, médecin associée de l'Unité du Rachis et réhabilitation de R._, à propos de laquelle les docteurs H._ et I._ ont relevé dans un avis du 27 août 2009 qu'elle n'apportait pas d'élément médical nouveau en faveur d'une modification, voire d'une aggravation de l'état de santé de l'assuré. Par arrêt du 21 juin 2010, la juridiction cantonale a rejeté le recours. C. M._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une rente entière d'invalidité lui est allouée dès le 2 novembre 2003, à titre subsidiaire à son annulation, la cause étant renvoyée à l'office AI pour nouvelle instruction et décision dans le sens des considérants. Il sollicite l'octroi de l'assistance judiciaire gratuite. 