Faits: A. A.a G._ travaillait en qualité de maçon chef d'équipe pour le compte de l'entreprise X._ SA, Bâtiments et Génie civil, à Y._. Le 9 mai 2001, il a été victime d'un accident de chantier, en chutant sur l'épaule droite. Il a été soigné le jour-même par la doctoresse B._, qui a diagnostiqué une contusion de l'épaule. Le cas a été pris en charge par la CNA. Dans son rapport du 17 août 2001, le docteur R._, spécialiste en chirurgie orthopédique, qui a assuré le suivi après l'accident, a diagnostiqué une déchirure de la coiffe des rotateurs (sous-scapulaire et sous-épineux). Le 29 octobre 2002, ce chirurgien a procédé à une acromioplastie et suture de la coiffe des rotateurs de l'épaule droite (protocole opératoire du 29 octobre 2002). L'assuré n'ayant pas pu reprendre le travail en raison de douleurs résiduelles, il a été adressé à la Clinique Z._ où il a séjourné du 28 mai au 2 juillet 2003. Les docteurs L._ et I._ ont diagnostiqué une acromioplastie et une suture du tendon du muscle sous-scapulaire droit, auxquelles s'ajoutent une cécité de l'?il gauche suite à un traumatisme en 1970 et une cataracte opérée en 1984. Ils ont estimé que l'assuré pouvait reprendre son travail à 100 % avec un rendement de 50 %, si ce travail ne comportait pas le port de lourdes charges ou des travaux répétés en élévation (rapport de la Clinique Z._ du 14 août 2003). La CNA ayant considéré que l'atteinte était stabilisée et qu'il était possible d'envisager des mesures de réadaptation (lettre de la CNA du 12 novembre 2003), l'office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a décidé de prendre en charge une orientation professionnelle faite au Centre W._ du 23 août 2008 au 22 novembre 2004 (décision du 24 juin 2004). Cette mesure a été prolongée jusqu'au 20 février 2005 par décision du 2 décembre 2004. Le 26 décembre 2004, le Centre W._ a mis fin prématurément à la mesure, car G._ était de plus en plus plaintif, se présentait comme travailleur monomanuel et avait des rendements exploitables de 20 à 30 %, ne s'estimant pas capable de travailler plus de deux heures par jour (rapport du Centre W._ du 23 décembre 2004). Par décision du 17 mai 2005, la CNA a retenu que l'assuré était à même d'exercer une activité légère, à plein temps et plein rendement, dans différents secteurs de l'industrie à la condition d'éviter de solliciter le bras droit au-dessus de l'horizontale et le port de lourdes charges. Elle a décidé l'octroi d'une rente d'invalidité de 28 %. Par décision du 4 août 2005, elle a rejeté l'opposition de G._. Un recours de celui-ci contre cette décision a été admis par le Tribunal des assurances du canton de Vaud (jugement du 3 juillet 2008), qui a retourné le dossier à l'assurance pour procéder à un nouveau calcul du revenu d'invalide. Après compléments d'instruction, la CNA a rendu une nouvelle décision le 16 juillet 2009, par laquelle elle a octroyé une rente d'invalidité de 35 % dès le 1er février 2007. A.b Le 23 septembre 2003 G._ a déposé une demande de prestations AI tendant à l'octroi d'une rente en raison des atteintes à l'épaule droite, à la coiffe des rotateurs, à l'omoplate et à la nuque. Dans le cadre de l'instruction de l'affaire, le docteur O._, médecin généraliste et médecin traitant, a diagnostiqué avec répercussion sur la capacité de travail un status après acromioplastie avec suture de la coiffe des rotateurs pour déchirure traumatique du tendon du sus-épineux et du sous-scapulaire ainsi que des cervicalgies sur troubles statiques et dégénératifs du rachis. En outre, il a posé les diagnostics sans répercussion sur la capacité de travail, de cécité de l'?il gauche suite à un traumatisme, de status après opération de la cataracte traumatique de l'?il gauche et de lombalgies chroniques sur troubles statiques du rachis. Il n'a toutefois pas pu se prononcer sur la capacité de travail de l'assuré car il ne l'avait pas revu après l'acromioplastie (rapport du 8 octobre 2003). Le 10 novembre 2003, G._ a été examiné par le docteur C._, médecin d'arrondissement de la CNA, qui a constaté une évolution favorable suite à cette opération sur le plan de la mobilité de l'épaule, qui a récupéré une amplitude proche de la normale en élévation et en abduction. La récupération était moins bonne pour les rotations et, subjectivement, il subsistait une symptomatologie douloureuse de l'épaule qui tendait à se chronifier. Des troubles douloureux cervicaux se sont également greffés sur l'évolution laissant subsister un léger syndrome cervical. Compte tenu de ces éléments, le docteur C._ a retenu une capacité de travail entière avec un rendement de 50 % dans l'activité actuelle alors qu'une pleine capacité de travail devait être admise dans une activité adaptée n'exigeant pas la sollicitation du bras droit au-dessus de l'horizontale, la manutention à deux mains et le port de charges de plus de 10kg (rapport du 10 novembre 2003). A la suite de l'échec des mesures de réadaptation en décembre 2004, le docteur T._, médecin au Centre V._, a admis la persistance d'un état douloureux après l'acromioplastie, l'existence de cervicalgies, de dorsalgies et la cécité de l'?il gauche (rapport du 11 avril 2005). Le docteur R._ a réexaminé l'assuré le 22 avril 2005 et a constaté une limitation fonctionnelle et des douleurs cervico-brachiales du membre supérieur droit non systématisées, associées à des vertiges d'origine non déterminée. Il a estimé que la capacité de travail en tant que maçon était nulle mais qu'il devait être possible de trouver une activité professionnelle adaptée à la situation où le patient n'utilisait que peu son membre supérieur droit (rapport du 25 avril 2005). Le 14 juin 2005, le docteur O._ a confirmé son diagnostic en précisant que depuis décembre 2004 il soignait l'assuré pour d'importantes cervicalgies avec céphalées de tension et troubles de l'équilibre. Le médecin traitant a considéré que la capacité de travail était nulle dans l'activité de maçon mais qu'une activité qui ménageait le rachis et qui ne nécessitait pas l'emploi du membre supérieur droit, était exigible à raison de six à huit heures par jour avec un rendement de 50 %. Il a adressé son patient au docteur S._, rhumatologue, qui a diagnostiqué des cervicobrachialgies chroniques sur dysfonction segmentaire C2-C3 droite et une omalgie droite avec un status post acromioplastie et suture du muscle sous-scapulaire. Ce médecin a constaté la présence d'un syndrome cervico-vertébral et de cervico-brachialgies chroniques sans signe radiculaire irritatif ou déficitaire ainsi que des omalgies gauches (recte : droites) chroniques. Ces atteintes induisaient une limitation fonctionnelle et algique du rachis avec amyotrophie du muscle deltoïde mais sans amyotrophie du bras et de l'avant-bras. Le bilan radiologique et l'examen clinique ne permettaient pas d'expliquer l'ampleur de la symptomatologie douloureuse et des limitations fonctionnelles qu'elles entraînaient (rapport du 1er mars 2005). Le docteur T._, médecin au Centre V._, a diagnostiqué avec répercussion sur la capacité de travail, des douleurs et limitations fonctionnelles séquellaires après rupture de la coiffe des rotateurs de l'épaule droite et acromioplastie ainsi que, sans répercussion sur la capacité de travail, des dorsolombalgies communes, des cervicobrachialgies et une cécité de l'?il gauche. Pour lui, la capacité de travail dans l'activité habituelle était nulle alors qu'elle était entière dans une activité ne comportant pas de ports de charges, pas de mouvements du bras droit au-dessus de l'horizontale, pas de mouvements de rotation répétitifs du membre supérieur droit, avec la possibilité d'alterner les positions et en tenant compte des difficultés visuelles (rapport du 9 novembre 2005). Par décision du 1er juin 2006, l'Office AI a refusé toute prestation estimant que les mesures d'ordre professionnel n'étaient plus envisageables et qu'avec un taux d'invalidité de 26 %, les conditions d'octroi d'une rente n'étaient pas données. Dans le cadre de la procédure d'opposition, G._ a produit une expertise du 7 février 2006, demandée au docteur E._, spécialiste en chirurgie orthopédique. Ce médecin a diagnostiqué la persistance des lésions anatomiques post-traumatiques (rupture du tiers supérieur du tendon du muscle sous-scapulaire avec atrophie des fibres musculaires correspondantes et luxation de la partie haute du tendon long chef du biceps), une dysfonction secondaire de l'épaule dans son ensemble (avec dyskinésie scapulaire) et répercussion rachidienne due aux insertions des muscles suspendeurs de l'omoplate, un status après acromioplastie et suture d'une lésion du tendon du muscle sous-scapulaire, un status après possible algodystrophie et une possible neuropathie du nerf axillaire. Pour ce médecin, l'exercice de la profession de maçon n'est plus possible sauf dans une activité de surveillance en terrain facile. S'agissant de la capacité de travail dans une activité adaptée, il l'a limitée aux capacités d'un manchot ayant perdu l'usage de son membre dominant. Le docteur U._, médecin au Centre V._, a considéré que l'atteinte à la santé relevait strictement des suites de l'accident du 9 mai 2001 et qu'il fallait donc attendre la décision de la CNA pour s'aligner sur elle (rapport du 14 août 2008). Dans un rapport du 20 avril 2009, le docteur A._, médecin au Centre V._, a confirmé l'avis du docteur U._ selon lequel il n'existe pas d'autres atteintes que l'atteinte accidentelle et ses séquelles. Partant de ce constat, il a admis une pleine capacité de travail dans une activité adaptée comme cela ressort du jugement du Tribunal des assurances du canton de Vaud rendu en matière d'assurance-accidents. Dans un rapport du 1er mai 2009, le docteur A._ est revenu sur son rapport du 20 avril 2009 en admettant qu'il existait des atteintes aux rachis sans rapport avec l'accident. Il a cependant confirmé qu'une activité adaptée restait possible à 100 % car « les limitations fonctionnelles retenues pour l'épaule sont celles qu'on retient aussi pour un problème de cervicobrachialgies ». Le 19 mai 2009, le même médecin a admis qu'il était évident qu'en huit ans depuis l'accident du 9 mai 2001, l'état de l'assuré s'était « forcément aggravé » car l'évolution habituelle des troubles dégénératifs est une péjoration graduelle au cours du temps. Selon ce médecin, cette aggravation ne change strictement rien sur le plan des limitations fonctionnelles et de la capacité de travail (rapport du 19 mai 2009). Appelé à se prononcer sur les céphalées, vertiges et autres maux d'oreille, évoqués par le jugement cantonal du 3 juillet 2008, le docteur A._, dans un rapport du 16 juillet 2009, a considéré qu'il s'agissait de plaintes subjectives de l'assuré, inconstantes car mentionnées occasionnellement et ne figurant pas dans l'expertise du docteur E._. Seules les céphalées pourraient être en rapport avec l'aphakie de l'?il gauche entraînant une diplopie. Toutefois, cette affection oculaire datant de 1970, n'a jamais empêché l'assuré d'exercer son activité professionnelle auparavant. Se fondant sur le dossier de la CNA et les rapports des médecins du Centre V._, l'office AI a rendu une décision le 6 août 2009, par laquelle il a rejeté l'opposition faite le 7 juillet 2006. Pour fixer le taux d'invalidité, il a retenu un salaire valide de 80'015 fr. et un salaire d'invalide de 49'135.25 fr., calculé sur la base des salaires Enquête suisse sur la structure des salaires (ESS) 2002, TA1, niveau de qualification 4, converti pour 41,7 heures de travail hebdomadaire, indexé jusqu'en 2003 (+ 1.4 %) et avec un abattement de 15 %. Ainsi, l'office AI a retenu un taux d'invalidité de 38,6 % et refusé l'octroi d'une rente. B. G._ a déféré cette décision au Tribunal des assurances du canton de Vaud (aujourd'hui : Cour des assurances sociales du Tribunal cantonal du canton de Vaud), qui, par jugement du 3 novembre 2010, a rejeté le recours. C. G._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il conclut principalement à la reconnaissance du droit à une rente entière d'invalidité dès 2003, éventuellement une rente partielle, subsidiairement à l'annulation du jugement et au renvoi de la cause à l'autorité inférieure pour complément d'instruction. L'office AI conclut implicitement au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 