Faits: A. V._ (né en 1951), ayant subi un quadruple pontage coronarien sur coronaropathie le 5 novembre 1999, suivi d'un infarctus le 4 février 2003, a été licencié par son employeur avec effet au 31 mars 2004 et mis au bénéfice d'une invalidité totale dès le 1er avril 2004 selon le règlement de la Caisse de pensions de la Commune X._, pour laquelle il avait travaillé comme maçon depuis le 1er avril 1981. Il s'est annoncé à l'assurance-invalidité le 7 juillet 2003. L'Office de l'assurance-invalidité pour le canton de Vaud (OAI) a recueilli de nombreux rapports médicaux (par exemple celui du docteur H._, spécialiste FMH en médecine interne, du 25 juillet 2003), dont sur mandat du Service médical régional de l'AI (SMR) une expertise de la doctoresse T._, spécialiste FMH en cardiologie, du 29 mars 2005, complétée le 7 septembre 2005. Sur requête de la doctoresse M._ (avis médical SMR du 15 septembre 2005), la doctoresse E._, spécialiste FMH en psychiatrie, a procédé le 19 janvier 2006 à un examen psychiatrique. Dans un rapport du 18 avril 2006, elle n'a retenu aucun diagnostic du point de vue psychiatrique avec répercussion sur la capacité de travail. Elle concluait à une capacité de travail exigible de 100 % au plan psychiatrique. Dans un rapport d'examen SMR du 1er mai 2006, la doctoresse M._ a retenu que la capacité de travail exigible était entière dans une activité adaptée dès juillet 2003. Le 12 décembre 2006, l'OAI a adressé à l'assuré un projet d'acceptation de rente, lui reconnaissant le droit à un quart de rente dès le 1er février 2004, compte tenu d'une invalidité de 40 % dès le 5 février 2004. Dans un rapport du 27 février 2007, le docteur W._, spécialiste FMH en médecine générale, a déposé ses conclusions. Il a répondu par la négative à la question de savoir si l'on pouvait exiger que l'assuré exerce une autre activité (annexe au rapport). Dans un avis médical du 20 avril 2007, les médecins du SMR ont indiqué que ce rapport n'apportait pas d'éléments médicaux nouveaux susceptibles de modifier leurs conclusions. Par décision du 4 juin 2007, l'OAI a alloué à V._ un quart de rente avec effet dès le 1er février 2004. B. Par jugement du 2 avril 2008, le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal) a rejeté le recours formé par V._ contre cette décision. C. V._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à sa réforme en ce sens qu'une rente entière d'invalidité lui est allouée dès le 1er février 2004. L'Office de l'assurance-invalidité pour le canton de Vaud se rallie au jugement cantonal. L'Office fédéral des assurances sociales a renoncé à se déterminer. 